发生了什么
10 月 30 日，谷歌搜索中心博客由 John Mueller 署名发文，宣布计划支持一项共享的 robots.txt 训练偏好控制；微软必应博客由产品经理 Krishna Madhavan 同日发布；OpenAI 亦在其政策与流程栏目表态将遵守同一信号。同日下午 15 时 39 分（UTC），Anthropic 标准技术负责人 Kevin Kelley 向 IETF 的 AI 偏好工作组邮件列表提交互联网草案 draft-kelley-aipref-training-preference-signal-00，并表示 Anthropic 已开始实现支持。
机制本身刻意做得很朴素：不新增任何指令名，也不改 robots.txt 语法。站点在原本写爬虫名的位置写一个「策略标记」，即 __usage_ai-training，然后照常用禁止与允许指令表达偏好。路径匹配与最长匹配优先级沿用 2022 年发布的 RFC 9309。
四条容易看错的细节
- 通配符不算数：写给所有爬虫的星号组不会被解读为训练偏好，必须显式写出该标记，否则等于什么都没说。
- 它管「用途」不管「抓取」：该标记不是爬虫的请求标识，不阻止抓取；若要封锁访问，仍需针对具体爬虫或使用访问控制。
- 训练的定义来自 IETF 词汇表：用内容修改生成式模型的学习参数。仅用于分类、排序、打分的模型训练不在覆盖范围。
- 默认仍是允许：现有全部 robots.txt 文件都不表达训练偏好，新标记是一个自愿性的退出开关，不是许可合同，也不产生收益分配。
四家落地节奏与口径差异
微软给出了最明确的时间表：2027 年 2 月 1 日起在抓取时遵守新的训练与引用偏好。谷歌的目标是 2027 年，其爬虫文档写的是「2027 年初」。OpenAI 的措辞是「未来几个月内实现」。Anthropic 只说明已开始实现，未给上线日期。Meta 方面表示支持通用信号，但未给出具体执行计划。
更值得注意的是三家的解释范围并不一致。谷歌表示，若站点用该标记退出且未单独提及 Google-Extended，谷歌计划视为等同于禁止 Google-Extended；而 Google-Extended 同时管 Gemini 应用与 Vertex 的检索增强，因此退出可能连带影响内容在 AI 回答中的引用资格。微软则把「训练」与「引用」拆成两个独立开关，除站点级 robots.txt 外还提供页面级设置，并给出三档取值；其时间表还包括 2026 年 12 月 15 日在网站管理员工具开放临时引用偏好、2027 年 3 月 1 日起不再把旧的无存档与无缓存指令读作偏好、2027 年 9 月 30 日临时设置到期。
这解决了什么，没解决什么
解决的是表达成本。此前中小站点要逐一记住 GPTBot、ClaudeBot、Google-Extended 等名字并为每家维护规则，如今一次声明可覆盖所有参与方，未参与的企业将面临更高的合规质询压力。没解决的是授权与追溯：草案只是个人提交的互联网草案，不是正式标准，2027 年 5 月 3 日到期；它对已收集数据无效，对不遵守 robots.txt 的爬虫也无效，镜像站、第三方转载与数据集转售等间接路径更不在覆盖范围内。对企业内容团队，可行做法是过渡期内把新标记与既有的厂商专用规则并列写入，而不是替换。