谷歌和 OpenAI 等四家将认同一个拒绝训练标记

网站想拒绝 AI 公司拿内容训练模型，以后可以只写一组规则，而不必给每家爬虫各写一条。10 月 30 日，谷歌、OpenAI、微软和 Anthropic 先后表示，将认同 robots.txt 里一个共享的「拒绝训练」标记。

我们的判断是：这一步省掉了网站的重复劳动，但它是四家公司的自愿承诺，谷歌和微软的执行时间都在 2027 年，拒绝的责任仍落在网站身上。

一组规则替代四家各自的爬虫名单

据 Google Search Central Blog，网站在 robots.txt 里用一个共享的「策略标记」声明不许训练，且没有单独写明 Google-Extended 时，谷歌会把它当作网站已经屏蔽了 Google-Extended。这是谷歌 2023 年起提供的训练开关。

这个标记来自一份 10 月 30 日提交的 IETF 提案文件，作者 Kevin Kelley 署名单位是 Anthropic。

据 IETF Datatracker 上的提案原文，写法是在 User-Agent 一行填 __usage_ai-training，再用 Disallow 和 Allow 划定哪些路径拒绝、哪些允许。它不新增指令，旧的解析程序遇到它会当作不认识的爬虫跳过。

四家的执行时间各不相同

承诺已经给出，执行日期还要等。四家公开的时间表如下：

• 谷歌：博客写「2027 年」，据 Search Engine Roundtable 引述的谷歌爬虫说明页，是 2027 年初；
• 微软：据 Search Engine Land 报道，2027 年 2 月 1 日起在抓取时认同新的偏好设置；
• OpenAI：官方页面写「未来几个月内」实施，届时另行公布细节；
• Anthropic：据 Search Engine Land 报道参与此次宣布，本文未查到它的执行日期。

OpenAI 和谷歌都写明，各家原有的爬虫开关继续有效。微软还另设了「AI 引用」的页面级开关，与训练开关分开。

提案还没有成为标准

IETF Datatracker 上写得很清楚：这份提案属于个人提交，没有得到 IETF 认可，在标准流程里没有正式地位。

参与工作组一年的出版人 Nate Hake 10 月 30 日在 X 上说，这件事在 IETF 层面并没有完成，仍有重大分歧，他尤其不满现行文本让偏好不适用于用户发起的操作。

因此有三件事尚无答案：谁来检查 AI 公司是否守约？违约有什么后果？用户让聊天机器人读网页，算不算在内？

谷歌在博客里把这项机制和欧盟通用模型行为准则挂钩，该准则承认 robots.txt 是表达偏好的主要方式。共享标记因此有机会成为欧盟语境下的合规证据，这是分析推断，依据是谷歌原文的这段表述。它本身仍不是法律义务。

对网站运营者，现在能做的是盘点 robots.txt 里已有的各家规则；新标记生效前，原有写法照样管用。如果 2027 年四家都按时执行，并且有第三方能核查爬虫行为，我们会把这件事从「承诺」改记为「已执行」。