AI 巨头支持一种新的退出抓取方式

判断

出版商标准与法务团队现在必须决定是否依赖共享的 robots.txt 策略标记，尽管 Google 和 Microsoft 计划明年才支持，且 Meta 尚未承诺遵守。取舍在于：更简单的单一退出机制，对比各爬虫执行不一致且延迟。

依据

Anthropic 标准技术负责人 Kevin Kelley 在 IETF 内提出了共享“策略标记”信号；该标记将存在于网站的 robots.txt 文件中。OpenAI、Google、Microsoft 和 Anthropic 表示，若遇到该共享标记，将限制其 AI 爬虫访问网站。Anthropic 已采用该信号；Google 和 Microsoft 计划明年支持；OpenAI 称将在“未来数月”实施。Microsoft 表示将提供细粒度控制，让出版商选择退出 AI 训练或 AI grounding，并指出无论偏好如何，网站仍会出现在 Bing 搜索结果中。Google 称此前已实施类似控制。Meta 传播负责人 Andy Stone 表示支持，但未说明 Meta 是否会遵守该设置。该机制是一个出版商偏好应用于多家 AI 公司，而非为每家单独设置。