robots.txt 有了共享的 AI 训练退出信号

2026 年 10 月 30 日，OpenAI 和 Google 先后宣布了同一件事：网站可以在 robots.txt 里写一条共享信号，一次性向多家 AI 公司表达「这些内容不要拿去训练」。The Verge 的报道把参与方的规模说得更具体——OpenAI、Google、Microsoft、Anthropic 四家会采纳这个标准。

发生了什么

先把三类信息分开，后面每一句都能对应到文末的来源。

一手官方说法（可核对原文）

• OpenAI 的表述是：它将遵守一个共享的 robots.txt 信号，帮助网站运营者向「参与的服务商」传达自己的 AI 训练偏好。
• Google 的表述是：计划在 robots.txt 中支持一个共享的 AI 训练控制项，让网站一步跨多家 AI 服务商表达训练偏好；这项工作基于 IETF 的 AIPREF 工作组，并且延续了 Google 从 2023 年起就提供的 Google-Extended。

媒体报道（二手，但补了参与方）

The Verge 点名四家表示将采纳这个新标准，并强调它的价值在于「跨多家 AI 公司」生效，发布者不用再逐家单独设置；报道注明消息最早由 Search Engine Roundtable 发出。Verge 的摘要把这个信号称为共享的 policy token，但摘要正好在这里被截断。

机制层面的事实

这件事改的是 robots.txt：一个纯文本文件，靠自觉遵守。它不是协议，不是 API，也没有强制执行的一方。

为什么重要

现在给 AI 爬虫设限，实际做法是「逐家拉黑」：每出现一家新的 AI 公司、每多一个爬虫标识，站点就要在自己的规则文件里补一行。维护成本随 AI 公司数量线性增长，而站点根本不知道下一家叫什么。

共享信号把这件事从「逐个拒绝」变成「一次声明」。更关键的是它背后的组织方式：Google 明确说这基于 IETF 的 AIPREF 工作组。也就是说，这不是某家公司的私有开关，而是往「行业共同语法」的方向走。对个人站点和独立内容站来说，这是过去两年里少见的、不需要付费也不需要接入 SDK 的自保手段。

对 hotker.com 这种体量的站点，它的价值不在「防盗」，而在于把偏好写清楚——将来真出现纠纷，「我当时明确声明过」比「我以为他们不会」有用。

影响谁，怎么用

影响面是所有有 robots.txt 的站点：个人博客、文档站、作品集、小型媒体。现在能做的三步：

1. 打开自己站点的 /robots.txt，看清当前写了什么。很多站点只有一行 sitemap，或者什么都没有。
2. 把已经在屏蔽的爬虫列成清单，标出哪些属于 AI 训练用途、哪些属于搜索收录。这两件事经常被混为一谈，而 Google-Extended 的存在本身就说明官方把它们分开处理。
3. 先别急着改文件。等标准定稿、token 字符串公开后再写；在那之前，任何「复制这段就能屏蔽 AI」的教程都不可信。

还没验证的部分

• 具体的 token 字符串。 Verge 摘要截断在 policy token 处，OpenAI 和 Google 的摘要也只说「共享信号」，没有给出写法。本文因此不给示例——给了就是编的。
• participating providers 到底是谁。 OpenAI 的原话是「参与的服务商」，但没有名单。四家之外是否还有别家、名单会不会变，都不清楚。
• 时间表。 两家说的都是「计划支持」「将遵守」，没有生效日期。
• 是否回溯。 已经训练完的模型不会因为你今天写了一条声明就回滚，这一点任何声明都改变不了。
• 和搜索收录的关系。 Google-Extended 与常规搜索抓取是两套东西，但共享信号落地后二者如何交互，官方摘要没展开。
• 遵守率。 robots.txt 是自愿遵守的约定，声明和执行为之间隔着厂商的自律。

参考来源

本文基于以下公开报道整理：

• Making it easier for websites to express AI training preferences — OpenAI 官方新闻，2026-10-30
• Supporting a shared AI training control for websites — Google Search Central 官方博客，2026-10-30
• The biggest names in AI are backing a new way to opt out of scraping — The Verge，2026-10-30

本文由 AI 辅助整理，事实与引文来自上述来源的 RSS / Atom 摘要，未抓取原文页面正文，配图为自制信息卡。