对很多靠内容吃饭的网站主和自媒体作者来说，最近出现了一个值得认真看懂、但也最容易被误读的消息：谷歌、微软和 OpenAI 计划支持一种统一机制，让网站主通过 robots.txt 中的一个共享标识，表达自己的内容不用于 AI 训练的偏好。这个消息之所以值得单独写一篇，是因为它同时包含了一个好消息和三个容易踩坑的误解。好消息是，网站主以后可能不用再为每一家公司各写一套规则；容易踩坑的地方是，这套机制目前还没有真正落地，它只管训练，不管搜索索引，也不等于把已经训练进模型的数据删掉。换句话说，这是一个正在走向统一的偏好表达方式，而不是一个已经生效的万能开关。
导语里可以先把整件事浓缩成一句话：一个开关、四家公司、三个时间表。一个开关，指的是 robots.txt 中那个共享标识；四家公司，指的是提出草案的 Anthropic，以及计划支持这一机制的谷歌、微软和 OpenAI；三个时间表，指的是三家计划支持的公司各自给出的不同节奏。把这三个要素先分清楚，后面再谈具体操作，才不容易把“计划支持”读成“已经生效”，也不容易把“训练偏好”读成“全网下架”。
这个统一开关到底是什么
先说最核心的定义。这套机制的核心，是让网站主在 robots.txt 中使用一个共享标识 __usage_ai-training，来表达不希望自己的网站内容被用于 AI 训练的偏好。它的意义首先在于统一。过去，网站主如果想对不同公司的 AI 训练表达限制，往往需要分别理解和配置各家自己的控制方式，规则分散，改动起来也容易漏掉一家。统一标识的出现，目标就是把这件事变得更简单：网站主表达一次偏好，支持这套机制的公司就按各自的承诺去理解和执行。
这里有一个非常关键的限定词：偏好。偏好表达和法律意义上的绝对禁止并不完全是一回事，它的有效性取决于对方是否支持这套机制、是否在承诺的时间点之后开始遵守，以及对方如何界定训练、搜索、引用等不同用途。网站主可以把它理解为一种向外发出的明确信号，而不是一堵自动挡住所有抓取的墙。这个区分，决定了后面所有实操建议的语气：要认真配置，但不要只靠它。
草案的来源也值得交代清楚。这份草案由 Anthropic 的 Kevin Kelley 提交给 IETF 的 AI Preferences 工作组。也就是说，这套机制目前处在标准化和行业协调的推进过程中，而不是某一家公司单方面宣布的内部规则。标准化的好处是参与方更多、规则更可能长期稳定；标准化的另一面是，落地节奏仍然掌握在每一家公司自己手里，支持时间、覆盖范围和例外情形都可能不一样。网站主在关注这个消息时，既要看到统一的方向，也要盯住每一家公司的具体表态。
还需要先讲清楚一个时间状态：目前三家均未实际支持。谷歌、微软和 OpenAI 都是“计划支持”，而不是“已经支持”。这个差别不是文字游戏，它直接决定了网站主现在应该做什么：现在可以先理解规则、准备好要表达的偏好、检查自己网站现有的 robots.txt 和各家控制设置；但不能对外宣称自己的内容已经通过这套机制被挡住了，也不能因为听说有统一开关，就把现有的各家控制提前撤掉。现行各家控制继续有效，这一点在过渡期尤其重要。
三家公司的时间表并不相同
三家公司的时间表，是这篇新闻最容易被简化、也最不应该被简化的部分。把它们放在一起对照，才能看清为什么不能用一句话概括“明年就统一了”。
先看谷歌。谷歌的目标是在 2027 年初支持这一机制，届时它将按 Google-Extended 来处理。换句话说，谷歌的落地点并不是一个全新的、脱离现有体系的概念，而是与它现有的 Google-Extended 控制相衔接。更重要的是覆盖范围的限定：谷歌的这一处理只管 Gemini 训练与 Gemini 应用内的 grounding，不动谷歌搜索。网站主如果希望自己的内容在谷歌搜索中继续被索引和展示，这套机制本身并不会改变搜索侧的处理；如果希望限制的是 Gemini 的训练和应用内 grounding，才是这套机制对应的方向。把搜索和训练分开，是理解谷歌表态的第一步。
再看微软。微软的时间表给出了两个明确的节点：2027 年 2 月 1 日起开始遵守，2027 年 3 月 1 日后不再把 NoArchive 与 NoCache 当作 AI 训练或 grounding 的限制。第一个节点说明微软开始遵守统一标识的时间；第二个节点则是一个重要的清理信号，意味着过去一些被网站主借用来表达限制的通用标记，在微软的 AI 训练与 grounding 语境里将不再承担原来的那层含义。网站主如果现在依赖 NoArchive 或 NoCache 来间接表达训练方面的限制，就需要提前意识到这种做法在微软那里的含义会发生变化，不能默认旧标记在新机制到来之后仍然自动等同于训练限制。微软的表态因此不只是“支持”，还附带了一个旧做法的退出时间点。
最后看 OpenAI。OpenAI 的说法是“未来几个月内”支持。相比前面两家给出的更具体的月份和日期，OpenAI 的表述更像一个方向和节奏上的承诺，而不是一个可以写进日历的截止日。网站主在处理 OpenAI 的部分时，最稳妥的态度是：继续保留并维护现行控制，等待它公布更具体的支持细节，而不是提前假设它已经按统一标识执行。三种表述放在一起，恰好说明了这件事的现状：方向一致，节奏不一，细节各有侧重。
把三个时间表对照起来看，还有一个更实际的启示。网站主不能只在某一个时间点做一次检查就了事，而需要在不同时间点分别确认：谷歌是否如期在 2027 年初开始按 Google-Extended 处理；微软是否在 2027 年 2 月 1 日之后开始遵守、并在 2027 年 3 月 1 日之后按新口径处理 NoArchive 与 NoCache；OpenAI 是否在“未来几个月内”给出可验证的支持进展。每一次确认，都应该以各家最新文档为准，而不是以早期新闻报道的转述为准。
它能挡住什么，又挡不住什么
这是全文最重要的一节，也是最容易产生误解的一节。先说能挡住的方向：在支持这套机制的公司按承诺开始遵守之后，网站主通过共享标识表达的偏好，指向的是 AI 训练这一用途。也就是说，它的核心应用场景，是让网站主对“我的内容是否被拿去训练模型”这件事说出一个统一的、不。这一点对原创内容生产者、专业媒体、垂直行业网站和个人创作者都有现实意义，因为训练数据的来源和使用方式，一直是内容行业最关心的问题之一。
再说挡不住的第一件事：搜索索引。这套机制只管训练，不管搜索索引。网站主如果在 robots.txt 中表达了不用于 AI 训练的偏好，不能因此期待自己的页面从搜索引擎结果中消失，也不能把它当作一种新的搜索屏蔽工具。搜索索引和 AI 训练是两条不同的处理线，前者关系到页面是否被发现和展示，后者关系到内容是否被用于模型训练。混淆这两条线，会导致两种错误：一种是误以为搜索流量会因此受损，另一种是误以为只要写了训练偏好，搜索侧的问题也一并解决了。这两种理解都不符合这套机制的定位。
挡不住的第二件事：已经训练进模型的数据。这套机制也不等于删除已训练数据。偏好表达面向的是未来的训练使用，而不是对已经完成训练的历史结果做回溯性清除。网站主如果关心的是某一段已经公开、已经被使用过的内容，能否从模型中“拿回来”，这套机制本身并不能给出这样的承诺。把“不再用于未来训练”和“删除已有训练结果”区分开，是对这条新闻最基本的准确理解，也是避免对外过度承诺的关键。
挡不住的第三件事：第三方抓取。统一标识的有效性，建立在抓取方和使用方支持并遵守这套机制的前提之上。对于不遵守 robots.txt、不参与这套机制、或者以其他方式获取内容的第三方抓取行为，一个偏好标识本身并不能从技术上阻止对方拿到公开页面。网站主在评估风险时，应该把“遵守规则的大公司”和“不遵守规则的抓取者”分开看待：前者可以通过统一标识更清晰地沟通偏好，后者则需要依靠其他层面的保护手段，例如访问控制、版权主张、合作协议和法律途径，而不是只靠一个 robots.txt 标识。
还有一个需要单独说明的边界：训练、搜索与应用内 grounding 之间的关系。谷歌的表态已经给出了一个例子，即同一家公司内部，训练、搜索和 grounding 也可能适用不同的处理规则。网站主在配置偏好时，不能默认“训练”这个词覆盖了所有与 AI 相关的使用场景。更准确的做法是，先问清楚自己到底想限制哪一种使用：是训练，是搜索展示，还是在某个应用内的引用与 grounding，再去对照各家文档，看哪一种控制对应哪一种使用。统一标识解决的是表达方式的统一，而不是把所有使用场景合并成一个开关。
2026 年 10 月的一组测试数据，可以帮助读者理解为什么内容方会如此在意训练与引用之间的关系。在 Euromonitor 的测试中，品牌官网在 ChatGPT 与 Gemini 回答引用中的占比为 3% 及以下。这里需要特别注明口径：这只是一项测试的结果，反映的是该测试条件下的引用占比，而不是对所有搜索、所有问答场景的普遍结论。它之所以值得提，是因为它提醒内容创作者：即便品牌官网本身是信息的源头，在 AI 回答的引用结构里，官网的可见度也可能并不高。训练偏好、搜索可见度、引用可见度，是三个相关但并不相同的问题，网站主需要分别关注，而不是指望一个开关同时解决三个问题。
网站主与自媒体作者的实操清单
理解了机制和边界之后，就可以落到实操。下面的清单不是一次性任务，而是一套可以在过渡期内反复使用的检查动作。
- 先确认自己的立场：你希望表达的是不用于 AI 训练的偏好，还是同时有其他方面的考虑。把立场写清楚，再去配置工具，避免为了跟风而写一个自己并不理解的规则。
- 检查现有的 robots.txt 与各家控制设置，确认当前生效的规则是什么，哪些是针对搜索的，哪些是针对训练或特定 AI 产品的。不要在没有备份的情况下直接覆盖旧文件。
- 在准备使用共享标识 __usage_ai-training 时，先核对各家最新文档，确认标识的写法、适用范围和生效条件。示意写法可以是一行指向该共享标识的 Disallow 声明，但具体字段与适用范围必须以各家最新文档为准，不能只凭转述照抄。
- 不要提前撤掉现行各家控制。在三家公司实际支持之前，现行控制继续有效，过早撤掉只会让过渡期的保护出现空档。
- 把三个时间点分别写进自己的检查清单：谷歌的 2027 年初、微软的 2027 年 2 月 1 日与 2027 年 3 月 1 日、OpenAI 的“未来几个月内”。到了相应时间点，再去核对各家文档是否更新、支持是否落地。
- 特别处理微软的 NoArchive 与 NoCache 问题：如果你现在依赖这两个标记间接表达训练或 grounding 方面的限制，要提前规划替代方案，避免在 2027 年 3 月 1 日之后出现理解上的落差。
- 区分搜索与训练的预期：如果你希望页面继续被搜索索引，就不要把训练偏好误读为搜索屏蔽；如果你希望限制搜索展示，则需要使用搜索侧对应的控制，而不是只写训练偏好。
- 对第三方抓取保持现实预期：统一标识面向的是支持并遵守机制的公司，对于不遵守规则的抓取，需要另外评估访问控制、版权与合作层面的手段。
- 留存记录：记下你何时更新了 robots.txt、更新了什么、依据的是哪一家在何时发布的文档。这样在后续出现争议或需要排查时，才有据可查。
- 定期复核：这套机制仍在推进中，支持细节可能变化。把复核做成周期性动作，而不是一次性的新闻跟进。
对于自媒体作者来说，清单的重点略有不同。自媒体作者往往没有独立的服务器管理权限，内容发布在平台之上，这时更重要的是先确认平台是否允许作者自定义 robots.txt，或者平台是否已经代表作者统一处理了训练偏好。如果平台已经有统一设置，作者个人的 robots.txt 未必能直接生效；如果平台没有提供相关设置，作者则需要通过平台的版权、授权与内容管理渠道表达诉求，而不是假设自己在平台之外写一个文件就能覆盖平台内的内容。把“平台规则”和“自己网站规则”分开，是自媒体作者避免白忙一场的前提。
给华人站长与内容创作者的提醒
对北美华人站长和内容创作者来说，这条新闻还有几层更贴近实际的提醒。第一层是语言与受众的提醒：很多华人网站和自媒体同时面向中文读者和英文搜索生态，内容可能被不同语言、不同产品引用。训练偏好的表达方式虽然统一，但各家产品在不同语言内容上的处理细节仍需以文档为准，不能默认中文内容和英文内容在所有环节都被同等处理。
第二层是内容类型的提醒：移民、法律、税务、医疗、教育等专业内容，往往既有较高的原创成本，也更容易被概括、转述和引用。网站主在表达训练偏好时，需要同时考虑准确性与责任问题。训练偏好解决的是“是否被用于训练”，并不能解决“被引用时是否准确”“被转述时是否保留关键限定条件”等问题。专业内容创作者仍然需要在正文本身把适用范围、例外情形和信息来源写清楚，不能把内容质量的责任转交给一个偏好标识。
第三层是商业模式的提醒：对依赖搜索流量、广告收入、咨询转化或会员内容的网站来说，搜索可见度和训练偏好是两件需要分别决策的事。网站主在做决策前，可以先问自己三个问题：我是否希望内容继续被搜索发现；我是否希望内容被用于训练；我是否希望内容在 AI 应用内被引用和 grounding。三个问题的答案可能并不相同，而统一标识只回答了其中一个问题。把三个答案分别写下来，再去对照各家控制，才能做出不互相矛盾的配置。
第四层是节奏的提醒：不要因为这条新闻就立刻对外宣布“本站已屏蔽所有 AI 训练”，也不要因为三家尚未实际支持就认为这条新闻毫无意义。更稳妥的节奏是，现在理解规则、保留现行控制、做好记录，等到各家实际支持的时间点再逐一核对和更新。内容行业的规则变化往往不是一夜之间完成的，提前准备、按时复核，比抢先表态更重要。
最后需要回到一个基本的判断：统一标识的价值，在于让网站主的偏好表达变得更简单、更一致，而不是让网站主从此不需要再关注各家文档、平台规则和版权问题。它是一个正在成形的行业协调机制，方向值得肯定，落地仍需时间。对网站主来说，最好的态度是认真对待、准确理解、分开决策、定期复核。等到谷歌、微软和 OpenAI 各自按自己的时间表真正开始支持之后，这个开关才会从“计划中的统一表达”变成“可以验证的实际保护”，而在那之前，现行控制和清醒的预期，仍然是最可靠的组合。
本文只依据已公开的计划与时间表进行梳理，不构成法律意见。涉及 robots.txt 的具体写法、适用范围与生效条件，请以谷歌、微软、OpenAI 以及 IETF 相关文档的最新版本为准。
暂无评论内容