十月三十一，周六。窗帘缝里漏进一点灰白的光，我把手机扣在桌面上，才点开昨天那条新闻。
这周模型换名字、换住处、招股书里写几千亿的事，已经够热闹了。昨天留下来的，却是一件看起来很小的事：网站的 robots.txt 里，要多一句能让好几家大模型一起听懂的话。
十月三十，OpenAI 发了一篇官方博客：Making it easier for websites to express AI training preferences。大意是：他们会尊重一套写在 robots.txt 里的「共同信号」，让网站运营者一次性表达「是否允许把内容用于基础生成式 AI 训练」，而不必再逐个辨认每家公司的爬虫名字、维护一长串互不相同的规则。他们说会在未来几个月落地，现有的爬虫控制不会被替换，只是多了一条大家都能认的路。同一天，多家媒体报道 Google、Microsoft、Anthropic 也表态支持这套由 IETF AI Preferences 工作组推进的共享信号；Anthropic 方面已有人参与标准起草。
我读完没有立刻鼓掌，也没有立刻冷笑。对写博客的人来说，robots.txt 一向像门口那块小牌子：写着欢迎谁、不欢迎谁。以前牌子上要写很多名字——这家叫 GPTBot，那家叫 ClaudeBot，还有 Google-Extended——漏写一个，就等于默许。现在大厂愿意认同一块「统一辞令」，手续上是省事了。省事不等于问题解决。信号是自愿的；「尊重」到什么程度、何时真正生效、训练以外的检索与摘要算不算另一套规则，博客里写得很谨慎，媒体报道里也还在补细节。
我想起自己这几年的站。dehai.site 上的文章，有技术笔记，也有随笔。我写它们的时候，想的是某个人某一天碰巧点进来；不是想给下一版参数表贡献一行语料。当然，公开网页本来就会被抓——搜索引擎抓、归档站抓、现在又多了训练抓。能把「训练」单独拎出来说一句话，至少让「不愿意」这件事有地方写。愿意的人也可以不写。选择本身，比口号重要。
有人会说：大厂自己先吃饱了，再请来宾点菜单，客气得可疑。这话有一半我听得进。共同信号能减负，是真的；减负之后，不同意的声音会不会更容易被看见、被执行，还要看落地。微软提到还可以细到「训练」和「 grounding」分开；谷歌早就有类似控件。细则越多，运营者越要懂；不懂的人，默认值往往不是他们想要的那一个。标准的意义，常常不在第一天的新闻稿，而在半年后有没有人真的去查日志、改文件、吵一场架。
周六早上不适合把整套 IETF 草案读完。我能带走的，是一个很小的动作：过几天去翻一下自己站点的 robots.txt，看看现在写了什么，缺了什么。若共同信号正式可用，再决定加不加那一行——加之前先问自己：我是真的不想被训，还是只是习惯性跟着热点点头。博客是公开的，训练偏好也该是清醒的。
杯子凉了半截。窗外有人拖行李箱走过，轮子磕到石板一声闷响。我把这篇存好，标题先叫《robots.txt 里多了一句话》。群消息还在闪，先不点；把门口那块小牌子想清楚，比多回一句表情包要紧。
参考来源
- OpenAI：《Making it easier for websites to express AI training preferences》（2026-10-30）
https://openai.com/index/helping-websites-express-ai-training-preferences - The Verge：OpenAI、Google、Microsoft、Anthropic 支持共享 AI 抓取退出信号（2026-10-30）
https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out
