OpenAI携手谷歌、微软与Anthropic，联合支持robots.txt统一AI防抓取标准

Making it easier for websites to express AI training preferences OpenAI宣布将在robots.txt中遵守一项由多方支持的通用信号标准，使网站运营方能够跨多个参与机构统一声明生成式AI训练偏好。该策略令牌提案由Anthropic负责标准事务的技术负责人在IETF框架下牵头推进，旨在改变以往网站必须针对各AI厂商爬虫单独设置限制的繁琐流程。 参考合并： The Verge AI