arXiv 论文揭示野生 AI 网页文本对预训练 Scaling Laws 的影响机制

How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text 研究团队分析发现，经 Pangram 检测器标注，2026 年网页语料中 AI 生成文本占比从 6 月的 27.5% 升至 8 月的 31.1%，且均未经标签随预训练语料一同进入。研究团队通过预训练 800 个语言模型拟合了包含野生 AI 语料的新 Scaling Law。研究表明，在低数据预算下混入 AI 文本初期可降低测试损失，但随后收益饱和并迅速转为负面损害；而