字节Seed团队发文揭示分块KV缓存压缩引入的相位敏感性缺陷

字节 Seed 团队发现 DeepSeek“抽风”原因，长上下文可能性能漂移 字节跳动Seed团队在arXiv上发表论文，探讨长文本推理中分块KV缓存压缩带来的系统性影响。研究表明，连续Token窗口的压缩引入了相对位置的相位坐标，导致模型对同一信息的检索在不同相位下性能发生周期性波动；在受测开源模型中，长上下文检索准确率在不同阶段之间的差距可能高达40个百分点。