arXiv 论文提出 Latent Compaction：利用测试时训练实现 32 倍 KV 缓存压缩

Latent Compaction with Test-Time Training 针对长上下文大模型 KV 缓存占用巨大的问题，清华大学研究团队提出 Latent Compaction 方法。该方案将特定文档的 KV 缓存视为神经网络，在冻结模型主干权重的前提下，利用与文档相关的通用提示词进行测试时自适应训练与蒸馏优化，在 RULER 基准上达到 32 倍压缩率且保持 96.7% 的检索准确率，并在 Qwen3 和 MiniCPM5 上验证了跨模型迁移能力。