2026-10-13 · 研究论文 · 重要性 ★★★
arXiv论文提出ELR架构:消除循环语言模型的单循环性能损耗
One Model to Loop Them All: Elastic Latent Recurrence for Language Models 研究团队提出了弹性潜在循环(Elastic Latent Recurrence, ELR)语言模型训练方案,解决了循环模型在单次循环推理时精度落后于非循环模型的固有缺陷。ELR通过门控状态更新与混合深度调度,允许单一检查点根据推理算力预算灵活调整循环次数以提升精度,并在MoE模型中优化了KV显存占用。
一手来源:arXiv cs.CL ↗
← 返回资讯列表本站仅做聚合整理与来源标注,版权归原作者所有。

