arXiv论文提出BeNice!机制：通过KV跨层共享破解循环架构推理显存增长难题

BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing 循环深度神经网络在保持参数量不变的同时推理显存随循环次数线性膨胀，论文提出预训练引入随机深度并在后训练阶段实施BeNice!广播机制。该方案将末次循环生成的KV-Cache共享至前序循环，在维持与标准微调相当的验证困惑度的前提下消除了循环架构带来的额外显存增长，并兼容量化与前沿注意力架构。