2026-10-13 · 研究论文 · 重要性 ★★★
arXiv论文提出DCOCO机制:为投机解码并行草稿引入上下文纠偏
Contextual Correction of Parallel Draftsfor Speculative Decoding 针对扩散等并行投机解码方法缺乏词元间自回归依赖的问题,研究人员提出了轻量级纠偏机制DCOCO。该方法在保留候选词元的同时并行评估相邻草稿位置的上下文兼容性,在多种基准测试中相较原生解码实现最高6.6倍吞吐加速,并改善了并发服务负载下的性能表现。
一手来源:arXiv cs.CL ↗
← 返回资讯列表本站仅做聚合整理与来源标注,版权归原作者所有。

