vLLM团队阐述REINFORCE Zero：实现异步强化学习采样与训练零失配

Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1 vLLM 官方技术博客介绍了 REINFORCE Zero 在异步强化学习（Async RL）下消除采样与训练失配的工程实践。团队在同步 RL 精确逐位对齐的基础上，进一步分析权重延迟（weight lag）与离策略（off-policy）设置中的零失配机制。官方称该方法在策略延迟 64 下稳定训练 2 万步，训练步吞吐达同步训练的 2.40 倍，已覆盖 DeepS