vLLM推出基于Push机制的KV缓存传输方案以优化分离式推理延迟

Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM 开源LLM推理引擎vLLM发布基于推送（Push-Based）的键值缓存（KV Transfer）传输机制，专门用于Prefill与Decode分离部署架构。由于输入预填充与逐字解码阶段的算力特征不同，分离部署需在生成前将KV缓存从Prefill实例跨网络传输至Decode实例，新机制旨在提升缓存传输效率以缩短首字时间（TTFT）并改善系统负载下的吞