vLLM推出双向KV缓存传输机制，优化多轮智能体首字延迟

Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM vLLM团队在技术博客中介绍了针对多轮智能体工作流的双向KV传输优化。针对智能体频繁重发历史上下文导致的重复计算问题，该方案在Prefill与Decode分离架构下高效跨节点同步KV缓存块，显著改善首字生成延迟（TTFT）。