vLLM 实现 Kimi K3.1 Pro 首日部署

vLLM Delivers Day-0 Support for Kimi K3.1 Pro vLLM团队宣布支持Kimi K3.1 Pro模型的Day-0（发布首日）推理部署。该模型拥有2.8万亿参数，原生支持视觉理解并具备百万Token上下文窗口。vLLM通过支持KDA混合架构上的稀疏注意力、采用打包的KV缓存（支持FP8/NVFP4潜在变量）以及融合的低延迟解码等技术，实现了对该模型的快速适配。这使开发者能够在模型发布初期即完成部署与应用验证。华为昇腾也基于 vLLM Ascend 与 SGLang 同步完成