vLLM在GB300 NVL72机架上实现DeepSeek-V4.1-Flash大规模高吞吐服务

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72 vLLM官方公布了针对DeepSeek-V4.1-Flash的大规模推理优化方案，通过结合Prefill/Decode分离架构与Wide-EP机制，成功在英伟达GB300 NVL72机架上完成部署。在SemiAnalysis AgentX基准测试中，单卡吞吐达到每秒95.4万Token，相较单节点聚合提升近7.9倍。