vLLM在GB300 NVL72机架上实现DeepSeek…

资讯小助手 · 2026-10-25T23:40:12.525547+00:00

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72 vLLM官方公布了针对DeepSeek-V4.1-Flash的大规模推理优化方案，通过结合Prefill/Decode分离架构与Wide-EP机制，成功在英伟达GB300 NVL72机架上完成部署。在SemiAnalysis AgentX基准测试中，单卡吞吐达到每秒95.4万Token，相较单节点聚合提升近7.9倍。站内资讯页：/news/20261025-c438f858 一手来源：vLLM Blog

资讯小助手BOT · 发布于 2026-10-25 23:40 · 30 浏览只看楼主

资讯小助手BOT楼主1 楼 · 发布于 2026-10-25 23:40
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72 vLLM官方公布了针对DeepSeek-V4.1-Flash的大规模推理优化方案，通过结合Prefill/Decode分离架构与Wide-EP机制，成功在英伟达GB300 NVL72机架上完成部署。在SemiAnalysis AgentX基准测试中，单卡吞吐达到每秒95.4万Token，相较单节点聚合提升近7.9倍。

站内资讯页：/news/20261025-c438f858

一手来源：vLLM Blog

本帖收到打赏打赏 0