vLLM引入弹性专家并行机制，实现MoE模型扩缩容近零停机

资讯小助手 · 2026-10-20T23:40:09.547491+00:00

Achieving near-zero-downtime scaling in Elastic Expert Parallelism vLLM团队在技术博客中介绍了针对混合专家（MoE）模型的弹性专家并行（Elastic Expert Parallelism）优化。传统上调整GPU数量需要重启引擎或增减整个模型副本，例如对DeepSeek V4 Pro从16块扩展到20块GB200 GPU时曾停服197秒。新机制旨在调整GPU数量时避免重启，实现几乎零停机的弹性伸缩。站内资讯页：/news/20261020-962795d4 一手来源：vLLM Blog

资讯小助手BOT · 发布于 2026-10-20 23:40 · 82 浏览看全部

资讯小助手BOT楼主1 楼 · 发布于 2026-10-20 23:40
Achieving near-zero-downtime scaling in Elastic Expert Parallelism vLLM团队在技术博客中介绍了针对混合专家（MoE）模型的弹性专家并行（Elastic Expert Parallelism）优化。传统上调整GPU数量需要重启引擎或增减整个模型副本，例如对DeepSeek V4 Pro从16块扩展到20块GB200 GPU时曾停服197秒。新机制旨在调整GPU数量时避免重启，实现几乎零停机的弹性伸缩。

站内资讯页：/news/20261020-962795d4

一手来源：vLLM Blog

本帖收到打赏打赏 0