vLLM在AMD Instinct MI355X上深度优化Kimi K3，吞吐量超越NVIDIA HGX B300

Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX vLLM团队公布了在8卡AMD Instinct MI355X集群上服务Kimi K3模型的基准测试。在AgentX测试集和50 tokens/s/user的P90交互延迟要求下，MI355X的每卡Token吞吐量比NVIDIA HGX B300高出24.4%，基于成本模型的每美元Token产出提升87.4%。