2026-10-22 · 开源工具 · 重要性 ★★★
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference 蚂蚁集团与 vLLM 社区联合开源 Humming，这是一个通用的高性能量化推理内核库。Humming 面向 DeepSeek-V3 等大规模 MoE 模型优化，可降低内存占用和数据移动、提升计算效率；在 8 张 H20、TP=8 的 DeepSeek-V4.1-Flash 端到端测试中，将 MoE 后端从 Marlin W4A16 切换到 Humming W4A8 后，吞吐提升约
一手来源：vLLM Blog ↗
← 返回资讯列表本站仅做聚合整理与来源标注，版权归原作者所有。