美团技术团队分享面向高并发有界生成的 SLM 在线推理优化实践

SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化 美团技术团队针对搜索和推荐场景中语言模型的极低延迟要求，提出了针对“有界生成负载”的 SLM 在线推理系统优化方案。系统通过静态 DAG 编排业务流程，结合 AOTInductor 编译、Packed Prefill、请求内 KV 共享及选择性 FP8 计算，在平均端到端时延低于 20ms 的约束下，将 Prefill-only 有效 MFU 提升至 67%，在线吞吐较 SGLang 提升 10 倍。