阿里 Qwen 团队分享 FlashQLA 算子库：针对 GDN 混合架构线性注意力的 GPU 优化实践

面向 Qwen 系列模型线性注意力的高性能优化实践 在 AICon 深圳站上，阿里巴巴 Qwen 团队介绍了面向 GDN（Gated Delta Network）线性注意力的高性能 GPU 算子库 FlashQLA。该实践主要围绕序列并行方案、滑动窗口特性利用、代数改写以及 Warp Specialization 展开优化。该方案旨在解决混合注意力模型在处理超长序列时面临的并行度不足与访存开销问题。