arXiv 论文 STEPQuant：通过时空量化框架实现线性注意力模型的高效率部署

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization 论文提出针对线性注意力架构的 STEPQuant 量化框架。通过时空维度的精度分配，在名义 6-bit 预算下仍能保持接近 FP32 的精度，并将服务内存最多降低 68.7%。该成果为在有限显存下部署大参数线性注意力模型提供了高效的工程实践方案。