arXiv论文提出预条件子空间量化法，缩小4-bit AdamW与全精度的验证损失差距

Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization 研究团队重新审视了AdamW优化器二阶矩的量化误差传播问题，提出在预条件子空间计算随机舍入概率的ZIP-SR方案及ZE-EDEN校准方法。在130M至2.7B参数的大模型预训练实验中，该方法将TorchAO 4-bit AdamW与32位全精度基准之间的验证损失差距缩减了最高达70%。