arXiv论文提出TACO优化器，单张H100可完成32B大模型全参数微调

TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning 研究人员提出了名为TACO的三值绝对值最大列稀疏优化器，通过极度精简的梯度状态大幅降低全参数微调中的显存占用。在OPT-13B微调实验中，TACO相比AdamW8bit将优化器常驻显存缩减174倍，峰值训练显存降低2.9倍且精度保持一致。该方法使开发者在单张80GB H100 GPU上即可完成30B-32B级别模型的全参数微调。