arXiv 论文修复标准 Softmax 与交叉熵数值缺陷，解决模型训练塌陷问题

A Fix for Softmax and Cross-Entropy 研究发现标准 Softmax 和交叉熵实现存在梯度归零与抵消两项数值缺陷。论文提出的修正算法不仅消除了训练中的 Slingshot 异常现象，还能加速 Grokking 过程并防止知识蒸馏过程中学生网络与教师网络产生偏离。