arXiv 论文提出弹性 Transformer 框架，免重训实现算力动态自适应剪枝

Your Transformer Is Secretly Elastic 来自学术机构的研究人员提出了一种将预训练 Transformer 弹性化的免重训方法，使模型能在推理时根据异构硬件和波动负载在连续计算预算间动态切换。该方法通过可微松弛同时对所有 MLP 神经元和注意力头进行联合重要性排序，在覆盖 22M 到 8B 参数的 27 个视觉与文本编码器上，可实现高达 60% 稀疏度下的平滑降级，并在 A100 GPU 上将吞吐提升至 1.8 倍且无需额外微调。