arXiv论文：剪枝冗余注意力头可降低91.5%逐字记忆，缓解模型隐私风险

Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation 针对大语言模型复现训练集敏感文本带来的隐私与版权风险，最新研究提出了基于注意力头冗余特性的抑制方法。实验发现，在推理前直接置零特定任务冗余的注意力头，可在几乎不损害语言建模性能的前提下显著抑制逐字记忆；在GPT-2-XL(1.5B)上剪枝729个冗余头，可使逐字记忆数量下降91.5%，WikiText-103困惑度改善0.92