arXiv：PEARL 方法可有效且持久地抑制模型失配行为

Suppressing Misaligned Behaviors in Language Models, Durably arXiv论文提出了一种名为PEARL（前缀扩展对抗强化学习）的方法，用于在语言模型中持久地抑制模型失配行为。该研究通过构建特定的模型生物体（具有特定触发机制的模型）进行验证。PEARL通过从缓存轨迹的中间状态中采样续写来增强强化学习，在两个不同的模型生物体和两个模型家族上均展现了强大的抑制能力，且在后续微调中依然有效。