2026-10-07 · 研究论文 · 重要性 ★★★
arXiv论文发现:预训练基模仅凭特定起始词线索即可激发强推理能力
Base Models Can Reason By Taking a Cue From Training Data 最新arXiv研究揭示,在基座模型生成的回复开头固定特定的起始Token提示(如'.\n\nOkay'),其在数学与代码任务上的表现即可逼近经过强化学习微调的模型。研究通过因果数据干预证明,强化学习实际上是强化了模型对这些推理引导词的先验关联。这一发现揭示了基模内部隐藏的推理机制与对齐行为与训练语料结构的深层联系。
一手来源:arXiv cs.LG ↗
← 返回资讯列表本站仅做聚合整理与来源标注,版权归原作者所有。

