arXiv：研究者揭示大语言模型实现上下文学习的具体电路机制

A Circuit for In-Context Learning 研究人员在3个3-4B参数的Transformer中，阐明了大语言模型上下文学习（ICL）的底层电路。该模型通过一种键值记忆机制实现少样本任务学习：中间层的注意力头将前置示例的类别作为键写入标签Token，查询层则将任务类别与这些键匹配以输出正确的标签。研究通过激活修补和头部消融验证了该计算机制的因果关系，并发现即使从零开始训练的Transformer也会生长出类似的机制结构。该研究成果表明，上下文学习并非依赖单一的记忆化，而是由可解释的特定电路组