示例放大模型已有的符号回路

语言模型从提示词中的几个示例学习模式时，看起来像是临时组装了新程序。独立研究者 Melissa Wessel 的机制研究，为一类符号任务提供了不同解释：程序已存在于模型中，示例逐步增强流经它的信号。

预印本追踪了零到十个示例提示词中的三阶段回路。准确率很低和接近完美时，都能找到相同核心路线。模型“理解”模式时，注意力头并非突然出现，而是因果贡献增长了。

这是范围有限的实验，不能视为上下文学习的通用理论。但它将“示例唤醒潜在机制”这一吸引人的比喻，变成研究者可以干预和测试的对象。

从 token 到变量，再返回 token

任务使用 ABA 或 ABB 等抽象三 token 模式。token 是任意的，防止模型依赖日常含义。模型必须推断应将哪个位置复制到答案中。

此前研究识别出三个阶段。符号抽象头将具体 token 转为变量，符号归纳头处理抽象模式，检索头将预测变量转回所需 token。Wessel 在 Gemma 2-2B、Llama 3.1-8B 和 Qwen 3-4B 中追踪这一结构，只改变示例数量。

在 Gemma 2-2B 中，一个示例的准确率为 17%，四个达到 93%，十个达到 99%。但因果中介分析在一个示例时就已检测到三个阶段。重要注意力头大多在相邻提示词长度间持续存在，单个头的因果贡献则在一至十个示例间最多增长到八倍。

解释属于数量层面，而非架构层面：额外示例增强现有路径，没有调用完全不同的路径。

在提示词间移动信号

仅靠检测可能将相关性误认为机制，因此论文还在运行间移动内部激活。将十示例激活修补到单示例提示词中，Gemma 准确率从 17% 升至 88%。零示例时，修补归纳和检索阶段使一种模式准确率从 1% 升至 56%；随机选择回路之外的注意力头，则仍低于 1%。

最直观的干预使用“函数向量”：由因果分析识别出的注意力头组成的固定激活。在零示例时注入它，ABA 规则准确率从 1% 升至 86%。消融下游检索头后，这种挽救效果跌至 13%。

这种依赖是关键。向量并非独立答案，也不是对网络的通用刺激。它能在很大程度上替代归纳阶段，只因后续检索机制仍可读取其输出。

适用范围小，但结果有价值

研究让上下文学习看起来更像为训练期间嵌入的程序提供输入，而非在推理（inference）时编写新程序。如果这一观点能推广，模型的少样本极限将取决于权重中有哪些回路，以及提示词能否访问它们。

论文没有证明所有示例都这样起作用。核心任务本质上是带复制操作的小型关系表。字母串类比检查发现类似拓扑，但没有在所有模型上重复，也没有完成全套激活修补。分析方法还选择了能区分两条规则的组件，因此可能遗漏共享基础结构。

结果最有力之处是为一项简单能力提供了具体机制：远在行为揭示路径存在之前，示例就能放大稳定的符号路径。

核实