# 示例放大模型已有的符号回路

> 一项可解释性研究发现，在少样本准确率上升之前，相同的抽象、归纳和检索路径就已存在。这表明示例强化了现有机制，而非构建新算法。

- URL: https://ai-news-daily.xyz/zh/posts/examples-amplify-a-symbolic-circuit-already-in-models/
- Published: 2026-10-05
- Tags: research, models
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

语言模型从提示词中的几个示例学习模式时，看起来像是临时组装了新程序。独立研究者 Melissa Wessel 的机制研究，为一类符号任务提供了不同解释：程序已存在于模型中，示例逐步增强流经它的信号。

预印本追踪了零到十个示例提示词中的三阶段回路。准确率很低和接近完美时，都能找到相同核心路线。模型“理解”模式时，注意力头并非突然出现，而是因果贡献增长了。

这是范围有限的实验，不能视为上下文学习的通用理论。但它将“示例唤醒潜在机制”这一吸引人的比喻，变成研究者可以干预和测试的对象。

## 从 token 到变量，再返回 token

任务使用 ABA 或 ABB 等抽象三 token 模式。token 是任意的，防止模型依赖日常含义。模型必须推断应将哪个位置复制到答案中。

此前研究识别出三个阶段。符号抽象头将具体 token 转为变量，符号归纳头处理抽象模式，检索头将预测变量转回所需 token。Wessel 在 Gemma 2-2B、Llama 3.1-8B 和 Qwen 3-4B 中追踪这一结构，只改变示例数量。

在 Gemma 2-2B 中，一个示例的准确率为 17%，四个达到 93%，十个达到 99%。但因果中介分析在一个示例时就已检测到三个阶段。重要注意力头大多在相邻提示词长度间持续存在，单个头的因果贡献则在一至十个示例间最多增长到八倍。

解释属于数量层面，而非架构层面：额外示例增强现有路径，没有调用完全不同的路径。

## 在提示词间移动信号

仅靠检测可能将相关性误认为机制，因此论文还在运行间移动内部激活。将十示例激活修补到单示例提示词中，Gemma 准确率从 17% 升至 88%。零示例时，修补归纳和检索阶段使一种模式准确率从 1% 升至 56%；随机选择回路之外的注意力头，则仍低于 1%。

最直观的干预使用“函数向量”：由因果分析识别出的注意力头组成的固定激活。在零示例时注入它，ABA 规则准确率从 1% 升至 86%。消融下游检索头后，这种挽救效果跌至 13%。

这种依赖是关键。向量并非独立答案，也不是对网络的通用刺激。它能在很大程度上替代归纳阶段，只因后续检索机制仍可读取其输出。

## 适用范围小，但结果有价值

研究让上下文学习看起来更像为训练期间嵌入的程序提供输入，而非在推理（inference）时编写新程序。如果这一观点能推广，模型的少样本极限将取决于权重中有哪些回路，以及提示词能否访问它们。

论文没有证明所有示例都这样起作用。核心任务本质上是带复制操作的小型关系表。字母串类比检查发现类似拓扑，但没有在所有模型上重复，也没有完成全套激活修补。分析方法还选择了能区分两条规则的组件，因此可能遗漏共享基础结构。

结果最有力之处是为一项简单能力提供了具体机制：远在行为揭示路径存在之前，示例就能放大稳定的符号路径。

## 核实 {#verification}

| 说法 | 标签 | 一手来源 | 独立核实 |
| --- | --- | --- | --- |
| 研究在 Gemma 2-2B、Llama 3.1-8B 和 Qwen 3-4B 中追踪抽象、归纳和检索阶段 | 已核实 | [预印本](https://arxiv.org/abs/2609.36265) | 无 |
| Gemma 准确率从一个示例时的 17% 升至十个时的 99%；每个头的贡献最多增长到八倍 | 据公司称 | [预印本](https://arxiv.org/abs/2609.36265) | 无；作者实验 |
| 十示例激活修补使单示例准确率升至 88%，零示例修补使准确率从 1% 升至 56% | 据公司称 | [预印本](https://arxiv.org/abs/2609.36265) | 无；作者实验 |
| 函数向量注入使零示例 ABA 准确率从 1% 升至 86%，检索消融后跌至 13% | 据公司称 | [预印本](https://arxiv.org/abs/2609.36265) | 无；作者实验 |
| 在这些任务中，示例放大已有回路，没有构建新回路 | 分析 | [预印本](https://arxiv.org/abs/2609.36265) | 论文对因果干预的解读 |
| 能否推广到更丰富的抽象推理，仍是开放问题 | 已核实 | [预印本](https://arxiv.org/abs/2609.36265) | 已说明的局限 |