# 相同注意力头随任务改变职责

> 一篇新预印本发现，当请求的任务改变时，语言模型会重新组织注意力头的影响，即使提示词中的事实保持不变。因果干预表明，任务上下文参与决定组件的作用，使赋予组件永久标签变得复杂。

- URL: https://ai-news-daily.xyz/zh/posts/the-same-attention-heads-change-jobs-with-the-task/
- Published: 2026-10-13
- Tags: research, models
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

设想一位工程师坐在显示器前，追踪数百个小方框之间的连线。一个方框获得清楚的标签：“国家查找”。随后指令改变，输入事实保持不变，同一个方框似乎开始帮助做别的事。这位工程师是虚构的，用来说明新研究核心的实际问题：一个 transformer 组件可能并没有一个稳定职责可以命名。

## 随问题改变的映射

与宾夕法尼亚大学（University of Pennsylvania）和耶鲁大学（Yale University）有关联的研究人员 Sovesh Mohapatra 和 Dani S. Bassett，测试了任务上下文如何改变语言模型注意力头的功能组织。他们于 2026年10月12日提交的预印本研究了 5 个开放模型，参数量从 15 亿到 140 亿。论文尚未经过同行评审。

研究从刻意分离开始。提示词包含以事实陈述编码的小图，指令则要求模型回答关于该图的几种问题之一。不同条件下，图事实保持不变，只有任务改变。这一设计让研究人员能追问：模型是否在相同信息上沿着相同内部路径运行，还是根据所要求的任务重新组织路径？

他们将每个注意力头视为影响网络中的节点。一条边记录改变某个头输出如何影响模型后面的另一个头。得到的映射属于功能层面，而非解剖层面：架构不变，但测得的影响模式可以随任务变化。

结果确实如此。Mohapatra 和 Bassett 报告，在受测模型中，网络按任务分离。在一种任务中占据重要影响位置的头，在另一种任务中可能不那么核心。发现将可解释性问题从“这个头表示什么？”移向“在这项任务、这个网络中，这个头起什么作用？”

这一区别很重要，因为大量机制可解释性工作都在寻找可复用内部部件。Eric Todd 及同事此前识别出少数组注意力头，承载从上下文示例中提取的紧凑“功能向量”。Roee Hendel、Mor Geva 和 Amir Globerson 同样表明，上下文学习可以形成任务向量，让模型即使在推理时没有示例，也能执行已展示的操作。这些结果支持任务可以拥有因果内部表示的观点。新论文追问，这类表示如何改变组件之间的关系。

## 指令能够调动内部机制

仅有相关性会留下一个明显疑问。不同任务产生不同答案，因此不同影响映射可能只是伴随变化。作者因此对模型激活实施干预。

他们构建早期层激活编辑，旨在不改动书面提示词的情况下，将模型从一种任务表示移向另一种。在 Gemma 和 Qwen 模型实验中，该编辑能够切换模型执行的任务。论文报告，对于两项任务需要相反答案的 512 条提示词，每一条都切换到目标答案；对于两项任务需要相同答案的 512 条提示词，全部保留原答案。

干预也使后续影响映射更像目标任务。作者用网络响应模式之间的误差衡量。任务切换编辑将 Gemma 的误差降低 53.6%，Qwen 降低 5%。幅度差异提醒人们，不应把机制视为跨模型家族完全一致，但两者都指向同一因果方向：改变内部任务上下文，可以重定向后续计算。

这类似激活引导，一类通过向隐藏激活添加方向来改变模型行为的方法。Alexander Matt Turner 及同事表明，从对比提示词导出的激活添加，能够无需额外训练就改变生成文本的高层属性。新研究把激活编辑用作实验探针。目标不是推出行为控制功能，而是测试任务表示变化是否先于注意力头影响网络的变化。

干预范围很窄。它没有表明研究人员可以选择任意任务、可靠编辑任意模型，或从头组成的图中读出完整程序。任务受控，模型是中等规模的开放权重系统，因果测试聚焦特定内部对比。论文最强主张涉及这一场景中的上下文依赖性。

## 从贴标签的部件到被调动的团队

网络神经科学为作者提供了组织思路的比喻。在这一领域，研究脑区贡献时，通常关注它在变化网络中的位置，而非单一孤立功能。Bassett 和 Olaf Sporns 将该方法描述为跨尺度连接元素、解释交互如何产生行为的努力。Mohapatra 和 Bassett 将这一视角带入 transformer 分析。

类比有限。注意力头是人为设计的数学组件，不是生物脑区，transformer 也没有继承大脑的解剖结构或历史。有用的迁移是方法论：把部件与调用它的影响模式一起观察。

对审计模型的人来说，永久标签因此不那么令人放心。在一种提示词下支持某行为的头，可能在指令、示例或目标改变后以不同方式参与。移除或抑制该头，可能产生依赖任务上下文的效应。反过来，即使底层参数相同，安全相关过程也可能分布在不同配置中。

结果也提出了未来可解释性主张的实用标准。提出的回路应在复用相同信息的多个任务上测试，表面角色应经得起因果干预，而非仅靠视觉检查。如果回路改变，这一改变本身就是需要解释的机制的一部分。

仍有工作要做。论文研究的是有限的一类图任务和少数开放模型。它没有确立这些响应网络在超大型专有系统、长对话或带噪声现实指令下的表现。也没有确定测量网络是否涵盖所有与回答相关的计算。作者提供的是研究重配置的框架，不是完成的图谱。

回到显示器前那位虚构工程师。方框标签仍有用，但旁边如今需要写一个条件：在这条指令、与这些其他头一起执行这项操作时有用。持久研究对象不再是孤立部件，而是任务所调动的模式。

## 参考文献

- Bassett, D. S., & Sporns, O. (2017). *Network neuroscience*. https://doi.org/10.1038/nn.4502
- Hendel, R., Geva, M., & Globerson, A. (2023). *In-Context Learning Creates Task Vectors*. https://aclanthology.org/2023.findings-emnlp.624/
- Mohapatra, S., & Bassett, D. S. (2026). *Task Context Dynamically Reconfigures Attention Head Networks in Large Language Models*. https://arxiv.org/abs/2610.13895
- Todd, E., Li, M. L., Sen Sharma, A., Mueller, A., Wallace, B. C., & Bau, D. (2024). *Function Vectors in Large Language Models*. https://openreview.net/forum?id=AwyxtyMwaG
- Turner, A. M., Thiergart, L., Leech, G., Udell, D., Vazquez, J. J., Mini, U., & MacDiarmid, M. (2024). *Activation Addition: Steering Language Models Without Optimization*. https://arxiv.org/abs/2308.10248