设想一名虚构的开发者 Mara:此时,生成的函数刚统计完首字母大写的单词,即将检查回文。光标停在等号后面。代码还没有进行比较,没有反转字符串,也没有任何输出 token 表明接下来要做什么。Mara 想在这里暂停模型,问一个简单问题:现在打算做什么?这是一个示意场景。一项新实验把这个问题变成了研究者可以在模型内部测试的对象。
代码出现之前的目标
来自美国东北大学(Northeastern University)、Parallax、哥本哈根大学(University of Copenhagen)和牛津大学(University of Oxford)的 Arnab Sen Sharma 及另外九名研究者报告称,编程模型的下一个子目标可以定位到少量分散的注意力头。他们于 11月12日发布的预印本,不只发现了相关性。研究者将这种表征解码成自然语言,把它移植到另一种编程语言中,并通过干预改变模型编写的内容。
这项工作研究的是一个宏大而富有争议的问题的窄化版本:语言模型是否拥有目标?作者没有把流畅的行为当作意图的证据。他们把目标定义为一种内部状态:它先于行动出现,可以通过不同手段实现,并在行动执行期间持续存在。这一定义导出了三项测试:预先确定性、可塑性和持续性。
受控任务让这些测试成为可能。提示词要求模型对整数、字符串或列表完成两至四项独立操作。例如,统计首字母大写的单词、寻找范围,或检查是否有单词为回文。研究者使用了 253 份任务说明,并检查每项后续操作开始前的四个位置,因此每种评测配置产生 1,012 次观察。
论文的大部分主要结果使用 Qwen-2.5-Coder-32B-Instruct,一个有 64 层的模型。稀疏选择程序识别出 122 个注意力头,集中在第 28 至第 55 层之间。该程序奖励这样的注意力头:将其输出从一种编程语言的来源提示词移至另一种语言的目标提示词后,能够使来源操作开始执行。选择不同语言很重要:回文检查的表征必须能够经受语法、变量名和具体 token 的变化。
读取隐藏指令
为了让表征可读,团队利用所选注意力头的输出构建了名为 GoalScope 的探针。它将这些注意力头在某个选定 token 位置写入模型残差流的内容相加,再把这个向量注入同一模型的另一轮独立运行。第二轮运行收到固定请求,要求描述该操作。其文本提示词不包含原始编程问题的任何信息,因此原始上下文只能通过注入的激活传递到答案中。
这一方法扩展了 Asma Ghandeharioun 及同事提出的 Patchscopes 框架。该框架将隐藏表征放进提示词,让语言模型能够解释它。这项研究也延续了几位相同研究者的早期工作。Function Vectors 表明,对注意力头输出进行紧凑求和,可以承载一种输入—输出函数,并在新上下文中触发它。General Filter Heads 随后分离出用于筛选列表的谓词的可移植表征。新论文则从单一操作,推进到多操作任务中不断变化的下一步。
在模型输出实现代码之前,目标读出结果就已经有用。在上一行结束时,GoalScope 的描述约有 60% 的时候与即将发生行为中有实质意义的一部分相符。在缩进位置,也就是实现代码之前三个 token 处,报告的得分超过 90%。移入 C++ 上下文后,在一个转移位置,这种编码有 96% 的时候触发了对应操作;各转移位置的平均值约为 87%。
这些结果支持预先确定性和可塑性。它们说明,在相关代码出现之前,所选活动已经携带了要做什么的信息,而且这些信息并不只是一串缓存的 Python token。目标模型会生成适合新上下文的实现路径。
因果测试让这一结论更明确。研究者保留所选注意力头对下一项任务的访问,同时阻止约 93% 的较后层注意力头读取这段内容时,模型基本保留了实现操作的能力。只让选出的 122 个注意力头无法读取该信息,模型仍可通过冗余路径补偿;但扩大到 250 个注意力头时,性能显著下降。作者将其描述为一个带有冗余的因果瓶颈,而不是单个不可或缺的开关。
每一步都重新构建的目标
持续性带来了机制上的难题。自回归 transformer 没有可以从一个生成 token 无限传递至下一个的循环状态。注意力可以读取先前位置,但把新计算的状态向前传递会消耗层数。在这个模型中,目标大约到第 40 层之后才可以用语言表达,剩余深度不足以让同一状态贯穿超过 30 个 token 的操作。
作者提出了另一种机制。模型反复重读任务说明,检查上下文中可见的已完成代码,并重新构建待执行操作。他们称之为非循环式目标追寻。表面上的连续性来自重复计算,而不是某个内部对象原封不动地穿越整个序列。
定向移植支持了这一解释。研究者改变目标注意力头从任务片段读取的键值状态,同时让其他注意力头继续使用目标提示词。此时,模型约有 94% 的时候会用目标编程语言实现来源提示词的下一项操作,而 GoalScope 的描述约有 90% 的时候随之变化。在另一项干预中,替换这些注意力头的查询状态,传递了已完成工作的信息,并改变了模型选择的剩余子任务。
这一区别对监督很重要。监控器或许能在待执行操作出现在输出中之前读出它,而干预或许能改变其方向。但这种表征是由任务说明和可见进度组合而成的。改变其中任一来源,表面上的目标也可能随之改变。
可读目标的局限
论文并未证明存在普遍的目标中枢。其核心数据集由逐项列举的编程操作组成,正文的大多数测量来自一个经过代码调优的模型,而生成的描述与实现是否一致,则由大语言模型(LLM)裁判评分。作者在附录中测试了其他模型家族和一些自然语言设置,但仍将模型及任务覆盖面列为局限。
最需要谨慎的地方,在执行路径受扰动时显现。模型在正常执行中保持了可辨认的编码,却往往无法从人为植入的错误开头中恢复。Qwen-2.5-Coder-32B-Instruct 在约 97% 的一致案例中能够适应,在容易扰动的案例中为 63%,在困难扰动中则仅为 15%。其他受测模型也显示出同样的下降。目标可读,并不保证能够成功实现目标。
再回到等待光标前的 Mara。在这个虚构的结尾场景中,她的调试器显示了一条暂定说明:检查是否有单词为回文。她将其视为针对当前提示词和代码位置的预测,而不是机器的自白。随后,她插入一个误导性的前缀。说明依然写着原来的任务,生成的代码却偏离了方向。这项新研究给了她一个观察模型下一项操作的窗口,也说明看见目标与信任其执行,仍然是两项不同的工作。
参考文献
- Ghandeharioun, A., Caciularu, A., Pearce, A., Dixon, L., & Geva, M. (2024). Patchscopes: A Unifying Framework for Inspecting Hidden Representations of Language Models. arxiv.org
- Sen Sharma, A., Rogers, G., Shapira, N., & Bau, D. (2026). LLMs Process Lists With General Filter Heads. arxiv.org
- Sen Sharma, A., Todd, E., Feucht, S., Arditi, A., Gandikota, R., Shapira, N., Sarti, G., Fierro, C., Schut, L., & Bau, D. (2026). Goal Encoding in LLMs. arxiv.org
- Todd, E., Li, M. L., Sen Sharma, A., Mueller, A., Wallace, B. C., & Bau, D. (2024). Function Vectors in Large Language Models. arxiv.org