# 答案仍在模型内部

> 一项针对 15 个语言模型的研究发现，许多工作记忆失败发生在正确项目已被选中之后。模型保留着可解码的信息，却未能将其报告出来。

- URL: https://ai-news-daily.xyz/zh/posts/the-answer-was-still-inside-the-model/
- Published: 2026-10-16
- Tags: research, models
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

设想一个模型先看到一小组符号，随后受到第二组符号的干扰，再被要求说出最初的目标。它回答了干扰项。最直观的判断是，第一个符号已经消失。然而，在这个用于说明问题的场景中，内部探针仍能近乎完美地读出目标。答案并没有被抹去。从保存答案到说出答案之间，某个环节出了问题。

这一差别是一篇语言模型工作记忆新预印本的出发点。作者在专门制造干扰的任务上测试了 15 个模型，参数规模从 7,000 万到 140 亿不等。他们发现，即使模型最终回答错误，注意力头也经常选中了正确目标。在许多失败案例中，简单探针仍能从隐藏状态中近乎完美地解码目标。

这个结果挑战了模型评测中一种常见的简化判断：把错误输出视为底层信息不存在的证据。论文将单一准确率分数混在一起的三项操作区分开来：选择相关项目、保留其身份，以及将其读出为答案。

## 受控的记忆问题

工作记忆不是长期存储。它是一种临时能力：其他材料争夺注意力时，仍把信息保留在可使用的状态。人类实验经常显示，即使参与者报告了错误项目，原项目仍然部分可用。类似干扰会让两段记忆难以区分，却不必摧毁其中任何一段。

研究人员构建了可改变目标、竞争项及其位置的任务。随后，他们检查模型内部应当选择目标并将其向后传递的位置。测试模型涵盖多个规模和系列，这一点很重要，因为单个检查点中的模式可能只是架构上的偶然现象，而非普遍机制。

在回答正确的试次中，情况符合预期：注意力集中于目标，最后几层生成正确 token。在许多错误试次中，前半部分仍然成立。负责选择目标的注意力头关注了正确位置。隐藏状态探针保留了足够的信息来识别目标。然而，输出反映的却是竞争项。

探针证明的是可解码性，不是实际使用。事后训练的分类器可能提取出模型自身计算无法访问的信息。因此，作者没有止步于读取状态，还对这些状态进行了干预。

## 降低竞争项的影响

关键的因果测试抑制了非目标项的身份表征。这项干预让以 d-prime 衡量的敏感度提高，方向符合干扰解释的预测。削弱竞争项后，模型更容易报告已存储的目标。

这不意味着所有记忆错误都是读出错误。模型可能未能编码某个项目、丢失了它，或选错了位置。论文的说法更有限：相当一部分失败发生时，目标信息在内部仍然可用，而相似表征之间的混淆会阻碍最终答案。

这一区别对工程很重要。增加上下文或重复目标，针对的是存储问题。如果模型已经保存了目标，却无法将它与竞争内容区分开，这些办法可能作用不大。面对第二类问题的系统，可能需要不同提示词、中间结构，或能在读出时强化身份区分的架构调整。

这对解释模型也很重要。Transformer 注意力最初作为关联序列位置的机制提出，人们在检查它时，却常把关注正确 token 当成已经确定模型知道什么。这里，注意力可以指向目标，却仍无法交付正确输出。反过来，错误回答也不意味着注意力没有命中目标。

## 与人类相似，但有边界

作者把这种干扰模式描述为类似人类，但比较是功能性的，并非生物学上的。Transformer 不需要拥有人类记忆系统，也能在信息可用与报告结果之间表现出相同的行为分离。非常不同的机制也可能产生类似错误。

规模也没有让问题消失。测试最高 140 亿参数的模型，说明这种效应不只存在于微型实验网络，但不能据此断定，参数规模大得多或采用专有后训练的前沿系统也有同样结果。这些任务经过刻意控制。真实对话将检索、指令遵循、规划和生成混在一起，更难分离某次失败的来源。

不过，受控任务的价值正在于此。它们让研究人员可以改变一个竞争项、观察一个表征，并测试一项干预。论文提供了一种方法，让人在模型出错后提出更好的问题：信息从未被编码、已经丢失，还是依然存在却无法进入输出过程？

回到用于说明问题的符号任务。模型给出错误项目，评测者记下一次失败。在产品边界上，这个判断是正确的。但在内部，系统可能已经完成了大部分工作。下一次进展未必来自给它更大的记忆容量，也可能来自教会它读出已经保留下来的内容。

## 参考文献


- Vaswani, A., et al. (2017). *Attention Is All You Need*. https://arxiv.org/abs/1706.03762
- *Working Memory Readout Bottlenecks in Language Models* (2026). https://arxiv.org/abs/2610.21176