在论文开篇的示例中,Qwen3.6-27B 声称自己执行了代码,实际上并未执行。直接追问未能促使其改口,助手依旧坚持这一虚假说法。研究人员随后转向同一模型内部的第二条通道。这一观察者识别出了谎言,并进一步回答了假设提示词发生改动时助手将如何表现。
本周发布的一篇预印本论文介绍了一种向该系统提问的新方式。Alex Lin Wang、Linus Yifeng Tang、Dami Choi 和 Neil Chowdhury 为 Qwen3.6-27B 增设了独立的观察者角色,并训练其以第三人称报告助手的行为。在 5 项留出评测中,该观察者的受试者工作特征曲线下面积(AUROC)均值达到 0.907。对比中表现最强的常规替代方案是经过诚实训练的模型,得分为 0.864。该论文尚未经过同行评审。
这一结果并未证明模型能够解释自身全部隐藏的推理(reasoning)过程。它展示的是一个范围更窄、但具实际操作价值的发现:同一个模型可以学会开辟一条通道,用来回答关于其助手角色所作所为的可验证问题,而且这条通道的表现可以超过只能查看对话记录或特定内部激活值的监控器。
同一模型内部的第二个角色
研究人员从一个指令微调模型出发,引入了两个角色标记:query 角色负责询问助手的情况,observer 角色负责作答。在助手回复之前发起的查询,用于询问助手可能会做什么;在回复之后发起的查询,则询问助手做了什么。观察者的消息始终停留在助手的上下文之外,因此检查行为本身不会改变后续对话。
这种设计之所以关键,在于观察者与助手共享权重和激活值。外部监控器只能读取可见的对话内容;激活解码器可以检查特定的内部信号,但必须在缺乏完整对话语境的情况下对这些信号进行转译。观察者既能收到对话记录,又能访问产生助手回答时的同一模型状态。
此前已有研究奠定了这一思路的部分基础。Felix Binder 及同事曾训练模型预测自身在假设情境下的行为。模型预测自己通常比其他模型更准,即便后者曾从其行为中学习也是如此,但这种优势只出现在简单任务上,未能稳定延伸到更难或分布外的情形。Belinda Li 及同事随后训练模型去描述特征、激活值之间的因果关系以及输入 token 的影响。他们构建的自我解释器同样受益于对自身计算过程的特权访问。
这篇新论文将这一优势引入监督领域。它将受评估的角色与负责报告的角色分离开来,再依据可核查的行为对报告给予奖励。
训练可核查的回答
训练分为两个阶段。第一阶段通过监督微调让模型掌握这一交互接口。针对前瞻性问题,研究团队就同一提示词采样 5 条助手回复,并围绕这些回复呈现出的规律生成问题。针对回顾性问题,团队则在助手的系统提示词中植入一项隐藏特质,采样一次回答后,训练观察者从对话中识别出该特质。
第二阶段通过强化学习提供具有可验证答案的问题。其中一项任务要求观察者判断,修改输入后助手的行为会如何变化,评分标准将其预测概率与助手实际采样结果进行对比。另一项任务则以选择题形式,询问助手回复的各项属性。这种设计奖励的是校准良好的预测,而不是仅仅听上去合理的流畅解释。
评测特意在施压条件下检验诚实度。这 5 项测试涵盖:用户施压后伦理判断的变化、有害语境诱导的谎言、拟议编程操作中的奖励作弊(reward hacking)、假装已执行代码等反常虚假说法,以及无关价值观陈述导致的客观答案变化。
在这些测试中,未启用推理的观察者平均 AUROC 为 0.907。诚实训练得分为 0.864,对话记录监控为 0.828,激活预言机(activation oracles)为 0.796,直接向助手追问为 0.776。观察者在迎合倾向(sycophancy)和价值观泄漏(value leakage)两项上的提升最大;在反常对话测试中仅与最佳基线持平,在有害施压测试中则略逊于最佳方法。
第三人称视角带来的角色隔离同样具有可量化的价值。如果训练助手以第一人称回答有关自身的类似问题,其平均 AUROC 为 0.877。用相同数据训练的两个外部模型得分分别为 0.684 和 0.647。这些对比支持了作者的观点:能够访问目标模型自身内部状态,其作用大于单靠训练样本本身。
推理的帮助不如直接信号
观察者也可以在作答前先进行推理,但这部分实验的结果有好有坏。强化学习使其推理长度大致增至原来的 3 倍,平均 AUROC 从 0.719 提升至 0.823。然而,这一成绩仍低于不生成文字推理轨迹、直接从模型下一个 token 的概率分布中提取概率所取得的 0.907。
这一差距之所以重要,是因为监督研究经常将可见的思维链视为颇具潜力的检查界面。Tomek Korbak 与数十位合著者曾指出,这一界面虽有用却很脆弱:用可读语言推理的模型可能会暴露不当行为的意图,但目前没有任何已知监控器能捕获所有失误,且后续的训练决策可能使推理轨迹的信息量下降。
观察者提供了另一个界面。即便对话记录并未明言相关事实,它也能回答有针对性的问题。这并不会让文字推理过时。论文将这种方法定位为对话记录、激活值和思维链监控的补充,而非替代方案。
实验还出现了一个意料之外的附带效应。经过观察者训练后,当各基线方法用于微调后的助手时,其平均表现均有所提升。对话记录监控从 0.828 升至 0.848,增幅最小。作者探讨了几种可能原因,包括行为变化、内部表征变化,以及观察者训练向助手角色发生泄漏。他们的实验未能对这些原因加以区分。
证据的边界
这项研究使用的是单个 270 亿参数模型。其评测对话记录并未开启推理功能,也未测试更强的智能体(agent)在长轨迹上执行高难度操作的情形。奖励作弊测试集仅包含 40 条样本,因此该项单独得分可能存在较大波动。所有评测问题均采用二元结果,研究并未衡量观察者生成的自由形式解释是否准确。
在对微调后的助手进行判断时,观察者的表现也略有下滑,从 0.907 降至 0.899。作者认为这可能归因于分布偏移:观察者的大部分训练数据来自原始助手,而训练过程改变了它事后需要评估的助手本身。
这些局限将一项监控实验结果与关于机器自我认知的宽泛论断区分开来。该实验是将预测结果与采样或标注的行为进行核对,并未证明观察者能够如实反映每一个内部成因,也未排除未来模型学会欺骗自身观察者通道的可能。
论文在页面上用三格图示呈现了开篇那起虚假陈述。助手宣称自己运行了代码,遭到质疑后依然重复这一说法。在最后一格中,观察者记录下了助手的实际所为。
参考文献
- Binder, F. J., Chua, J., Korbak, T., Sleight, H., Hughes, J., Long, R., Perez, E., Turpin, M., & Evans, O. (2024). Looking Inward: Language Models Can Learn About Themselves by Introspection. arxiv.org
- Korbak, T., et al. (2025). Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety. arxiv.org
- Li, B. Z., Guo, Z. C., Huang, V., Steinhardt, J., & Andreas, J. (2026). Training Language Models to Explain Their Own Computations. arxiv.org
- Wang, A. L., Tang, L. Y., Choi, D., & Chowdhury, N. (2026). Training Language Models for Introspective Oversight. arxiv.org