一篇新预印本报告,准确描述自身已学偏好的模型,比编造描述的模型更多复用了决策背后的内部计算。
美国东北大学(Northeastern University)的 David Atkinson、David Bau 与 Eleos AI Research 的 Dillon Plunkett,创建带隐藏偏好的虚构角色,训练 Qwen3 模型代其选择。模型从未受训解释偏好,团队因此可以询问,准确自我报告能否自行出现。
为什么重要
可解释性研究者评估模型对自身状态的主张时,通常面临循环问题:陈述听来合理,但状态本身可能无法核查。实验提供已知真值,并发现符合真值与不符合真值的报告之间存在结构差异。
虚构偏好是由 5 个数字组成的简单规则,对应距市中心距离、房间大小等特征。模型看到成对选项,学习所属角色会选哪一个;另用提示词要求以数字输出角色偏好权重。
尽管训练数据只有决策,部分运行最终仍出现准确报告。这很重要,因为模型不能简单模仿训练中展示的解释,而必须将学到的决策规则转成语言。
相同权重支持选择与报告
作者随后使用归因修补,估计哪些适配器组件促成特定输出,并比较作出选择与报告隐藏偏好时所用模式。
忠实适配器的两种模式平均相似度为 0.34,不忠实适配器为 0.08。作者给出的差值不确定区间不包含零。直白地说,准确报告者在行动和描述行动依据时,倾向于更多依赖相同的新增内部回路。
分层实验指向相同方向。一个在全部 40 层上训练的 140 亿参数 Qwen3 模型学会了决策,但偏好报告很差。将训练限制在网络前约四分之一至一半,报告忠实度明显提高;只训练后层则无法复现。作者认为,偏好信息移到了既有语言表达机制能触及的层。
证据是机制性的,而非行为性的:测试无需理解报告措辞。原则上,只要能访问相关内部组件,同样比较也可用于混淆后的报告或陌生语言。
研究还发现
更大的 Qwen3 模型比小变体更常学会忠实自我报告,但部分小模型虽决策能力强,报告却出现负相关。Gemma 4 复现实验在较大配置中同时发现高、低忠实度适配器。在同一个共享模型中,各角色的归因相似度与忠实度呈正相关,但关系很弱。
结果并未提供可用于部署模型的内省检测器。偏好规则是人为构造、线性的,只有 5 维;实验修改轻量适配器,而非完整模型权重;忠实与不忠实组的相似度分数也有重叠。在该设置中,高相似度支持忠实性,但低分不能证明欺骗或编造。
预印本提交于 2026年10月5日。最明确的下一步,是在模型报告更丰富的已学策略、且真值仍可独立测量时,检验相同内部复用是否出现。
核实
| 说法 | 标签 | 一手来源 | 独立核实 |
|---|---|---|---|
| 研究在隐藏线性偏好上训练 LoRA 适配器,在没有自我报告监督下观察到准确自我报告 | 据公司称 | arxiv.org | 无 |
| 忠实适配器平均归因相似度为 0.34,不忠实适配器为 0.08 | 据公司称 | arxiv.org | 无 |
| 仅训练前层改善了 Qwen3-14B 的自我报告,仅训练后层没有 | 据公司称 | arxiv.org | 无 |
| 方法区分的群组分数有重叠,测试对象是受控环境中的适配器 | 已核实 | arxiv.org | 无 |
| 论文由 Atkinson、Plunkett 和 Bau 于 2026年10月5日 提交 | 已核实 | arxiv.org | 无 |