设想一个孩子正在屏幕上看一段短场景。红球放在抽屉里。一个角色离开，另一个角色把球移进盒子。当第一个角色回来时，孩子知道他会去抽屉里找。现在，用视觉语言模型替代孩子。模型能用文字解释错误信念，但屏幕上移动的物体改变了它的答案。这是一个示意场景，描述了一项新研究所单独考察的任务类型。

视觉差距

Mohamed Rayan Barhdadi、Syed Talal Wasim、Juergen Gall 及其同事，在错误信念问题上测试了 7 款视觉语言模型。他们的预印本已被 NeurIPS 2026 的 Evaluations and Datasets 分会接收，报告了在 5 种条件组成的测试方案中超过 159,000 次 API 调用。模型在文本版本上接近人类水平，但当相同的基本问题以视觉形式出现时，表现下降超过 20 个百分点。

错误信念测试在心理学中有悠久历史。它考察受试者能否区分现实与他人对现实的认知。在标准模式中，一个角色不在场时，物体被移动。正确回答要求受试者预测该角色相信什么，即使受试者自己知道物体实际在哪里。

近期语言模型在文本版本上往往表现良好。Michal Kosinski 用 40 项专门设计的错误信念任务评估了 11 款语言模型，报告称 2023年版 GPT-4 解出了其中 75%。James Strachan 及其同事的另一项比较发现，一些语言模型在多项心智理论测试中达到或超过人类表现。两篇论文也都提醒，答对并不能证明模型以与人相同的方式推理心理状态。记忆的模式、任务结构和语言线索，仍是其他可能的解释。

视觉场景增加了另一层依赖。模型要推理角色相信什么，必须先识别决定这一信念的角色、物体、位置和变化。因此，错误答案可能来自社会推理、感知，或两者之间的连接。单一分数无法区分这些失败。

同一个问题的 5 种呈现

Barhdadi 及其同事设计了 5 种条件，在保留推理目标的同时，改变感知证据的质量和形式。关键干预是向模型提供场景的真实描述。有了这一支撑，文本到图像的大部分差距消失了。当描述由自动解析器生成时，却没有出现同样的修复，即使解析器中包含前沿视觉语言模型也是如此。

这一对比定位了当前瓶颈。模型往往能够利用准确的场景符号描述，推断不在场角色的信念。但当它们必须自己从像素中生成这份描述时，就会失败。在最终提问阶段改进提示词，无法找回视觉前端已经遗漏或扭曲的信息。

错误模式也支持同样的结论。60% 的错误信念失败呈现出现实偏差：模型回答物体的实际位置，而非不在场角色会记得的位置。这类似于未能将两种表示分开：一种描述当前场景，另一种描述角色最后看到的场景。

现实偏差看起来可能像社会推理失败，因为最终答案忽略了角色视角。但受控条件表明，模型可能根本没有构建出可用的角色视角描述。如果解析器说角色看见了物体移动，或漏掉角色离开的时刻，那么后续推理接收到的就是错误的问题。

作者提供的真实描述支撑，是诊断手段，而非可部署的解决方案。真实系统很少收到完美的场景描述。观察工作场所的助手、在人群周围行动的机器人，或跟随演示的辅导系统，都必须判断每个人目睹了哪些事件。这些系统不能假设人类已经将视频转换成了恰好需要的事实。

检验边界的基准测试

早期视觉心智理论基准测试已表明，多模态系统难以处理意图、信念和误导性呈现。新的测试方案进一步明确地区分了看见与推断。它先问：当感知保持不变时，模型能否解决推理问题？再衡量感知支撑变化时会发生什么。

这一区分对工程实践很重要。团队看到错误信念问题时，可能会增加更长的推理轨迹，或换用更大的语言模型。研究建议先做另一项测试：给系统一份经过核实的场景表示。如果答案变正确，应把工作重点转向物体跟踪、事件解析和针对不同视角的记忆。如果错误仍在，才需要关注信念推理组件。

这一结果也限制了对机器社会智能的宽泛判断。文本基准测试可以证明模型将书面场景映射到预期答案，却不能证明系统能从变化的物理世界中还原相关场景。模型读完一段清晰文字后讨论他人的信念，只完成了工作的后半部分。

论文提供了代码和数据，使其测试条件可供扩展。但所报告的 7 款模型比较，仍是一项有边界的实验室测试。它没有衡量所有视觉模型、所有社会推断类型，或非受控视频中的表现。这份预印本尚未经过期刊同行评审，不过被会议分会接收，已为其提供正式发表场所。

再回到示意场景中的孩子和移动的球。工程师给模型加了一句话：第一个角色在球移动前就离开了。模型现在预测会去抽屉里找。它的推理看起来更好了，尽管推理机制可能完全没有变化。缺失的部分，是模型未能看见的那个事件。

参考文献

  • Barhdadi, M. R., Wasim, S. T., Gall, J., Serpedin, E., & Kurban, H. (2026). Perception, Not Reasoning, Limits Visual Theory of Mind. arxiv.org
  • Kosinski, M. (2024). Evaluating large language models in theory of mind tasks. doi.org
  • Strachan, J. W. A., Albergo, D., Borghini, G., Pansardi, O., Scaliti, E., Gupta, S., Saxena, K., Rufo, A., Panzeri, S., Manzi, G., Graziano, M. S. A., & Becchio, C. (2024). Testing theory of mind in large language models and humans. doi.org