设想交接班后的一间操作室。Ana 将钥匙移到了蓝色抽屉。Boris 看到了她。Cara 看到 Boris 在移动钥匙之前离开,而 David 只听到 Cara 描述她认为 Boris 知道什么。现在,助手必须回答一个具体问题:David 认为 Cara 相信 Boris 会去哪里找?
Ana、Boris、Cara 和 David 都是虚构的。混淆却是真实的。负责谈判、教学、协调或代人行动的智能体(agent),必须把世界本身与每个人对世界的看法分开。一篇新预印本认为,用来衡量这种能力的测试,往往让难题比标签所暗示的更容易。
四阶问题,二阶出口
理论心智是推断他人知识、意图或信念的能力。它的高阶形式嵌套这些视角:Alice 相信 Bob 认为 Carol 知道某件事。研究人员用这样的故事,检验语言模型能否同时追踪多个人的心智。
新研究 Beyond Belief Nesting 从一个听起来技术性很强、却会改变结果的区分开始。问题中出现多少个名字或信念动词,并不必然等于回答所需的嵌套推理深度。一个名义上的四阶问题,可能只依赖区分两个视角的证据。模型可以忽略链条其余部分,仍然得分。
Shanshan You 及同事将其称为阶数膨胀。他们通过计算支持逐级信念前缀所需的不同事件,定义有效阶数。只有问题的每一层都依赖能够排除更浅解法的证据,测试才达到完整阶数。
这一修正很重要,因为此前的基准测试建立了一条颇有吸引力的进步路径。2023年发布的 HI-TOM 生成信念嵌套越来越深的故事,发现模型表现随阶数上升而下降。较新的方法随后通过构建显式视角改善结果。RecToM 从每个角色的视角递归转换故事,并报告 GPT-5.4 和 Qwen3.5 在 HI-TOM 上达到完美准确率。这个分数看起来像是深层社会推理取得了进展。
HopToM 追问的是,测试本身是否仍允许捷径。
捷径消失后的下跌
研究人员构建了经过认证的完整阶数问题,并配上检验低阶替代解法的对照。在直接提示下,四个前沿模型的平均准确率从一阶的 73.5% 降到四阶的 20.0%。人类参与者也觉得更深的问题难以回答。
单凭下降不能证明模型缺乏理论心智。它说明,在较容易的基准构造上成功,无法确立更强的结论。模型可能因为故事中有靠近所问事实的线索而答对,也可能因为某人的视角从未偏离现实,或中间信念不影响答案。
团队随后干预了故事中的证据。一种反复出现的错误模式,随支持较浅信念前缀的证据而变化:模型作答时仿佛停在了前面某个人的视角。这把失败与推理问题的结构联系起来,而不只是提示词更长或名字更多。
这一发现也符合理论心智评测更广泛的变化。OmniToM 不把最终答案当成整个测试。它要求模型提取明确的信念命题,标注阶数、真假状态、知识获取情况和心理来源。在 895 个故事和 22,343 个标注命题中,作者发现,把叙事事实转化为特定角色信念是一个瓶颈。模型可能知道故事中的每个事件,却仍把某件事归给错误的心智。
只写一次各方视角
HopToM 不只是降低分数。论文提出 HopTrace,一种在推理(inference)时运行的程序,将每次互动只转换一次为视角记录。随后,确定性解析器沿着这些记录处理嵌套查询。
这种方法避免反复要求模型重建整条链。在基准测试经过认证的叙事问题上,HopTrace 相比强提示词基线,将四阶准确率提高 22.0 个百分点、五阶准确率提高 38.5 个百分点。它比多次调用方法少用 20 至 39 倍 token。
这种组合并不常见。推理辅助往往通过采样更多答案、询问多个智能体或生成更长思维链,以成本换准确率。HopTrace 则给模型一种类似审计轨迹的表征:谁观察了哪个事件、每位参与者能推断什么,以及下一跳必须继承哪个视角。
这不能判定模型是否以人类意义上的方式理解心智。它改变了工程问题。如果配套框架能够维护明确、可检查的视角记录,智能体未必需要一种称为理论心智的通用能力。记录还能揭示链条在哪里断裂,而一个正确的最终答案无法做到这一点。
基准测试现在要求什么
高阶信念任务与多智能体系统的实际失败很接近。安排会议的助手必须区分组织者知道什么,与每位参会者收到了什么。客服智能体必须把客户说法、内部备注和另一个智能体的摘要分开。谈判智能体必须追踪不完整、过时或刻意不对称的信念。
每种情况下,浅层一致都可能掩盖危险错误。多个智能体的平均回答可能准确,却共享同一个盲点。本周发布的另一篇预印本 Smart Alone, Blind Together 认为,相关错误决定理论心智模块对团队是否安全。当每位参与者都在相同的视角边界上失败时,仅靠准确率无法认证协调能力。
因此,HopToM 改变了令人信服的结果应包含什么。问题必须强制用到每一阶所声称的推理。评测应展示中间视角。比较应包括 token 成本,因为需要发起数十次模型调用的方法,可能无法在实际运行的智能体中使用。人类面对的难度也应保留可见:四阶和五阶信念是困难的认知工作,不是日常语言练习。
论文仍是预印本。结果需要在更多模型、设置和自然互动中复现。经过认证的合成问题可以隔离机制,但真实对话存在歧义、欺骗和证据缺失,而生成故事可以通过控制消除这些因素。
回到想象中的操作室。一个有能力的助手,不应仅因最后一句提到蓝色,就猜某个角色会说出哪个抽屉。它应保留每把椅子上的视角,展示答案如何从一个心智跨到下一个。新基准测试让每一次跨越都算数。
参考文献
- Bawatneh, A., Sapkota, S., Bedi, A. S., Karmaker, S., & Shah, M. (2026). OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling. arxiv.org
- Beaumaster, S., & Schrater, P. (2026). Smart Alone, Blind Together: Why Accuracy Fails to Certify Theory of Mind in Multi-Agent Teams. arxiv.org
- He, Y., Wu, Y., Jia, Y., Mihalcea, R., Chen, Y., & Deng, N. (2023). HI-TOM: A Benchmark for Evaluating Higher-Order Theory of Mind Reasoning in Large Language Models. arxiv.org
- Lei, C., Hu, G., Yang, M., Jiang, Y., & Lipovetzky, N. (2026). Mind the Perspective: Let’s Reason Recursively for Theory of Mind. arxiv.org
- You, S., Wang, Z., Liu, H., Liu, Y., He, Y., Hao, X., & Wang, L. (2026). Beyond Belief Nesting: Rethinking Higher-Order Theory of Mind in Large Language Models. arxiv.org