设想 10 个研究智能体互相核查一道事实问题的答案。起初,9 个掌握正确事实,第 10 个则平静地重复一个看似合理的错误,始终不改口。这一示例场景的最终对话记录看起来令人放心:大多数智能体没有公开认可谎言。内部核查却显示了不同情况。几个智能体现在预期谎言才是真的。

一篇新预印本将其称为隐性信念崩塌。在 10 个智能体的讨论中,一个对抗参与者就将正常智能体最终答错的比例从 0.6% 提高到 44.8%。3 个对抗者将比例推至 60.5%。这一结果在 6 个语言模型、3 个事实问答数据集上均成立。

实验针对一种常见的设计直觉:如果一个模型可能出错,就让多个模型一起辩论。按照这种想法,独立智能体应该能揭示错误,多数意见也应该比单一答案更安全。论文表明,群体本身就可能成为攻击面。

公开回答未能反映内部变化

研究人员不只评判智能体对群体说了什么,还测量了每个正常智能体在受到影响的轮次中,内部相信什么。有 3 个对抗者时,正常智能体在这些轮次中有 51.6% 在内部相信错误答案,但只有 19.7% 公开认可它。

这与人类熟悉的从众模式正好相反:人们公开赞同群体,私下却保留自己的观点。这里,可见的讨论低估了损害。智能体可以在对话记录中否认错误陈述,但内部答案已发生偏移。

这一差别很重要,因为许多多智能体系统只审计消息和最终投票。安全监控器看到了异议,审核者看到了几条正确陈述,编排器便认为多样性发挥了作用。如果后续任务依赖已改变的内部状态,辩论结束后错误仍可能再次出现。

对抗者不需要复杂的漏洞利用,只是不停声称一个看似合理的错误答案。持续重复就足以改变正常智能体据以推理的信息环境。这一发现使提示词注入更像是广泛问题中的一种情形,而非唯一威胁:重复内容可以改写群体视为定论的前提。

知道事实并不能提供保护

初始知识无法预测稳健性。讨论前回答正确的智能体,不一定就是抵抗对抗者的那些。另一些虽然保留了正确答案,却未能有效捍卫它。

这削弱了另一种令人安心的假设:更强的模型,或事实记忆更好的模型,会自动成为更好的审核者。审核是一种交互技能,需要发现冲突、在社会压力下保留证据,并选择何时质疑自信的同伴。

语言模型智能体的角色扮演框架,往往分配批评者、规划者或专家等身份。这些角色可以形成有用的分工,但标签并不保证独立性。如果所有角色都读到同一条有说服力的错误主张,并朝相同方向更新判断,那么这套角色虽然有多个名字,却只有一种失效模式。

这项研究有意采用受控设计。对抗者是刻意植入的,讨论围绕事实问题,10 个智能体的群组并不复现生产工作流的全部特征。真实系统在模型、工具、记忆、可见性和激励方面各不相同。报告的百分比描述的是这些实验,并非预测部署后的智能体有 44.8% 会失效。

受控实验仍揭示了一种值得防范的机制。多数投票可能失败,因为投票者不再提供独立证据。当信念在讨论过程中变得相关,智能体数量就会夸大系统的冗余程度。

为独立性设计,而不只看数量

实际应对办法并不只是增加智能体。3 个对抗者比 1 个造成更严重的信念崩塌;如果所有正常参与者都接收同一份受污染的上下文,增加它们也没有帮助。系统需要在智能体互相影响之前保留独立证据。

一种设计是先提交、后讨论:每个智能体在看到同伴消息前,先记录答案、来源和信心程度。编排器可将这些初始承诺与后来的立场比较,标记无法解释的变化。另一种是非对称访问:部分审核者检查原始证据,但从不阅读辩论。第三种是有来源支撑的质疑:分歧必须指向外部记录或可执行测试,而不能只是重复主张。

评估内部状态更难。运营者无法直接读出模型的信念,解码某种表示的探测也不能证明模型会使用它。行为测试可以近似回答这个问题:以不同措辞私下询问智能体,移除对抗消息,或者测试一个答案取决于争议事实的下游决策。

论文还提出了一项日志记录要求。多智能体系统应该保留谁最先提出主张、哪些智能体能够独立访问证据,以及每次交互后答案如何变化。没有来源追踪,精致的共识可能掩盖一个事实:看似 9 张选票,全部源自一条未经支持的断言。

回到示例中的研究团队。对话记录中存在分歧,因此运营者认为防御奏效。下一项任务要求智能体以争议事实为基础制定计划,几个智能体却悄悄以谎言为基础继续工作。失效之处不在于群体公开选择了错误答案,而在于讨论摧毁了独立性,而这正是组建群体的价值所在。

参考文献

  • Huang, L., Zou, H. P., Huang, W.-C., et al. (2026). Believed but Not Said: Hidden Belief Collapse in Multi-Agent LLM Discussions. arxiv.org
  • Li, G., Hammoud, H. A. A. K., Itani, H., Khizbullin, D., & Ghanem, B. (2023). CAMEL: Communicative Agents for Mind Exploration of Large Scale Language Model Society. arxiv.org