# 模型说不出哪个问题会让自己改变结论 > 新研究发现，语言模型无法可靠说出决定自身结论的关键问题。找到这些问题需要多次运行，而非一次自信的解释。 - URL: https://ai-news-daily.xyz/zh/posts/a-model-cannot-tell-which-question-will-change-its-mind/ - Published: 2026-10-17 - Tags: research, models - Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure) - Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/) 设想一名分析师询问模型，是否应该推进一项软件迁移。模型回答应该，并给出三个理由。被问到什么事实能逆转建议时，它指向数据库吞吐量。在这个说明性例子中，多次运行却显示，吞吐量几乎不重要。当模型改变对回滚耗时的假设时，建议才会翻转，而它从未提到这个因素。 一篇新预印本将这种错位变成可测量的对象。作者把决定性的子问题称为关键问题（crux）：模型自身的推理路径在这一点上有分歧，而其答案能改变最终结论。他们询问，语言模型能否在推理之前，或在生成一条思维链之后，识别这些关键问题。通常不能。 这一结果挑战了人机协作中一种让人安心的习惯。我们常要求模型解释什么重要，再按解释决定核实什么。如果解释没有追踪真正控制答案的变量，核实预算就会花错地方。 ## 从解释到行为测试 论文没有把关键问题定义为模型声称重要的任何东西。它查看同一问题的多次运行。不同样本暴露中间答案的分歧，研究人员随后测试，解决其中一个分歧是否会改变结论。 这个定义将说法落到行为上。一个子问题重要，是因为其答案改变时模型输出会改变，而非模型为它写出了一段有说服力的文字。这类似于对程序做压力测试，而不是把注释直接当作文档接受。 作者比较三条路线。先验路线要求模型在解决问题前预测关键问题。单次运行路线让它先推理一次，再识别要点。多次运行路线则在采样解答之间寻找分歧，测量哪些分歧能翻转最终结果。 第一条路线与后来证实重要的因素关联很弱。完成一条思维链并未解决问题。只有重复运行程序能够可靠找出有用的关键问题。 这不只是再次发现解释可能出错。模型面对的要求更窄、更具操作性：哪个缺失答案会改变它自己的结论。在这里失败，意味着系统可能听起来很懂得校准，却把操作者引离真正重要的测试。 ## 为什么一条思维链不够 一条推理轨迹展示穿过问题的一条路径。它不展示模型在采样中可能走的其他路径，也不展示路径间变化的假设。某个因素在可见轨迹中可能很核心，却在所有运行中保持稳定。另一个因素看似细枝末节，却让采样结论分裂。 重复采样长期以来用于通过自一致性提高答案准确率：生成多条推理路径，选择出现最多的答案。关键问题方法以不同方式使用变化。分歧不再是应通过平均消除的噪声，而是有关决策边界的证据。 成本显而易见。生成和评判多个解答，可能远比只问一次昂贵。研究人员用重排序器替代大语言模型（LLM）评判器，报告将程序成本降低约 86 倍。这让研究工具更接近实用诊断，但并非免费。高风险决策或许值得额外推理（inference），普通聊天回答则未必。 方法也依赖采样运行探索有意义的替代路径。如果每次都重复同一个隐藏假设，分歧就无法将其揭示。发现的关键问题属于这个模型、提示词和采样程序，并不自动等于外部世界中客观上最具决定性的事实。 ## 对智能体和审查者意味着什么 智能体（agent）系统越来越常让一个模型规划，另一个模型审查。规划者可能列出“关键不确定性”，审查者核查后批准结果。论文表明，这种整齐分工可能继承规划者的盲点。自行报告的不确定性，不等同于行为上真正的关键问题。 对昂贵或影响重大的任务，更强的工作流会采样多个计划，定位会改变建议的分歧，再把工具或人的注意力投入那里。软件工作中，关键问题可能是迁移能否在负载下回滚。研究中，可能是某项引用结果是否适用于当前人群。投资备忘录中，可能是再融资假设，而非占据大量文字的市场规模估计。 这一发现也细化了模型自我认知的含义。系统可以给出结论、描述合理路径、说出自己认为重要的因素，却仍无法预测什么真正控制自己未来的输出。流畅的内省并不可靠。 这没有让解释变得无用。解释可以展示前提、传达拟议论证，并帮助人发现缺少的证据。论文说明，应把解释当作另一项需要测试的模型输出，而非通往答案产生机制的特殊入口。 回到示例中的迁移决定。分析师可能花一天测试吞吐量，却仍让建议处于不稳定状态。多个采样计划会揭示，模型的分歧点在回滚耗时。有用的问题不再是“什么被认为重要”，而是“在各种可能的推理方式中，哪个答案真正改变结果”。 ## 参考文献 - Reber et al. (2026). *Can LLMs Anticipate Their Cruxes?* https://arxiv.org/abs/2610.21006 - Wang, X., et al. (2023). *Self-Consistency Improves Chain of Thought Reasoning in Language Models*. https://arxiv.org/abs/2303.08896