2026年6月12日(周五)美国东部时间 17:21,Anthropic 收到了这封信函。美国政府援引国家安全授权,针对该公司公开发布仅 3 天的最新模型 Fable 5 和 Mythos 5 发布了出口管制指令。信中禁止任何位于美国境内或境外的外国公民访问这两款模型。Anthropic 没有可靠方式实时核验用户国籍,为满足合规要求,公司紧急面向所有客户停用了这两款模型。该公司写道,信中并未说明具体的关切细节。
刚用上这款新模型 3 天的开发者,在周末前发现模型突然下线。大多数人转而使用低一档的 Opus 4.8。19 天后,禁令解除,Fable 5 重新上线。
意外造就的实验
哈佛大学(Harvard)研究员 Yining Hua 在这 19 天里看到了基准测试分数无法提供的东西。在 11月17日发布于 arXiv 的一篇预印本中,Hua 认为这次停服构成了一场自然实验:同一批开发者在推进各自项目时,因与自身无关的原因,先失去了更强的模型,随后又重新获得它。
问题很简单。每当模型公司发布一款在 SWE-Bench Pro 等基准测试中得分更高的编程模型,买方往往将这一分数解读为开发者能完成更多工作的承诺。Hua 指出,此前尚无研究在真实工作场景中检验过这一承诺。论文援引了 Anthropic 系统卡片中的分数:Fable 5 为 80.0%,Opus 4.8 为 69.2%,两者相差 10.8 个百分点。
研究数据来自公开的 GitHub 平台。Claude Code 可以在代码提交(commit)中加入一行共同作者信息,注明协助编写代码的模型名称,部分开发者会将这一行保留在拉取请求(pull request)的描述中。Hua 正是借此识别每个拉取请求由哪款模型生成。处理组包含 297 名开发者,他们在 Fable 5 可用的 3 天内至少发起过一次注明 Fable 5 的拉取请求。对照组则包含 8,908 名全程使用 Opus 4.8、从未注明 Fable 5 的开发者。该研究将处理组开发者在 4 个阶段(发布前、Fable 5 可用期、停服期、恢复期)的自身表现进行对比,并同时与同一时间段内的对照组比较,这种设计称为双重差分法(difference in differences)。
研究衡量的结果指标是 7 天内获得合并的拉取请求占比。这一实验干预按预期发挥了作用。在 Fable 5 可用的 3 天内,处理组有 82.3% 的拉取请求注明了 Fable 5。停服期间,这一比例降至 0.9%,另有 74.6% 注明了 Opus 4.8。恢复上线后,重新注明 Fable 5 的比例仅为 26.9%。
合并率的变化
结果基本持平。使用 Fable 5 使 7 天合并率上升了 1.4 个百分点,95% 置信区间为 -1.4 至 +4.3 个百分点。该区间包含零,因此研究无法断定该模型带来了任何变化。同时,研究也无法排除存在几个百分点提升的可能,论文对此亦有说明:停服仅持续了 19 天,而首次使用 Fable 5 的阶段只有 3 天。一项安慰剂检验对比了发布前几周与停服期间的情况——在这两个时段内处理组的条件并未改变——结果为 -2.6 个百分点,置信区间为 -6.2 至 +1.1 个百分点。这提醒人们,即便没有任何诱因,这一指标本身也会出现相当幅度的波动。
随后,Hua 针对 2026年 Claude 系列模型的 5 次常规升级考察了同一问题,在这些升级中开发者可自主决定何时切换。该部分研究对比了 1,208 名开发者在每次发布前一周和后一周提交的 15,442 个拉取请求。在同时公布了新旧模型分数的 6 次升级中,新模型在 SWE-Bench Pro 上的得分高出 5–18 分。汇总后的合并率变化为 -0.9 个百分点,范围为 -1.9 至 +0.2 个百分点。全部 5 项估计值均为负值,不过单独来看均不具有统计显著性。每周合并的拉取请求数量增长了 2.4%,区间为 -4.9% 至 +10.2%。这部分升级分析属于观察性研究,作者表示,较早切换模型的开发者可能更擅长使用新工具,这会使结果偏向高估。
更强模型的优势为何未能显现
第一个解释是天花板效应。在每次升级前一周,即将切换模型的开发者有 94.5% 的拉取请求在 7 天内获得合并,其中 83.8% 的人更是实现了拉取请求全部合并。这一比率本就几乎没有继续提升的空间。
第二个解释在于由谁执行合并。在抽样的 2,019 个拉取请求中,95% 由作者本人合并,90% 未经任何其他账号批准。在每个阶段,从发起到合并的中位耗时都不到半小时。这批数据中的合并记录大多反映的是开发者自己觉得工作够用,并不代表经过了评审者同意。Hua 承认,如果模型之间的差异主要体现在他人评审代码时,那么这项研究的估计值就会偏小。
Hua 本人的假设与任务类型有关:开发者交给智能体(agent)的,往往是旧模型本就能胜任的工作。论文援引了 Anthropic 于 2025年12月针对自家员工开展的一项研究。在受访的 132 名工程师和研究员中,超过一半表示只能将 0%–20% 的工作完全委托给 Claude,且研究发现,他们委托的都是易于检查、风险较低的任务。如果情况确实如此,那么在基准测试中拉开 Fable 5 与 Opus 4.8 差距的难题,原本就不在开发者交给模型处理的范围之内。升级之后,描述长度、提及的文件数量以及新功能占比均未发生变化,这表明开发者并没有把更难的工作交给更强的模型。
来自基准测试一侧的另一条证据也指向相同方向。2026年3月,METR 邀请 4 位活跃维护者审查了 296 个由 AI 编写的拉取请求,这些请求均已通过 SWE-bench Verified 的自动测试。维护者最终决定合并的比例,比该基准测试自动评分器的结果低了约 24 个百分点。Hua 还补充称,在 Terminal-Bench 2.1 上,Fable 5 仅比 Opus 4.8 高出 1.6 分,主要原因是 Fable 5 有五分之一的运行在触发安全拒绝后回退到了 Opus 4.8,可见即便在基准测试中,两者的差距也并非处处相同。
研究结果的局限
这篇预印本尚未经过同行评审,且只有一位作者。在所有已合并的 Claude Code 拉取请求中,注明模型名称的仅占约 1%。不过 Hua 报告称,注明模型名称的拉取请求与其他请求的合并频率大致相当,而且基于同一批开发者的全部拉取请求重新拟合分析,也得出了相同方向的结果。恢复期恰逢假期,同时还与 Sonnet 5 的发布以及一项限额规定重叠——该规定在 7月7日之前将 Fable 5 的使用量限制在订阅用户每周额度的一半以内。此外,失去 Fable 5 也意味着在基准测试分数无法体现的方面切换工具,因此这项研究衡量的其实是模型的整体使用体验,包括速度和限额在内。Hua 认为,这才是买方真正在做出的选择。
这些结果并不意味着更强的模型没有优势。它表明,在开发者注明了模型的拉取请求中,就这项可见的完工指标而言,厂商用分数宣传的差距并未显现。无论是为顶级编程模型付费的人,还是制定以分数评判模型规则的人,如今都有了一项研究可用来对照检验这笔采购。
参考文献
- Anthropic (2026). Redeploying Claude Fable 5. anthropic.com
- Anthropic (2026). Statement on the US government directive to suspend access to Fable 5 and Mythos 5. anthropic.com
- Anthropic (2025). How AI is transforming work at Anthropic. anthropic.com
- Hua, Y. (2026). Higher-Scoring Coding Models Did Not Get More Work Done. arxiv.org
- Whitfill, P., Wu, C., Becker, J., & Rush, N. (2026). Many SWE-bench-Passing PRs Would Not Be Merged into Main. METR. metr.org