# Fable 5 下线后，开发者合并的工作成果几乎未变

> 一篇哈佛大学（Harvard）预印本将 Claude Fable 5 为期 19 天的停服视为一次自然实验：该模型在编程基准测试中比替代模型高出约 11 分，但失去它的开发者合并拉取请求的比率几乎未变，5 次常规模型升级也呈现出同样平淡的结果。这项研究尚未经过同行评审，衡量指标也较窄，但它检验了基准测试提分在日常工作中的实际价值。

- URL: https://ai-news-daily.xyz/zh/posts/when-fable-5-went-dark-developers-merged-work-barely-moved/
- Published: 2026-11-20
- Tags: research, tools, essays
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

2026年6月12日（周五）美国东部时间 17:21，Anthropic 收到了这封信函。美国政府援引国家安全授权，针对该公司公开发布仅 3 天的最新模型 Fable 5 和 Mythos 5 发布了出口管制指令。信中禁止任何位于美国境内或境外的外国公民访问这两款模型。Anthropic 没有可靠方式实时核验用户国籍，为满足合规要求，公司紧急面向所有客户停用了这两款模型。该公司写道，信中并未说明具体的关切细节。

刚用上这款新模型 3 天的开发者，在周末前发现模型突然下线。大多数人转而使用低一档的 Opus 4.8。19 天后，禁令解除，Fable 5 重新上线。

## 意外造就的实验

哈佛大学（Harvard）研究员 Yining Hua 在这 19 天里看到了基准测试分数无法提供的东西。在 11月17日发布于 arXiv 的一篇预印本中，Hua 认为这次停服构成了一场自然实验：同一批开发者在推进各自项目时，因与自身无关的原因，先失去了更强的模型，随后又重新获得它。

问题很简单。每当模型公司发布一款在 SWE-Bench Pro 等基准测试中得分更高的编程模型，买方往往将这一分数解读为开发者能完成更多工作的承诺。Hua 指出，此前尚无研究在真实工作场景中检验过这一承诺。论文援引了 Anthropic 系统卡片中的分数：Fable 5 为 80.0%，Opus 4.8 为 69.2%，两者相差 10.8 个百分点。

研究数据来自公开的 GitHub 平台。Claude Code 可以在代码提交（commit）中加入一行共同作者信息，注明协助编写代码的模型名称，部分开发者会将这一行保留在拉取请求（pull request）的描述中。Hua 正是借此识别每个拉取请求由哪款模型生成。处理组包含 297 名开发者，他们在 Fable 5 可用的 3 天内至少发起过一次注明 Fable 5 的拉取请求。对照组则包含 8,908 名全程使用 Opus 4.8、从未注明 Fable 5 的开发者。该研究将处理组开发者在 4 个阶段（发布前、Fable 5 可用期、停服期、恢复期）的自身表现进行对比，并同时与同一时间段内的对照组比较，这种设计称为双重差分法（difference in differences）。

研究衡量的结果指标是 7 天内获得合并的拉取请求占比。这一实验干预按预期发挥了作用。在 Fable 5 可用的 3 天内，处理组有 82.3% 的拉取请求注明了 Fable 5。停服期间，这一比例降至 0.9%，另有 74.6% 注明了 Opus 4.8。恢复上线后，重新注明 Fable 5 的比例仅为 26.9%。

## 合并率的变化

结果基本持平。使用 Fable 5 使 7 天合并率上升了 1.4 个百分点，95% 置信区间为 -1.4 至 +4.3 个百分点。该区间包含零，因此研究无法断定该模型带来了任何变化。同时，研究也无法排除存在几个百分点提升的可能，论文对此亦有说明：停服仅持续了 19 天，而首次使用 Fable 5 的阶段只有 3 天。一项安慰剂检验对比了发布前几周与停服期间的情况——在这两个时段内处理组的条件并未改变——结果为 -2.6 个百分点，置信区间为 -6.2 至 +1.1 个百分点。这提醒人们，即便没有任何诱因，这一指标本身也会出现相当幅度的波动。

随后，Hua 针对 2026年 Claude 系列模型的 5 次常规升级考察了同一问题，在这些升级中开发者可自主决定何时切换。该部分研究对比了 1,208 名开发者在每次发布前一周和后一周提交的 15,442 个拉取请求。在同时公布了新旧模型分数的 6 次升级中，新模型在 SWE-Bench Pro 上的得分高出 5–18 分。汇总后的合并率变化为 -0.9 个百分点，范围为 -1.9 至 +0.2 个百分点。全部 5 项估计值均为负值，不过单独来看均不具有统计显著性。每周合并的拉取请求数量增长了 2.4%，区间为 -4.9% 至 +10.2%。这部分升级分析属于观察性研究，作者表示，较早切换模型的开发者可能更擅长使用新工具，这会使结果偏向高估。

## 更强模型的优势为何未能显现

第一个解释是天花板效应。在每次升级前一周，即将切换模型的开发者有 94.5% 的拉取请求在 7 天内获得合并，其中 83.8% 的人更是实现了拉取请求全部合并。这一比率本就几乎没有继续提升的空间。

第二个解释在于由谁执行合并。在抽样的 2,019 个拉取请求中，95% 由作者本人合并，90% 未经任何其他账号批准。在每个阶段，从发起到合并的中位耗时都不到半小时。这批数据中的合并记录大多反映的是开发者自己觉得工作够用，并不代表经过了评审者同意。Hua 承认，如果模型之间的差异主要体现在他人评审代码时，那么这项研究的估计值就会偏小。

Hua 本人的假设与任务类型有关：开发者交给智能体（agent）的，往往是旧模型本就能胜任的工作。论文援引了 Anthropic 于 2025年12月针对自家员工开展的一项研究。在受访的 132 名工程师和研究员中，超过一半表示只能将 0%–20% 的工作完全委托给 Claude，且研究发现，他们委托的都是易于检查、风险较低的任务。如果情况确实如此，那么在基准测试中拉开 Fable 5 与 Opus 4.8 差距的难题，原本就不在开发者交给模型处理的范围之内。升级之后，描述长度、提及的文件数量以及新功能占比均未发生变化，这表明开发者并没有把更难的工作交给更强的模型。

来自基准测试一侧的另一条证据也指向相同方向。2026年3月，METR 邀请 4 位活跃维护者审查了 296 个由 AI 编写的拉取请求，这些请求均已通过 SWE-bench Verified 的自动测试。维护者最终决定合并的比例，比该基准测试自动评分器的结果低了约 24 个百分点。Hua 还补充称，在 Terminal-Bench 2.1 上，Fable 5 仅比 Opus 4.8 高出 1.6 分，主要原因是 Fable 5 有五分之一的运行在触发安全拒绝后回退到了 Opus 4.8，可见即便在基准测试中，两者的差距也并非处处相同。

## 研究结果的局限

这篇预印本尚未经过同行评审，且只有一位作者。在所有已合并的 Claude Code 拉取请求中，注明模型名称的仅占约 1%。不过 Hua 报告称，注明模型名称的拉取请求与其他请求的合并频率大致相当，而且基于同一批开发者的全部拉取请求重新拟合分析，也得出了相同方向的结果。恢复期恰逢假期，同时还与 Sonnet 5 的发布以及一项限额规定重叠——该规定在 7月7日之前将 Fable 5 的使用量限制在订阅用户每周额度的一半以内。此外，失去 Fable 5 也意味着在基准测试分数无法体现的方面切换工具，因此这项研究衡量的其实是模型的整体使用体验，包括速度和限额在内。Hua 认为，这才是买方真正在做出的选择。

这些结果并不意味着更强的模型没有优势。它表明，在开发者注明了模型的拉取请求中，就这项可见的完工指标而言，厂商用分数宣传的差距并未显现。无论是为顶级编程模型付费的人，还是制定以分数评判模型规则的人，如今都有了一项研究可用来对照检验这笔采购。

## 参考文献

- Anthropic (2026). *Redeploying Claude Fable 5*. https://www.anthropic.com/news/redeploying-fable-5
- Anthropic (2026). *Statement on the US government directive to suspend access to Fable 5 and Mythos 5*. https://www.anthropic.com/news/fable-mythos-access
- Anthropic (2025). *How AI is transforming work at Anthropic*. https://www.anthropic.com/research/how-ai-is-transforming-work-at-anthropic
- Hua, Y. (2026). *Higher-Scoring Coding Models Did Not Get More Work Done*. https://arxiv.org/abs/2611.23216
- Whitfill, P., Wu, C., Becker, J., & Rush, N. (2026). *Many SWE-bench-Passing PRs Would Not Be Merged into Main*. METR. https://metr.org/notes/2026-03-10-many-swe-bench-passing-prs-would-not-be-merged-into-main/
