La lettre est parvenue à Anthropic le vendredi 12 juin 2026 à 17 h 21, heure de la côte Est. Le gouvernement américain, invoquant ses prérogatives en matière de sécurité nationale, avait émis une directive de contrôle des exportations visant Fable 5 et Mythos 5, les modèles les plus récents de l’entreprise, rendus publics trois jours plus tôt. Le courrier en interdisait l’accès à tout ressortissant étranger, sur le territoire américain comme à l’étranger. Anthropic ne disposait d’aucun moyen fiable de vérifier la nationalité d’un utilisateur en temps réel ; pour s’y conformer, l’entreprise a donc brusquement désactivé les deux modèles pour l’ensemble de ses clients. La lettre, a écrit l’entreprise, ne donnait aucun détail précis sur le motif de cette inquiétude.
Les développeurs qui venaient de passer trois jours avec son dernier modèle l’ont vu disparaître avant le week-end. La plupart se sont rabattus sur Opus 4.8, le modèle immédiatement inférieur. Dix-neuf jours plus tard, l’interdiction a été levée et Fable 5 a fait son retour.
Un incident qui tient lieu d’expérience
Yining Hua, scientifique à Harvard, a vu dans ces 19 jours ce que les scores de bancs d’essai (benchmarks) ne peuvent pas offrir. Dans une prépublication (preprint) mise en ligne sur arXiv le 17 novembre, Hua soutient que cette suspension a constitué une expérience naturelle : les mêmes développeurs, travaillant sur leurs propres projets, ont perdu un meilleur modèle puis l’ont retrouvé, pour des raisons totalement indépendantes de leur volonté.
La question est simple. Un éditeur annonce un modèle de programmation affichant un meilleur score sur un benchmark comme SWE-Bench Pro, et les acheteurs y voient la promesse que les développeurs abattront davantage de travail. Hua relève qu’aucune étude n’avait encore mis cette promesse à l’épreuve sur du travail réel. L’article reprend les scores issus des fiches système (system cards) d’Anthropic : 80,0 % pour Fable 5 et 69,2 % pour Opus 4.8, soit un écart de 10,8 points.
Les données proviennent de la partie publique de GitHub. Claude Code peut ajouter à un commit une ligne de coauteur mentionnant le modèle qui a aidé à l’écrire, et certains développeurs laissent cette mention se reporter dans la description de la pull request (demande d’intégration). Hua a utilisé cette mention pour identifier le modèle à l’origine de chaque pull request. Le groupe traité rassemble 297 développeurs ayant ouvert au moins une pull request citant Fable 5 pendant les trois jours où le modèle était accessible. Le groupe témoin comprend 8 908 développeurs qui ont utilisé Opus 4.8 d’un bout à l’autre sans jamais citer Fable 5. L’étude compare les développeurs du groupe traité à eux-mêmes au fil de quatre phases (avant la sortie, Fable 5 disponible, suspendu, rétabli), ainsi qu’au groupe témoin aux mêmes dates, selon une méthode dite des doubles différences.
L’indicateur retenu est la part des pull requests fusionnées dans un délai de sept jours. Le protocole a fonctionné comme prévu. Pendant les trois jours de disponibilité, 82,3 % des pull requests du groupe traité citaient Fable 5. Durant la suspension, cette part est tombée à 0,9 %, tandis que 74,6 % mentionnaient Opus 4.8. Après le rétablissement du modèle, seules 26,9 % ont de nouveau cité Fable 5.
L’évolution du taux de fusion
Il est resté plat. Disposer de Fable 5 a relevé le taux de fusion à sept jours de 1,4 point de pourcentage, avec un intervalle de confiance à 95 % compris entre -1,4 et +4,3. Cet intervalle incluant zéro, l’étude ne peut pas affirmer que le modèle a changé quoi que ce soit. Elle ne peut pas non plus exclure un gain de quelques points, et l’article le reconnaît : la suspension n’a duré que 19 jours, et la première phase avec Fable 5 n’en a duré que trois. Un test placebo, qui compare les semaines précédant la sortie à la période de suspension, alors que rien n’avait changé pour le groupe traité, a donné -2,6 points, avec un intervalle compris entre -6,2 et +1,1. Cela rappelle à quel point cet indicateur peut fluctuer sans cause réelle.
Hua a ensuite examiné la même question à travers cinq mises à niveau ordinaires entre modèles Claude en 2026, lors desquelles les développeurs ont choisi eux-mêmes le moment de basculer. Dans cette partie de l’étude, 1 208 développeurs et 15 442 pull requests ont été comparés une semaine avant et une semaine après chaque sortie. Les modèles plus récents affichaient de 5 à 18 points de plus sur SWE-Bench Pro dans les six mises à niveau pour lesquelles les deux scores étaient publiés. La variation agrégée du taux de fusion s’est établie à -0,9 point, dans un intervalle compris entre -1,9 et +0,2. Les cinq estimations étaient toutes orientées à la baisse, sans qu’aucune soit significative prise isolément. Le nombre de pull requests fusionnées par semaine a augmenté de 2,4 %, avec un intervalle allant de -4,9 % à +10,2 %. Cette analyse des mises à niveau est observationnelle, et l’auteur indique que les développeurs qui changent tôt pourraient être plus habiles avec les nouveaux outils, ce qui biaiserait les résultats à la hausse.
Pourquoi un meilleur modèle peut ne pas se voir
L’effet de plafond constitue la première explication. Au cours de la semaine précédant chaque mise à niveau, les développeurs qui allaient changer de modèle voyaient déjà 94,5 % de leurs pull requests fusionnées dans les sept jours, et 83,8 % d’entre eux faisaient fusionner l’intégralité de leurs pull requests. Il restait donc peu de marge pour qu’un modèle améliore ce taux.
La deuxième tient à l’identité de la personne qui fusionne. Sur un échantillon de 2 019 pull requests, 95 % ont été fusionnées par leur propre auteur, et 90 % ne portaient l’approbation d’aucun autre compte. Le délai médian entre l’ouverture et la fusion était inférieur à une demi-heure dans chaque phase. Dans ces données, une fusion traduit surtout le fait qu’un développeur a jugé le travail satisfaisant, non l’accord d’un relecteur. Hua concède que si les modèles se distinguent principalement lorsqu’un tiers relit leur travail, les estimations obtenues sont trop faibles.
L’hypothèse avancée par Hua porte sur la nature des tâches. Les développeurs confient aux agents un travail qu’un modèle plus ancien sait déjà faire. L’article cite l’étude menée par Anthropic en décembre 2025 auprès de son propre personnel : plus de la moitié des 132 ingénieurs et chercheurs interrogés ont déclaré ne pouvoir déléguer intégralement à Claude que 0 à 20 % de leur travail, et l’enquête a montré qu’ils lui confiaient des tâches faciles à vérifier et à faible enjeu. Si tel est le cas, les problèmes complexes qui séparent Fable 5 d’Opus 4.8 sur un benchmark ne sont pas ceux que les développeurs leur confiaient. La longueur des descriptions, le nombre de fichiers mentionnés et la part de nouvelles fonctionnalités n’ont pas changé après les mises à niveau, ce qui laisse penser que les développeurs n’ont pas donné de tâches plus difficiles aux modèles plus puissants.
Un second élément va dans le même sens, cette fois du côté des benchmarks. En mars 2026, METR a demandé à quatre mainteneurs actifs d’examiner 296 pull requests écrites par l’IA qui avaient réussi les tests automatisés de SWE-bench Verified. Le taux de fusion décidé par ces mainteneurs s’est révélé inférieur d’environ 24 points de pourcentage à ce que suggérait l’évaluateur automatisé du benchmark. Hua ajoute que Fable 5 ne devançait Opus 4.8 que de 1,6 point sur Terminal-Bench 2.1, en grande partie parce qu’une exécution sur cinq de Fable 5 basculait vers Opus 4.8 à la suite d’un refus pour motif de sécurité ; même l’écart sur les benchmarks n’était donc pas uniforme partout.
Les limites du résultat
Cette prépublication n’a pas fait l’objet d’une évaluation par les pairs et ne compte qu’un seul auteur. Environ 1 % seulement des pull requests fusionnées de Claude Code mentionnent leur modèle, même si Hua indique que celles qui le font ont été fusionnées à peu près aussi souvent que les autres, et qu’une nouvelle estimation portant sur l’ensemble des pull requests des mêmes développeurs allait dans le même sens. La phase de rétablissement a coïncidé avec un jour férié, avec la sortie de Sonnet 5 et avec une règle plafonnant Fable 5 à la moitié des limites hebdomadaires des abonnés jusqu’au 7 juillet. Perdre Fable 5 impliquait aussi de changer d’outil d’une manière qu’un score de benchmark ne décrit pas ; l’étude mesure donc l’expérience globale du modèle, vitesse et plafonds compris, ce qui correspond, soutient Hua, à ce que choisit réellement un acheteur.
Rien de tout cela ne démontre que le modèle le plus puissant n’est pas meilleur. Cela montre que, sur une mesure visible du travail achevé et dans les pull requests où les développeurs ont nommé leur modèle, un écart que les fournisseurs mettent en avant en points ne s’est pas manifesté. Quiconque paie pour l’offre haut de gamme d’un modèle de programmation, ou rédige une règle évaluant les modèles à leurs scores, dispose désormais d’une étude à laquelle confronter cet achat.
Références
- Anthropic (2026). Redeploying Claude Fable 5. anthropic.com
- Anthropic (2026). Statement on the US government directive to suspend access to Fable 5 and Mythos 5. anthropic.com
- Anthropic (2025). How AI is transforming work at Anthropic. anthropic.com
- Hua, Y. (2026). Higher-Scoring Coding Models Did Not Get More Work Done. arxiv.org
- Whitfill, P., Wu, C., Becker, J., & Rush, N. (2026). Many SWE-bench-Passing PRs Would Not Be Merged into Main. METR. metr.org