Der Brief erreichte Anthropic am Freitagnachmittag des 12. Juni 2026 um 17:21 Uhr US-Ostküstenzeit. Unter Berufung auf Befugnisse zur nationalen Sicherheit hatte die US-Regierung eine Exportkontrollverfügung für Fable 5 und Mythos 5 erlassen, die neuesten Modelle des Unternehmens, die seit drei Tagen öffentlich zugänglich waren. Das Schreiben untersagte jedem ausländischen Staatsbürger innerhalb wie außerhalb des Landes den Zugang. Da Anthropic keine zuverlässige Möglichkeit hatte, die Staatsangehörigkeit von Nutzern in Echtzeit zu prüfen, schaltete das Unternehmen beide Modelle abrupt für alle Kunden ab, um der Verfügung nachzukommen. Konkrete Angaben zu seinen Bedenken habe das Schreiben nicht enthalten, schrieb das Unternehmen.

Entwickler, die drei Tage mit dem neuesten Modell gearbeitet hatten, stellten noch vor dem Wochenende fest, dass es nicht mehr verfügbar war. Die meisten wechselten zu Opus 4.8, dem direkt darunter angesiedelten Modell. Neunzehn Tage später wurde die Sperre aufgehoben, und Fable 5 kehrte zurück.

Ein Zufall, der als Experiment taugt

Yining Hua forscht in Harvard und sah in diesen 19 Tagen etwas, das Ergebnisse aus Vergleichstests (Benchmarks) nicht bieten können. In einem am 17. November auf arXiv veröffentlichten Preprint (einer Vorabveröffentlichung) argumentiert Hua, die Sperrung sei ein natürliches Experiment gewesen: Dieselben Entwickler, die an ihren eigenen Projekten arbeiteten, verloren ein besseres Modell und erhielten es wieder zurück – aus Gründen, die nichts mit ihnen zu tun hatten.

Die Fragestellung ist einfach. Ein Modellanbieter kündigt ein Programmiermodell mit höherer Punktzahl in einem Benchmark wie SWE-Bench Pro an, und Käufer lesen diesen Wert als Versprechen, dass Entwickler damit mehr schaffen. Bisher habe keine Studie dieses Versprechen an realer Arbeit geprüft, merkt Hua an. Die Arbeit übernimmt die Werte aus den Systemkarten von Anthropic: 80,0 % für Fable 5 und 69,2 % für Opus 4.8 – ein Abstand von 10,8 Punkten.

Die Daten stammen aus dem öffentlichen Teil von GitHub. Claude Code kann einem Commit eine Co-Autoren-Zeile hinzufügen, die das beteiligte Modell nennt, und manche Entwickler übernehmen diese Zeile in die Beschreibung des Pull Requests. Hua nutzte diese Angabe, um zuzuordnen, welches Modell welchen Pull Request erstellt hatte. Die Behandlungsgruppe besteht aus 297 Entwicklern, die in den drei Tagen der Verfügbarkeit mindestens einen Pull Request mit Nennung von Fable 5 eröffneten. Die Kontrollgruppe umfasst 8.908 Entwickler, die durchgehend Opus 4.8 nutzten und Fable 5 nie nannten. Die Studie vergleicht die Entwickler der Behandlungsgruppe über vier Phasen hinweg mit sich selbst (vor der Veröffentlichung, Fable 5 verfügbar, gesperrt, wiederhergestellt) sowie über dieselben Zeiträume mit der Kontrollgruppe – ein Verfahren, das als Differenz-von-Differenzen-Ansatz bekannt ist.

Als Zielgröße dient der Anteil der Pull Requests, die innerhalb von sieben Tagen übernommen wurden. Der Eingriff wirkte wie vorgesehen. In den drei Tagen der Verfügbarkeit nannten 82,3 % der Pull Requests aus der Behandlungsgruppe Fable 5. Während der Sperrung waren es 0,9 %, und 74,6 % nannten Opus 4.8. Nach der Wiederherstellung führten nur noch 26,9 % wieder Fable 5 auf.

Wie sich die Übernahmerate entwickelte

Sie blieb unverändert. Der Zugang zu Fable 5 erhöhte die Sieben-Tage-Übernahmerate um 1,4 Prozentpunkte, bei einem Konfidenzintervall von 95 % zwischen minus 1,4 und plus 4,3. Da dieses Intervall die Null einschließt, lässt sich aus der Studie nicht ableiten, dass das Modell etwas verändert hat. Ebenso wenig kann sie einen Zugewinn von einigen Punkten ausschließen, und die Arbeit betont das auch selbst: Die Sperrung dauerte nur 19 Tage, die erste Phase mit Fable 5 lediglich drei. Ein Placebo-Test, der die Wochen vor der Veröffentlichung mit der Sperrphase vergleicht – also Zeiträume, in denen sich für die Behandlungsgruppe nichts änderte –, kam auf minus 2,6 Punkte bei einem Intervall von minus 6,2 bis plus 1,1. Das erinnert daran, wie stark die Zahl auch ohne jede Ursache schwanken kann.

Anschließend untersuchte Hua dieselbe Frage anhand von fünf regulären Upgrades zwischen Claude-Modellen im Jahr 2026, bei denen die Entwickler selbst entschieden, wann sie wechselten. In diesem Teil der Studie wurden 1.208 Entwickler und 15.442 Pull Requests jeweils eine Woche vor und eine Woche nach jeder Veröffentlichung verglichen. Die neueren Modelle lagen auf SWE-Bench Pro in den sechs Upgrades, für die beide Werte veröffentlicht wurden, um 5 bis 18 Punkte höher. Die zusammengefasste Veränderung der Übernahmerate betrug minus 0,9 Punkte, mit einem Intervall von minus 1,9 bis plus 0,2. Alle fünf Schätzungen zeigten nach unten, allerdings war keine davon für sich genommen signifikant. Die Zahl der übernommenen Pull Requests pro Woche stieg um 2,4 %, bei einem Intervall von minus 4,9 bis plus 10,2 %. Die Upgrade-Analyse beruht auf Beobachtungsdaten, und Hua erklärt, Entwickler, die früh wechseln, könnten im Umgang mit neuen Werkzeugen geübter sein, was die Ergebnisse nach oben verzerren würde.

Warum sich ein besseres Modell womöglich nicht zeigt

Die erste Erklärung ist ein Deckeneffekt. In der Woche vor jedem Upgrade wurden bei den Entwicklern, die später wechselten, bereits 94,5 % der Pull Requests innerhalb von sieben Tagen übernommen, und bei 83,8 % von ihnen wurde jeder einzelne Pull Request übernommen. Ein Modell hatte kaum noch Spielraum, diese Quote zu steigern.

Die zweite Erklärung betrifft die Frage, wer die Änderungen übernimmt. Von 2.019 stichprobenartig geprüften Pull Requests wurden 95 % vom jeweiligen Ersteller selbst übernommen, und 90 % hatten keine Freigabe von einem anderen Konto. Die mittlere Zeitspanne (Median) vom Eröffnen bis zur Übernahme lag in jeder Phase unter einer halben Stunde. Eine Übernahme dokumentiert in diesen Daten vor allem, dass ein Entwickler die Arbeit selbst für gut genug hielt – nicht, dass ein Prüfer zustimmte. Hua räumt ein, dass die Schätzungen zu niedrig ausfallen, wenn sich Modelle vor allem dort unterscheiden, wo jemand anderes ihre Arbeit prüft.

Huas eigene Hypothese betrifft die Aufgaben. Entwickler überlassen Agenten Arbeit, die schon ein älteres Modell erledigen kann. Die Studie zitiert eine Untersuchung von Anthropic aus dem Dezember 2025 unter den eigenen Beschäftigten: Mehr als die Hälfte der 132 Ingenieure und Forscher gab darin an, nur 0 bis 20 % ihrer Arbeit vollständig an Claude delegieren zu können; zudem zeigte die Untersuchung, dass sie Aufgaben delegierten, die leicht zu prüfen und mit geringem Risiko verbunden sind. Trifft das zu, dann waren die schwierigen Probleme, die Fable 5 in einem Benchmark von Opus 4.8 trennen, gar nicht die Probleme, die Entwickler abgaben. Die Länge der Beschreibungen, die Zahl der genannten Dateien und der Anteil neuer Funktionen änderten sich nach den Upgrades nicht, was nahelegt, dass Entwickler den stärkeren Modellen keine schwierigeren Aufgaben gaben.

Ein zweiter Beleg von der Benchmark-Seite weist in dieselbe Richtung. Im März 2026 ließ METR vier aktive Maintainer (Projektbetreuer) 296 KI-geschriebene Pull Requests prüfen, die die automatisierten Tests von SWE-bench Verified bestanden hatten. Die Entscheidungen der Maintainer, den Code tatsächlich zu übernehmen, fielen rund 24 Prozentpunkte niedriger aus, als es die automatische Auswertung des Benchmarks nahelegte. Hua fügt hinzu, Fable 5 habe bei Terminal-Bench 2.1 nur um 1,6 Punkte vor Opus 4.8 gelegen, vor allem weil jeder fünfte Durchlauf von Fable 5 nach einer Sicherheitsverweigerung auf Opus 4.8 zurückgefallen sei; selbst der Benchmark-Vorsprung sei also nicht überall gleich gewesen.

Grenzen des Ergebnisses

Das Preprint hat kein Peer-Review durchlaufen und stammt von einer einzelnen Person. Nur rund 1 % der übernommenen Pull Requests von Claude Code nennt das verwendete Modell; Hua berichtet jedoch, solche Pull Requests seien ungefähr genauso oft übernommen worden wie die übrigen, und eine erneute Schätzung auf Basis aller Pull Requests derselben Entwickler habe in dieselbe Richtung gewiesen. Die Wiederherstellungsphase fiel zeitlich mit einem Feiertag, der Veröffentlichung von Sonnet 5 sowie einer Regel zusammen, die Fable 5 bis zum 7. Juli auf die Hälfte des wöchentlichen Nutzungskontingents von Abonnenten begrenzte. Der Wegfall von Fable 5 bedeutete zudem einen Werkzeugwechsel in einer Weise, die ein Benchmark-Wert nicht abbildet; die Studie misst daher die Gesamterfahrung mit dem Modell einschließlich Geschwindigkeit und Nutzungsgrenzen – und genau das ist es, so argumentiert Hua, wofür sich ein Käufer tatsächlich entscheidet.

Nichts davon zeigt, dass das stärkere Modell nicht besser ist. Wohl aber zeigt sich, dass bei einer sichtbaren Messgröße für fertiggestellte Arbeit – in den Pull Requests, in denen Entwickler ihr Modell nannten – ein Vorsprung, mit dem Anbieter in Punkten werben, nicht zutage trat. Wer für die höchste Stufe eines Programmiermodells bezahlt oder eine Regel aufstellt, die Modelle anhand ihrer Punktzahlen bewertet, hat nun eine Studie, an der sich dieser Kauf überprüfen lässt.

Quellen

  • Anthropic (2026). Redeploying Claude Fable 5. anthropic.com
  • Anthropic (2026). Statement on the US government directive to suspend access to Fable 5 and Mythos 5. anthropic.com
  • Anthropic (2025). How AI is transforming work at Anthropic. anthropic.com
  • Hua, Y. (2026). Higher-Scoring Coding Models Did Not Get More Work Done. arxiv.org
  • Whitfill, P., Wu, C., Becker, J., & Rush, N. (2026). Many SWE-bench-Passing PRs Would Not Be Merged into Main. METR. metr.org