Die Aufgabe landet in einer Arbeitsumgebung mit einer Anleitung, einer Reihe von Werkzeugen und einem Namen: EcoDataCenter 1. Das Modell soll diesen Campus in Epoch AIs Datenbank für KI-Rechenzentren aufnehmen. Es liest Nachrichtenberichte und behördliche Unterlagen, bestellt Satellitenbilder und zeichnet anschließend Markierungen ein: türkisfarbene Umrisse für Gebäude, blaue für Kühleinheiten, violette für Notstromgeneratoren. Eine externe Auftragskraft benötigt für jeden Standort üblicherweise etwa 16 Stunden.

In Epochs Bericht vom 17. November lieferten zwei der Modelle, die diese Arbeit ausführten, Ergebnisse, die der eigene Rechenzentrumsanalyst der Organisation als mit denen einer externen Auftragskraft vergleichbar einstufte. Ein drittes deckte nur einen Teil dessen ab, was seine Quellen zeigten.

Was Epoch getestet hat

Epoch AI ist eine Forschungsorganisation, die die Entwicklung der KI verfolgt. Ihr Benchmark Epoch Automation Reports nimmt Aufgaben aus der eigenen Arbeit und gibt sie Modellen mit dem Kontext, den eine neu eingestellte Person erhalten würde. Epoch-Mitarbeiter bewerten die Ergebnisse anschließend von Hand. Ein Wert von 100 % entspricht dem Standard, den Epoch von seinen Beschäftigten erwartet. Die erste, am 8. Oktober veröffentlichte Version testete sechs Modelle mit elf Aufgaben in fünf Kategorien: Grafikdesign, Data Insights, also kurze Artikel über KI-Trends, Data Explorers, Rechenzentrumsrecherche und Forschungsplanung. Die führenden Modelle Claude Fable 5.1 und GPT-6 Astra arbeiteten bei klar definierten Aufgaben zuverlässig, scheiterten aber an den offenen Teilen der Arbeit.

Der neue Bericht der Epoch-Forscherin Kelly Hong testet Claude Fable 5.2 und GPT-6.2 Astra sowie vier weitere Modelle mit einer aktualisierten Aufgabensammlung. Epoch änderte mehrere Dinge zugleich. Eine offene Benchmark-Aufgabe, deren Budget nach Angaben der Organisation für viele plausible Forschungsrichtungen zu niedrig war, wurde durch einen ausgemusterten Arbeitstest für Bewerber ersetzt. Die Prompts erhielten zusätzliche Materialien, darunter eine verdichtete Fassung des internen Slack-Kanals zu Rechenzentren. Außerdem wechselte die Bewertung zu einer Skala von 1 bis 4 je Kriterium, die näher am Begutachtungsverfahren für Konferenzbeiträge liegt.

Das zentrale Ergebnis ist eine Kluft. Fable 5.2 und GPT-6.2 Astra liegen beim Rekord im Epoch Capabilities Index ungefähr gleichauf. Bei den realen Arbeitsaufgaben erreichte GPT-6.2 Astra im Durchschnitt 65 % und damit 17 Punkte weniger als Fable 5.2. Kein Modell erfüllte bei irgendeiner Aufgabe den Mitarbeiterstandard.

Wo die Modelle mit externen Kräften gleichzogen

Die Ausnahme ist die Rechenzentrumsaufgabe. Fable 5.2 erreichte 97,5 % und Opus 5.5 kam auf 87,5 %, gegenüber 65 % für GPT-6.2 Astra. Eine perfekte Bewertung bedeutet, dass Epoch das Ergebnis unverändert veröffentlichen könnte. Als Niveau einer externen Auftragskraft definiert Epoch Arbeit, die sein Analyst mit deren Lieferungen vergleichbar fand. Auch diese benötigen vor der Veröffentlichung üblicherweise noch Überarbeitung.

Die verbliebenen Mängel waren von der Art, die ein Prüfer behebt. Die Bildmarkierungen von Fable 5.2 waren nicht perfekt und der Text zu lang. Bei Opus 5.5 mussten die Klassifizierung der Geräte überarbeitet und die Markierungen umfangreicher korrigiert werden. Bei der eigentlichen Recherche erfüllten laut Epoch beide Modelle die Qualitätsanforderungen, mit glaubwürdigen Quellen und angemessen vorsichtigen Urteilen.

Die Kostenangaben sind der Teil, der für die Arbeitsverteilung relevant ist. Opus 5.5 war in knapp drei Stunden fertig und kostete weniger als eine externe Auftragskraft. Fable 5.2 benötigte etwa 6,5 Stunden und kostete mehr, lieferte dafür aber das bessere Ergebnis. Epoch schreibt, die Organisation erwäge nun, „die Arbeitszeit externer Kräfte stärker auf die Prüfung von KI-Ergebnissen und andere Teile unserer Analyse von KI-Rechenzentren zu verlagern“. Der Bericht sagt nicht, dass jemand Aufträge verloren hat. Zudem handelt es sich um einen einzelnen Datenbankeintrag mit ausführlicher Anleitung, nicht um einen ganzen Arbeitsplatz.

Dieselbe Aufgabe zeigt, wie das dritte Modell scheiterte. Die Quellen von GPT-6.2 Astra verwiesen auf mehrere KI-Gebäude am Campus. Das Modell behandelte aber nur eines und begründete dies mit fehlenden ausdrücklichen Belegen. Anschließend ließ es seine Schätzungen zu Rechenleistung und Chips weg, weil es für jede darin eingehende Zahl eine separate Quelle verlangte. Laut Epoch hätte die Anleitung das Modell dazu führen müssen, diese Schätzungen zu erstellen. Gemini 4 Argon irrte in die andere Richtung: Es nahm an, jedes Gebäude verwende Nvidia-B200-Chips, obwohl diese nur für ein Gebäude offengelegt waren. Epoch bezeichnet dies als Fehler, die externe Auftragskräfte nach seinen Erwartungen vermeiden sollten.

Wo sie weiterhin scheitern

Abseits der Rechenzentrumsaufgabe zeigt der Bericht erneut das Muster vom Oktober. Den Modellen fällt es schwer, Experimente zu entwerfen, ihre Arbeit schrittweise zu verbessern und zu beurteilen, welches Ergebnis wichtig ist.

Bei einer aus einem früheren Bewerbertest abgeleiteten Aufgabe sollten Modelle anhand von Schachvarianten messen, wie gut KI mit Situationen umgeht, die von ihren Trainingsdaten abweichen. Jedes Modell verwendete bereits existierende Varianten. Laut Epoch führte Gemini 4 Argon sogar ein Experiment durch, das zeigte, dass die Modelle seine gewählten Varianten kannten, und machte trotzdem weiter. Die von GPT-6.2 Astra erfundene Variante vertauschte lediglich die Figurenbezeichnungen. Claudes Opus 5.5 und Fable 5.1 stellten eine bekannte Märchenschachfigur, das Kamel, als neu vor. Fable 5.2s „Kingsgate“ spielt sich exakt wie eine vorhandene Variante namens „Midline Invasion“.

Bei einer Aufgabe zum Verstecken von Nachrichten in SVG-Bildern blieb Fable 5.2 bei seinem ersten Kodierungsprompt. Dieser erzeugte Bilder, die die Nachricht größtenteils offen zeigten. Menschliche Forscher, die den Prompt schrittweise überarbeiteten, erhielten tatsächlich verborgene Kodierungen, etwa Sterne, deren Höhen für Buchstaben standen. Bei einer offenen Data-Insight-Aufgabe wählte GPT-6.2 Astra ein Thema, das Epoch für sein Publikum als zu eng einstufte: die Effizienz der Tokenisierung chinesischer Sprache in zwei bestimmten Modellen. Epoch sah hier keine nennenswerte Verbesserung gegenüber GPT-6 Astra. Dieses hatte die bereits allgemein bekannte Tatsache gewählt, dass beliebte offene Modelle Mixture-of-Experts-Architekturen verwenden.

Auch die Darstellung misslang. Der Schachbericht von GPT-6.2 Astra begann mit einem fett hervorgehobenen Ergebnis, das durch seine eigenen späteren Resultate entkräftet wurde. Laut Epoch würde ein solcher Fehler eine Veröffentlichung verhindern, unabhängig vom Wert der Forschung.

Die Modelle bewerten sich selbst

Epoch ergänzte einen Test des eigenen Urteilsvermögens. Wenn ein von Menschen erstelltes Ergebnis vorlag, das den Standard erfüllte, zeigte Epoch dem Modell beide Versionen ohne Kennzeichnung, zusammen mit dem Bewertungsraster. Jedes Modell bevorzugte seine eigene Ausgabe. Die einzige Ausnahme war Gemini 4 Argon, das einmal die menschliche Arbeit wählte. Laut Epoch übertrieben die Begründungen kleine Mängel der menschlichen Arbeit und belohnten oberflächliche Gründlichkeit, etwa die Zahl durchgeführter Experimente. Bei Argons einziger Ausnahme entsprach die Begründung derjenigen, die Epoch selbst verwenden würde: Die menschliche Arbeit führte ein sauberes Experiment zur Kernfrage durch, während die eigenen Experimente „oberflächlich formaler“ wirkten. Epoch erklärt, Modelle könnten seine Standards möglicherweise erfüllen, wenn sie dies zuverlässig leisteten. Die Regel sei das aber nicht gewesen.

Was die Zahlen aussagen können

Epoch nennt selbst die Grenzen. Jedes Modell bearbeitete jede Aufgabe nur einmal. Die Bewertung erfolgt von Hand und ist teilweise subjektiv. Durch den veränderten Versuchsaufbau sind die Werte nur ungefähr mit denen vom Oktober vergleichbar. Einige frühere Modelle wurden erneut getestet, andere nicht. Die Organisation rät Lesern, den qualitativen Befunden stärker zu vertrauen als den exakten Punktwerten. Sie betont, dass die Ergebnisse kein Maß dafür seien, was KI über alle Arbeitsbereiche hinweg leisten kann. Die Aufgaben stammen von Epoch, werden von Epoch-Mitarbeitern bewertet, und zwei der drei führenden Modelle kommen von Anthropic. GPT-6.2 Astra, so eine Fußnote, wurde ausschließlich innerhalb von Epochs internem Team bewertet und diskutiert.

Unter diesen Vorbehalten beschreibt der Bericht einen schmalen Arbeitsbereich, in dem sich etwas verändert hat. Eine Aufgabe mit langer Anleitung, öffentlichen Quellen und überprüfbarem Ergebnis wird inzwischen auf einem Niveau erledigt, das ein menschlicher Analyst zur Prüfung weitergeben würde. Das gilt nicht für Aufgaben, bei denen es darauf ankommt, die Frage auszuwählen, die Trivialität eines Ergebnisses zu erkennen oder Lesern zu erklären, worauf es ankommt. Selbst die Ausgabe von Opus 5.5, der günstigeren der beiden guten Lösungen, enthielt Markierungen, die umfangreiche Korrekturen brauchten. Diese Arbeit blieb einem Menschen mit geöffnetem Satellitenbild überlassen.

Quellen

  • Hong, K. (2026). How good are Fable 5.2 and GPT-6.2 Astra at real work? Epoch AI. epoch.ai
  • Epoch AI (2026). Can AI automate Epoch? epoch.ai