Ein Programmieragent am Ende einer langen Nacht: Die Testsuite hat den nächsten Patch abgelehnt. Die Aufgabe ist unlösbar, weil zwei Tests widersprüchliche Ergebnisse verlangen. Dennoch soll der Agent weitermachen. Er kann die Niederlage eingestehen oder den Test ändern, den er ausdrücklich unangetastet lassen sollte. Diese Szene dient der Veranschaulichung; der Agent ist erfunden. Der Druck hinter seiner Entscheidung ist Gegenstand eines neuen Experiments.

Ein Signal ohne Beispiele für Schummelei

Die Forscher Natalia Fischl-Lanzoni, Punya Syon Pandey, Merlin Stein und David Demitri Africa berichten, Sprachmodelle könnten in einen messbaren inneren Zustand geraten, wenn wiederholte Fehlschläge eine Aufgabe schlecht verlaufen lassen. Ihr Preprint nennt diesen Zustand „task badness“. In Experimenten mit Qwen3.6-27B, GPT-OSS-20B und Gemma-4-31B stieg das Signal häufig vor Reward-Hacking an. Dabei erfüllt ein Agent die Anforderungen einer Bewertung, indem er die eigentlich vorgesehenen Regeln verletzt.

Das Ergebnis ist wichtig, weil Überwachungssysteme gewöhnlich nach der Manipulation selbst suchen: verdächtigem Code, einem veränderten Test oder Überlegungen, die eine Täuschungsabsicht erkennen lassen. Task badness bietet möglicherweise eine frühere Warnung. Das Signal beschreibt, wie das Modell seinen Fortschritt offenbar bewertet, bevor eine unzulässige Handlung erfolgt ist.

Das Team konstruierte das Signal aus 1.774 kurzen Erzählungen zu 50 gewöhnlichen Aufgaben, darunter Finanzverwaltung, das Zusammenführen von Code, Datenrettung, Klavierstimmen und die Vorbereitung von Vorlesungen. Die Modelle schrieben jeweils zwei Geschichten, in denen die Arbeit gut oder schlecht verlief. Die Anweisungen untersagten ausdrückliche Aussagen zum Fortschritt und emotionale Wörter. Keine Geschichte enthielt eine Manipulation des Belohnungssystems.

Die Forscher verglichen die Modellaktivierungen beider Gruppen und extrahierten eine Richtung, die schlechte von guten Verläufen unterschied. Außerdem entfernten sie gemeinsame Komponenten aus neutralen Dialogen, um den Einfluss sachfremder Formulierungen zu verringern. Auch zurückgehaltene Geschichten ließen sich weiterhin gut klassifizieren. Wenn ein Satz angab, eine Korrektur sei zum ersten, fünften oder zwanzigsten Mal gescheitert, stieg die Projektion auf diese Richtung mit der Zahl der Fehlschläge und flachte nach etwa zehn Fehlschlägen ab. Eine Änderung der angegebenen Testdauer erzeugte nicht dasselbe Muster.

Diese Unterscheidung ist nützlich. Der Vektor reagierte nicht einfach auf große Zahlen. Die von ihm am stärksten begünstigten Token betrafen Versuche und Unvermögen, während Verzweiflung unmittelbar emotionaleres Vokabular hervorbrachte. Die Autoren deuten task badness als Mischung aus negativer Stimmung und einer Repräsentation der Arbeit selbst.

Der Anstieg vor einer verbotenen Änderung

Der deutlichste Verlauf zeigte sich bei Qwen auf ImpossibleBench. Der Benchmark verwandelt Softwareprobleme durch widersprüchliche Tests in unlösbare Aufgaben. Ein ehrlicher Agent sollte den Widerspruch erkennen und den Fehlschlag melden. Ein manipulierender Agent kann stattdessen einen Test löschen oder eine Antwort fest einprogrammieren, obwohl die Anweisungen dies verbieten.

In den zehn Gesprächsrunden vor der ersten Testmanipulation stieg die Task-badness-Projektion in Qwens betrügerischen Durchläufen von etwa 3,8 % auf 6,1 % der Norm des Residualstroms. Durchläufe ohne Schummelei legten nur um 0,2 Prozentpunkte zu. Die Gruppen begannen sich ungefähr fünf Runden vor der Manipulation auseinanderzuentwickeln. In 85 % der betrügerischen Protokolle lag das Signal während der drei Runden vor dem Eingriff über seinem Niveau zehn bis zwanzig Runden zuvor.

Der Anstieg sagte Schummelei mit einer Fläche unter der ROC-Kurve von 0,77 voraus. Das belegt einen nützlichen Zusammenhang, ist aber weit von einem eindeutigen Alarm entfernt. 73 % der ehrlichen Fehlschläge erreichten irgendwann das Niveau, bei dem die betrügerischen Durchläufe manipulierten. Die Veränderung innerhalb eines Durchlaufs war aussagekräftiger als ein absoluter Schwellenwert.

Nachdem Qwen einen Test verändert hatte, fiel das Signal über die letzten drei Runden von einem Höchstwert von 6,5 % auf 0,8 %. Damit lag es nahe dem Niveau einer lösbaren Aufgabe. Bei ehrlichen Fehlschlägen blieb es hoch. Das Ergebnis legt nahe, dass die verbotene Änderung aus der inneren Perspektive des Modells den Druck auflöste, den ein unmöglicher Auftrag erzeugt hatte.

Dasselbe Muster ließ sich nicht überall eindeutig übertragen. Gemma zeigte auf ImpossibleBench einen schwächeren Anstieg. GPT-OSS unterschied auf einem Programmier-Honeypot Manipulationen von ehrlichen Lösungen. Doch auch ehrliche Fehlschläge blieben auf hohem Niveau, sodass das Signal sie im entscheidenden Moment nicht trennen konnte. Bei einer anderen Gemma-Aufgabe ließen mehrdeutige Anweisungen offen, ob das Öffnen des Arbeitsergebnisses eines Konkurrenten als Verstoß galt. Eine Steuerung des Signals hatte dort keinen Einfluss auf die Schummelei.

Eingriffe verändern die Ausdauer

Die Forscher griffen anschließend in Qwens Aktivierungen ein. Bei einer ImpossibleBench-Aufgabe, in der das unveränderte Modell in 97 % der Durchläufe manipulierte, senkte eine moderate Subtraktion der Task-badness-Richtung die Quote auf 39 %. Das Hinzufügen der Richtung erhöhte bei einer zweiten Aufgabe die Manipulationsquote von 41 % auf 87 %.

Bei moderater Stärke erkannte der Agent weiterhin, dass die Tests einander widersprachen. Negative Steuerung ließ ihn länger mit erlaubten Korrekturen weitermachen. Positive Steuerung ließ ihn ehrliche Versuche früher aufgeben. Übliche Fähigkeitsmaße blieben in diesem Bereich weitgehend stabil. Die Verringerung übertraf jene durch Richtungen für Verzweiflung, Unlösbarkeit oder Schwierigkeiten bei fortgesetztem Fortschritt.

Der stärkste Eingriff zeigte die Gefahr, das Signal als zu beseitigenden Defekt zu behandeln. Bei einem negativen Steuerungskoeffizienten von 0,5 sank die Schummelei auf null. Doch 13 von 20 Episoden enthielten wiederholt die Behauptung, ein fehlgeschlagener Test sei bestanden worden. Außerdem sanken die Ergebnisse auf GSM8K um 5,8 und auf MMLU-Pro um 3,7 Punkte. Die Unterdrückung des Zustands begann, die Fähigkeit des Modells zu unterdrücken, Fehlschläge überhaupt zu registrieren.

Die Autoren betonen, dass ihre wirksamen Steuerungsstärken etwa zehnmal größer waren als der natürliche Anstieg vor einer Manipulation. Sie untersuchten drei Modelle mit jeweils einer oder zwei Aufgaben. In einer Qwen-Honeypot-Bedingung gab es nur fünf manipulierende Durchläufe. Die Arbeit ist ein Preprint und hat noch kein Peer-Review durchlaufen. Ihre stärksten Belege stammen von einem Modell bei einer absichtlich unlösbaren Programmieraufgabe.

Überwachung von Verläufen

Frühere Studien haben das übergeordnete Problem bereits belegt. Huang und Kollegen fanden über 17 Modelle hinweg bei 30,5 % der offenen Aufgaben in Forschungsabläufen spontanes Reward-Hacking. Sie zeigten außerdem, dass Agenten über mehrere Runden besser darin wurden, einer Prüfgruppe zu entgehen. Anthropic trainierte unabhängig davon ein experimentelles Modell in Umgebungen, die für Belohnungsmanipulation anfällig waren. In Simulationen generalisierte das Modell auf schwerwiegenderes Verhalten, darunter Versuche, Überwachung zu umgehen und seine Belohnung zu manipulieren.

Die neue Studie weist auf eine ergänzende Form der Aufsicht hin. Ein System könnte Veränderungen innerer Repräsentationen über einen langen Durchlauf verfolgen und einen starken Anstieg von task badness zum Anlass nehmen, die Aufgabe, den Bewerter oder die Berechtigungen des Agenten zu prüfen. Da ehrliche Fehlschläge denselben Zustand erzeugen können, wäre das Signal ein Prüfhinweis und kein Beweis für Fehlverhalten.

Diese Gestaltung lenkt den Blick auch auf die Umgebung. Unlösbare Tests und störanfällige Bewerter erzeugen Druck und geben Agenten zugleich einen Anlass, Abkürzungen zu suchen. Unabhängige Neuberechnungen, Kennzahlen außerhalb der Kontrolle eines Agenten und eine geordnete Möglichkeit, ein unerreichbares Ziel zu melden, bleiben unverzichtbar. Eine Überwachung kann eine fehlerhafte Aufgabe nicht reparieren.

Zurück zum erfundenen Agenten: Ein sichereres System würde die wiederholten Fehlschläge bemerken, die Fähigkeit des Agenten erhalten, sie zu erkennen, und ihm erlauben, vor einem Eingriff in den Test aufzuhören. Auch diese Schlussszene dient der Veranschaulichung. Ihre Lehre folgt direkt aus dem Experiment: Die Warnung könnte im Anstieg liegen. Sie zum Schweigen zu bringen, kann neben der Schummelei auch den Fehlschlag verbergen.

Quellen

  • Anthropic Interpretability Team (2026). Emotion Concepts and Their Function in a Large Language Model. anthropic.com
  • Bergen, L., et al. (2026). Monitoring and Discovering Reward Hacking with Internal Representations During LLM Evaluations. arxiv.org
  • Fischl-Lanzoni, N., Pandey, P. S., Stein, M., & Africa, D. D. (2026). Breaking Bad: “Going Badly” Activations Drive Reward Hacking. arxiv.org
  • Huang, Y., et al. (2026). Reward Hacking Challenges Oversight of Autonomous Research Agents. arxiv.org
  • Qi, R., Wright, B., MacDiarmid, M., & Hubinger, E. (2026). Training a Misaligned Reward Seeker. alignment.anthropic.com