Kontextmodelle lassen Agenten ihre eigene Historie bearbeiten

Context Language Models lassen einen Agenten die Historie bearbeiten, die er als Nächstes lesen wird. Damit wird Kontextverwaltung von einem festen Zusammenfassungsschritt zu einer erlernten Handlung.

Rulin Shao und 12 Mitautoren stellen den laufenden Kontext als Datei dar. Das Modell kann diese Datei während der Arbeit umschreiben, löschen oder umordnen und dann mit der bearbeiteten Version fortfahren. Es muss weder eine stetig wachsende Transkription mitführen noch eine von der umgebenden Software gewählte Zusammenfassung akzeptieren.

Warum das wichtig ist

Für Entwickler, die einen lang laufenden Forschungs- oder Programmieragenten einsetzen, ist Kontext sowohl Gedächtnis als auch Rechenaufwand. Alte Token wiederholt einzuspeisen kostet Zeit. Aggressive Verdichtung kann dagegen Belege verwerfen, die später gebraucht werden. Ein Modell, das selbst entscheidet, was es bewahrt, könnte diesen Zielkonflikt je nach Aufgabe abwägen.

Das Paper nennt den Ansatz Context Language Model, kurz CLM. Er trennt die bearbeitbare Kontextdatei von der aktuellen Interaktion. Ein Agent kann damit eine kompakte Arbeitsaufzeichnung behalten, während die ursprüngliche Umgebung weiter Beobachtungen erzeugt.

Die Grundmethode benötigt keine besondere Modellarchitektur. Die Autoren testen Anweisungen, die bestehenden Modellen erklären, wie sie die Datei verwalten sollen. Anschließend verbessern sie die Strategie durch Reinforcement Learning und eine Schleife zur Skill-Optimierung. Ein öffentliches Repository enthält Implementierung und Beispiele. Die Autoren veröffentlichten außerdem ein Plugin für den Pi-Agentenrahmen.

Auf einer zurückgehaltenen Aufgabe zur Kontextverwaltung verbesserten optimierte natürlichsprachliche Anweisungen laut Autoren die Genauigkeit um bis zu 35,9 Prozentpunkte und verringerten zugleich den Rechenaufwand. Das Ergebnis „bis zu“ ist die stärkste gemeldete Veränderung, gehört aber zur Evaluierung der Autoren und variiert je nach Konfiguration.

Bearbeitung verändert neben dem Text auch den Cache

Kontextbearbeitung erzeugt ein Inferenzproblem. Transformer-Server verwenden normalerweise einen Key-Value-Cache für einen unveränderten Präfix wieder. Text in der Mitte umzuschreiben macht spätere Cache-Zustände ungültig, weil diese aus der vorherigen Version berechnet wurden.

Die Autoren schlagen teilweise Cache-Wiederverwendung vor, um nicht alles neu zu berechnen. Diese Optimierung hat Folgen: Zustände nach einer Bearbeitung wiederzuverwenden kann den Cache veralten lassen. Ab der bearbeiteten Stelle neu zu rechnen spart dagegen weniger Arbeit. Laut Paper bewahrte die Näherung die Genauigkeit in den getesteten Konfigurationen. Community-Leser haben dies aber bereits als wichtiges Ziel für Reproduktionen benannt.

Die bearbeitbare Datei verändert auch die Sicherheitsgrenze. Werkzeugausgaben, Nutzeranweisungen und vom Modell geschriebene Notizen können gemeinsam fortbestehen, bis das Modell sie entfernt. Eine bösartige Anweisung, die die Datei erreicht, könnte daher länger überleben als in einer vorübergehenden Werkzeugantwort. Das Paper untersucht Kontextverwaltung. Es bietet weder authentifizierte Herkunftsnachweise noch eine vollständige Abwehr gegen Prompt-Injection.

Die Studie evaluiert Qwen- und Claude-Familienmodelle bei Kontextverwaltung und lang laufenden Agentenaufgaben. Gemeldete Gewinne nach Reinforcement Learning zeigen, dass Bearbeitung erlernt und nicht nur per Prompt verlangt werden kann. Sie belegen aber nicht, dass jeder Agent seine eigene Aufzeichnung kontrollieren sollte. Regulierte oder forensische Abläufe könnten neben dem bearbeitbaren Arbeitskontext eine unveränderliche Transkription benötigen.

Der Preprint wurde am 29. September 2026 eingereicht. Das Code-Repository ist öffentlich. Die nächsten nützlichen Belege können daher aus Reproduktionen kommen, die vollständige Neuberechnung, teilweise Cache-Wiederverwendung und gewöhnliche Verdichtung auf denselben Aufgaben vergleichen.

Überprüfung