Modelle erkennen nicht, wann sie quantisiert sind

Sprachmodelle konnten nicht zuverlässig sagen, ob ihre Gewichte quantisiert worden waren, obwohl trainierte Sonden methodenspezifische Spuren aus ihren verborgenen Zuständen rekonstruieren konnten.

Der Preprint untersucht eine eng begrenzte Form von Modellselbstwissen. Forschende komprimierten Modelle mit mehreren Quantisierungsmethoden, stellten direkte Fragen zu ihrem Zustand und verglichen ihre Ausgaben mit denen unkomprimierter Versionen. Dann trainierten sie einfache Klassifikatoren auf internen Aktivierungen, um zu prüfen, ob die Veränderung vorhanden war, ohne der Antwort des Modells zugänglich zu sein.

Warum das wichtig ist

Für Ingenieure, die ein gehostetes oder neu verpacktes Modell erhalten, ist Selbstbeschreibung eine schlechte Integritätsprüfung. Ein Modell kann mit veränderten numerischen Gewichten arbeiten, ohne diesen internen Unterschied in eine wahrheitsgemäße Aussage über seinen Einsatz zu übersetzen.

Quantisierung speichert Gewichte mit weniger Bits, sodass ein Modell weniger Speicher benötigt und oft schneller läuft. Der Prozess verändert die Arithmetik im gesamten Netzwerk, muss aber keine offensichtliche textliche Signatur erzeugen. Die Autoren berichten, direkte Selbstauskünfte und gewöhnliche Ausgabevergleiche hätten fast kein verlässliches Signal darüber enthalten, ob eine Komprimierung stattgefunden hatte.

Das Bild änderte sich, als die Forschenden verborgene Zustände untersuchten. Lineare Sonden – kleine, auf diesen internen Werten trainierte Klassifikatoren – trennten quantisierte von unquantisierten Durchläufen und identifizierten häufig die verwendete Methode. Der Befund zeigt, dass das Netzwerk erkennbare Spuren seiner Implementierung enthält, selbst wenn seine Sprachschnittstelle sie nicht offenlegt.

Ein Fingerabdruck ist kein allgemeines Selbstwissen

Die stärkste Einschränkung zeigt sich im Transfertest. Ein gemeinsamer Adapter mit niedrigem Rang lernte, mehrere bekannte Quantisierungssignaturen zu lesen, erkannte jedoch eine beim Training zurückgehaltene Methode nicht zuverlässig. Er hatte Fingerabdrücke vertrauter Transformationen statt eines allgemeinen Konzepts verringerter numerischer Präzision gelernt.

Diese Unterscheidung begrenzt die Sicherheitsschlussfolgerung. Ein Betreiber mit Aktivierungszugriff kann möglicherweise einen Detektor für Einsatzvarianten bauen, die bereits in Trainingsdaten vertreten sind. Das Experiment etabliert keinen universellen Detektor für beliebige Gewichtsänderungen, und ein API-Kunde kann die verborgenen Zustände des Anbieters gewöhnlich nicht lesen.

Die Autoren nennen die Diskrepanz Anosognosie und übernehmen damit einen klinischen Begriff für fehlendes Bewusstsein einer Beeinträchtigung. Die Analogie ist nur auf Verhaltensebene nützlich: Das System enthält Belege einer Veränderung, berichtet sie aber nicht korrekt. Die Arbeit zeigt weder Bewusstsein noch subjektive Wahrnehmung oder einen klinischen Zustand.

Methodisch profitiert die Studie von einem kontrollierten Eingriff. Basismodell und Prompts können konstant bleiben, während sich nur die Gewichtsrepräsentation ändert, und die Forschenden können Selbstauskunft, äußeres Verhalten und verborgene Aktivität getrennt testen. Ihr Umfang bleibt durch die im Preprint evaluierten Modelle, Präzisionsverfahren und Sondenfamilien begrenzt.

Die Studie ergab außerdem

Unterschiedliche Quantisierungsmethoden hinterließen trennbare interne Signaturen, was Einsatzprüfungen helfen könnte, wenn eine bekannte Menge von Varianten betrachtet wird. Textausgaben änderten sich zu wenig für dieselbe Aufgabe. Das warnt vor Integritätstests, die nur Stichproben von Antworten untersuchen.

Die nächsten Belege müssen unbekannte Komprimierungswerkzeuge und absichtliche Umgehung testen. Die Autoren haben festgestellt, dass bekannte Transformationen lesbare Spuren hinterlassen können, während ihr eigenes Ergebnis zur zurückgehaltenen Methode zeigt, warum dies noch keine allgemeine Lösung ist.

Überprüfung