Ein ausschließlich mit synthetischen Sequenzen trainierter Transformer lernte, sechs reale Sprachen aus dem Kontext vorherzusagen, ohne seine Gewichte zu ändern oder im Training natürliche Sprache gesehen zu haben.

Lennart Carstens-Behrens und Holger Fröhlich bauten das Prior-Fitted Language Model, kurz PFLM, mit 300 Millionen Parametern auf Byte-Ebene. Jede Trainingssequenz stammte aus einem neu gezogenen kausalen Prozess mit eigenen Regeln. Das zwang das Modell, die aktuelle Sequenz zu erschließen, statt eine wiederkehrende synthetische Sprache auswendig zu lernen.

Warum das wichtig ist

Wer In-Context-Learning erforscht, weiß selten, ob ein Modell eine neue Regel lernt oder etwas Ähnliches aus seinen Trainingsdaten abruft. PFLM trennt dies sauberer: Seine eingefrorenen Gewichte enthalten eine aus künstlichen Prozessen gelernte allgemeine Strategie. Die reale Sprache kommt erst im Prompt hinzu.

Der synthetische Generator sollte breite statistische Eigenschaften natürlicher Texte nachbilden, darunter häufige Symbole, Abhängigkeiten über große Entfernungen und langsam zunehmende Vorhersagbarkeit. Er enthielt weder Wörter noch Grammatik oder Wikipedia-Beispiele. Im Vortraining musste das Modell lediglich das nächste Byte einer Sequenz vorhersagen, die jedes Mal von einem anderen Generator stammte.

Als die Autoren lange Wikipedia-Datenströme auf Englisch, Chinesisch, Hindi, Arabisch, Japanisch und Koreanisch vorgaben, verbesserte sich die Vorhersage über den gesamten Kontext. Der Verlust begann nahe der Gleichverteilungsreferenz von acht Bit pro Byte und sank nach einer Million Byte je nach Sprache auf 0,9 bis 2,4. Die Modellgewichte blieben eingefroren.

Das Experiment prüft Anpassung, nicht Sprachgewandtheit

PFLM erzeugt weder ausgefeilte Texte noch demonstriert es Bedeutungsverständnis. Es schätzt nach genügend Beobachtungen einer unbekannten Quelle, welches Byte folgt. Diese engere Fähigkeit ist dennoch wichtig: Sie zeigt, dass ein Sequenzlerner ein nützliches Anpassungsverfahren erwerben kann, ohne zuvor natürliche Sprache aufzunehmen.

Das Modell liest rohe Bytes statt eines festen Vokabulars aus Wortstücken. Damit entfällt ein auf menschlichem Text trainierter Tokenizer als weiterer möglicher Weg, über den sprachliche Struktur ins System gelangen könnte. Das öffentliche Repository liefert die Modellintegration und eine API zur Bewertung von Datenströmen. Die veröffentlichten Gewichte ermöglichen Tests neuer Bereiche.

Die Autoren verglichen PFLM auch mit klassischen allgemeinen Kompressionsmethoden. Laut Bericht komprimierte es sechs nichttextliche Quellen, darunter Quellcode und Sprachdaten, bei genügend Kontext besser als gzip und PPMd. Kompression prüft Vorhersage unmittelbar: Ein Modell mit besseren Wahrscheinlichkeiten benötigt weniger Bit zur Kodierung derselben Daten.

Die Studie ergab außerdem

Mit Zahlenfolgen lernte PFLM im Kontext näherungsweise Addition, Zählen und Größenvergleiche. Es sagte deterministische Sequenzen voraus, darunter Primzahlindikatoren und Rudin-Shapiro-Muster. Die Sprachergebnisse unterschieden sich deutlich zwischen den sechs Wikipedia-Sprachen. Es bleibt also klarer Abstand zwischen Anpassung und der Leistung direkt auf Text trainierter Modelle.

Die Arbeit ist ein Preprint, und das Hauptergebnis stammt von einem System mit 300 Millionen Parametern und einer synthetischen Vorannahme. Sein Generator teilt bewusst übergeordnete Statistiken mit natürlichen Daten. Das Experiment zeigt daher nicht, dass ein beliebiger synthetischer Lehrplan Sprachlernen hervorbringt. Es zeigt, dass sorgfältig gewählte strukturelle Vielfalt ein wiederverwendbares Lernverfahren trainieren kann.

Code und Gewichte sind öffentlich. Der unmittelbare Test ist damit klar: Das eingefrorene Modell auf tatsächlich neue strukturierte Quellen anwenden und messen, wann seine kontextbasierte Verbesserung hält oder versagt.

Überprüfung

BehauptungEinstufungPrimärquelleUnabhängige Überprüfung
PFLM ist ein Transformer auf Byte-Ebene mit 300 Millionen Parametern, ausschließlich auf synthetischen nichtsprachlichen Sequenzen trainiertVERIFIZIERTarxiv.orggithub.com/cbl/prior-fitted-language-model
Der Vorhersageverlust sank nach einer Million Byte über sechs Wikipedia-Sprachen hinweg auf 0,9–2,4 Bit pro ByteLAUT UNTERNEHMENarxiv.orgkeine
Das Modell lernte numerische und deterministische Sequenzen im Kontext und schlug gzip sowie PPMd in sechs nichttextlichen BereichenLAUT UNTERNEHMENarxiv.orgkeine
Code und Modellgewichte sind öffentlich verfügbarVERIFIZIERTgithub.com/cbl/prior-fitted-language-modelhuggingface.co/lennartcb/pflm1
Der Befund isoliert eine gelernte Anpassungsstrategie von auswendig gelerntem natürlichsprachlichem TextANALYSEarxiv.orgkeine