Synthetische Daten lehren ein Modell, Sprachen zu lernen
Ein Transformer mit 300 Millionen Parametern, ohne natürliche Sprache trainiert, passt sich im Kontextfenster an sechs reale Sprachen an. Das Experiment trennt Lernstrategie von auswendig gelerntem Text.