Synthetische data leren een model talen te leren
Een transformer met 300 miljoen parameters, getraind zonder natuurlijke taal, past zich binnen zijn contextvenster aan zes echte talen aan. Het experiment onderscheidt de leerstrategie van onthouden tekst.