Dieselben Aufmerksamkeitsköpfe wechseln mit der Aufgabe ihre Rollen
Ein neuer Preprint findet, dass ein Sprachmodell den Einfluss seiner Aufmerksamkeitsköpfe neu organisiert, wenn sich die verlangte Aufgabe ändert, selbst bei unveränderten Fakten im Prompt. Kausale Eingriffe legen nahe, dass der Aufgabenkontext mitbestimmt, was eine Komponente tut, und erschweren ihre dauerhafte Benennung.