Eine lineare Sonde fand ein Merkmal, das Llama nicht nutzte
Eine lineare Sonde konnte Geburtsjahre aus Llama-2-7B auslesen, doch eine Änderung entlang der gefundenen Richtung veränderte die Antwort kaum. Eine neue Studie führt dies auf Aktivierungsrichtungen mit geringer Varianz zurück und zeigt, wie Regularisierung ein kausal aussagekräftigeres Merkmal finden kann.