一项新的机制研究报告,微调期间消失的知识,可能仍完整保留在语言模型内部,之后重新出现。
Vedant Palit、Florent Draye、Nicolas Zucchet、Zhijing Jin 和 Bernhard Schölkopf 研究了“伪遗忘”:回忆能力下降,看似知识被抹去,实际却是暂时无法访问。他们的预印本结合最小联想记忆、小型 Transformer,以及对预训练语言模型的干预。
为什么重要
开发者用新的企业数据更新模型后,可能看到旧事实准确率骤降,进而认定更新摧毁了它们。如果失败出在访问,重新训练或恢复早期检查点就会浪费仍然存在的信息。有用的问题不只是性能下降多少,还包括旧表征是共同移动,还是各自受到损伤。
作者在训练新事实时观察到三个阶段。旧事实的回忆先崩溃,随后即使训练只继续使用新材料,也会恢复,之后再次下降。单一的永久覆盖理论解释不了中间的恢复。
他们的最小记忆模型用三个要素复现了曲线:共享结构的旧键、集中在一个区域的新值,以及网络内部的归一化。微调起初将旧表征推向共同方向。这种位移扰乱读出,却保留了用于编码每个事实身份的相对排列。
新事实学会后,归一化撤回了大量共同位移,旧答案重新可访问。与此同时,较小、针对具体事实的变化不断积累。这些变化改变记忆之间的关系,最终产生持久丧失。
一个方向区分隐藏与侵蚀
论文没有停在曲线上,而是测试机制。在合成数据训练的 Transformer 中,减去共享位移消除了暂时崩溃。作者称,在预训练语言模型中,从每次微调权重更新里移除一个方向,恢复了旧事实。
这种干预让解释比描述基准分数变化更有说服力。它识别出与可逆丧失相关的低维成分,并将其与损伤单个记忆的较慢、分布式变化区分开。
区别涉及模型状态,而非人类记忆。这里的“隐藏”知识意味着,评测提示词不再检索出预期答案,但支撑答案的几何结构仍可测量。这不意味着模型有意识地记得,也不意味着无需干预就能恢复事实。
实验还刻意控制事实和训练条件。真实微调混合格式、目标和重叠概念,生产模型也可能因该机制之外的原因失败:提示词不匹配、解码改变、安全微调或新回答策略。因此,仅检测共同表征位移,并不能证明丧失的能力可以恢复。
研究还发现
遗忘主要是暂时还是永久,取决于新数据:共同移动的旧记忆保留相对几何结构,而将其拉开的更新造成破坏性侵蚀。新学习稳定后,归一化减少共同位移,有助于解释反弹。最小模型预测了定性行为,随后在 Transformer 实验中得到测试。
预印本于2026年10月6日提交,尚未经同行评审。其实用价值是一项诊断假设:在把所有微调后回退都视作知识被抹去之前,检查表征是否共享一个可移除方向,以及继续训练时是否会恢复。
核实
| 说法 | 标签 | 一手来源 | 独立核实 |
|---|---|---|---|
| 旧事实回忆先崩溃,在持续训练新事实时恢复,之后受到侵蚀 | 据公司称 | arxiv.org | 无 |
| 最小联想记忆用共享键、集中值和归一化复现了该模式 | 据公司称 | arxiv.org | 无 |
| 微调将旧表征沿共同方向移动,同时保留相对几何结构 | 据公司称 | arxiv.org | 无 |
| 移除共同方向消除了小型 Transformer 的暂时崩溃 | 据公司称 | arxiv.org | 无 |
| 从权重更新中移除一个方向,恢复了预训练语言模型的旧事实 | 据公司称 | arxiv.org | 无 |
| 论文于2026年10月6日提交 | 已核实 | arxiv.org | 无 |