# 微调可以隐藏知识，而不将其抹去

> 一篇预印本将可逆的访问丧失，与较慢的已存事实破坏区分开来。这一区分可能改变持续学习失败的诊断方式。

- URL: https://ai-news-daily.xyz/zh/posts/fine-tuning-can-hide-knowledge-without-erasing-it/
- Published: 2026-10-11
- Tags: research, models
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

一项新的机制研究报告，微调期间消失的知识，可能仍完整保留在语言模型内部，之后重新出现。

Vedant Palit、Florent Draye、Nicolas Zucchet、Zhijing Jin 和 Bernhard Schölkopf 研究了“伪遗忘”：回忆能力下降，看似知识被抹去，实际却是暂时无法访问。他们的预印本结合最小联想记忆、小型 Transformer，以及对预训练语言模型的干预。

## 为什么重要 {#why-it-matters}

开发者用新的企业数据更新模型后，可能看到旧事实准确率骤降，进而认定更新摧毁了它们。如果失败出在访问，重新训练或恢复早期检查点就会浪费仍然存在的信息。有用的问题不只是性能下降多少，还包括旧表征是共同移动，还是各自受到损伤。

作者在训练新事实时观察到三个阶段。旧事实的回忆先崩溃，随后即使训练只继续使用新材料，也会恢复，之后再次下降。单一的永久覆盖理论解释不了中间的恢复。

他们的最小记忆模型用三个要素复现了曲线：共享结构的旧键、集中在一个区域的新值，以及网络内部的归一化。微调起初将旧表征推向共同方向。这种位移扰乱读出，却保留了用于编码每个事实身份的相对排列。

新事实学会后，归一化撤回了大量共同位移，旧答案重新可访问。与此同时，较小、针对具体事实的变化不断积累。这些变化改变记忆之间的关系，最终产生持久丧失。

## 一个方向区分隐藏与侵蚀

论文没有停在曲线上，而是测试机制。在合成数据训练的 Transformer 中，减去共享位移消除了暂时崩溃。作者称，在预训练语言模型中，从每次微调权重更新里移除一个方向，恢复了旧事实。

这种干预让解释比描述基准分数变化更有说服力。它识别出与可逆丧失相关的低维成分，并将其与损伤单个记忆的较慢、分布式变化区分开。

区别涉及模型状态，而非人类记忆。这里的“隐藏”知识意味着，评测提示词不再检索出预期答案，但支撑答案的几何结构仍可测量。这不意味着模型有意识地记得，也不意味着无需干预就能恢复事实。

实验还刻意控制事实和训练条件。真实微调混合格式、目标和重叠概念，生产模型也可能因该机制之外的原因失败：提示词不匹配、解码改变、安全微调或新回答策略。因此，仅检测共同表征位移，并不能证明丧失的能力可以恢复。

### 研究还发现

遗忘主要是暂时还是永久，取决于新数据：共同移动的旧记忆保留相对几何结构，而将其拉开的更新造成破坏性侵蚀。新学习稳定后，归一化减少共同位移，有助于解释反弹。最小模型预测了定性行为，随后在 Transformer 实验中得到测试。

预印本于2026年10月6日提交，尚未经同行评审。其实用价值是一项诊断假设：在把所有微调后回退都视作知识被抹去之前，检查表征是否共享一个可移除方向，以及继续训练时是否会恢复。

## 核实 {#verification}

| 说法 | 标签 | 一手来源 | 独立核实 |
|---|---|---|---|
| 旧事实回忆先崩溃，在持续训练新事实时恢复，之后受到侵蚀 | 据公司称 | https://arxiv.org/abs/2610.08718 | 无 |
| 最小联想记忆用共享键、集中值和归一化复现了该模式 | 据公司称 | https://arxiv.org/abs/2610.08718 | 无 |
| 微调将旧表征沿共同方向移动，同时保留相对几何结构 | 据公司称 | https://arxiv.org/abs/2610.08718 | 无 |
| 移除共同方向消除了小型 Transformer 的暂时崩溃 | 据公司称 | https://arxiv.org/abs/2610.08718 | 无 |
| 从权重更新中移除一个方向，恢复了预训练语言模型的旧事实 | 据公司称 | https://arxiv.org/abs/2610.08718 | 无 |
| 论文于2026年10月6日提交 | 已核实 | https://arxiv.org/abs/2610.08718 | 无 |
