模型无法判断自己是否被量化

语言模型无法可靠地说出自身权重是否已量化，尽管训练后的探针能从隐藏状态中恢复特定方法的痕迹。

预印本研究一种狭窄的模型自知能力。研究人员用多种量化方法压缩模型，直接询问其状态，并把输出与未压缩版本比较。随后，他们在内部激活上训练简单分类器，检查变化是否存在，却无法体现在模型回答中。

为什么重要

对收到托管或重新打包模型的工程师，自我描述并不是良好的完整性检查。模型可以使用被改变的数值权重运行，却不将内部差异转化为关于部署状态的真实陈述。

量化用更少比特存储权重，使模型所需内存更少，且常运行更快。过程改变整个网络的运算，却未必产生明显文本特征。作者报告，直接自述和常规输出比较，几乎不包含关于是否发生压缩的可靠信号。

当研究人员检查隐藏状态时，情况改变了。线性探针——在内部数值上训练的小型分类器——区分了量化与未量化运行，并常识别所用方法。发现表明，即使语言接口未暴露，网络也包含可检测的实现痕迹。

最强限制出现在迁移测试中。共享低秩适配器学会读取几种已知量化特征，却无法可靠识别训练时留出的方法。它学到的是熟悉变换的指纹，而非数值精度降低的一般概念。

这一区别缩小了安全结论。可访问激活的运营者，可能为训练数据中已出现的部署变体建立检测器。实验没有确立针对任意权重变化的通用检测器，API 客户通常也不能读取提供商的隐藏状态。

作者将这一不匹配称为病识感缺失，借用了临床上未意识到自身障碍的术语。类比只在行为层面有用：系统包含变化证据，却不能准确报告。论文没有显示意识、主观感知或临床病症。

方法上，研究受益于受控干预。基础模型与提示词可以保持不变，只改变权重表示，研究人员可以分别测试自述、外部行为和隐藏活动。范围仍受预印本评测的模型、精度方案和探针家族限制。

不同量化方法留下可分离的内部特征，在考虑已知变体集合时可能帮助部署审计。文本输出变化太小，无法完成相同任务，这提醒人们不要仅检查采样响应来验证完整性。

下一步证据需测试不熟悉的压缩工具和故意规避。作者确立了已知变换可能留下可读取痕迹，而其自身留出方法结果说明，这仍不是通用解决方案。