Los modelos no saben cuándo están cuantizados

Los modelos de lenguaje no pudieron decir de forma fiable si sus pesos se habían cuantizado, aunque sondas entrenadas podían recuperar trazas específicas del método de sus estados ocultos.

La prepublicación estudia una forma limitada de autoconocimiento de modelos. Los investigadores comprimieron modelos con varios métodos de cuantización, hicieron preguntas directas sobre su estado y compararon las salidas con las de versiones sin comprimir. Después entrenaron clasificadores sencillos sobre activaciones internas para ver si el cambio existía sin estar disponible para la respuesta del modelo.

Por qué importa

Para un ingeniero que recibe un modelo alojado o reempaquetado, la autodescripción es una mala comprobación de integridad. Un modelo puede funcionar con pesos numéricos alterados sin convertir esa diferencia interna en una afirmación veraz sobre su despliegue.

La cuantización almacena pesos con menos bits para que un modelo necesite menos memoria y a menudo funcione más rápido. El proceso cambia la aritmética de toda la red, pero no tiene por qué producir una señal textual evidente. Los autores informan de que los informes directos del modelo y las comparaciones ordinarias de salida contenían casi ninguna señal fiable de que hubiera ocurrido compresión.

El panorama cambió cuando los investigadores inspeccionaron los estados ocultos. Las sondas lineales —pequeños clasificadores entrenados sobre esos valores internos— separaron ejecuciones cuantizadas de no cuantizadas y a menudo identificaron el método usado. El hallazgo muestra que la red contiene trazas detectables de su implementación incluso cuando su interfaz lingüística no las expone.

Una huella no es autoconocimiento general

La limitación más importante aparece en la prueba de transferencia. Un adaptador compartido de bajo rango aprendió a leer varias señales de cuantización conocidas, pero no identificó de forma fiable un método excluido del entrenamiento. Había aprendido huellas de transformaciones familiares, no un concepto general de precisión numérica reducida.

Esa distinción limita la conclusión de seguridad. Un operador con acceso a activaciones puede construir un detector de variantes de despliegue ya representadas en los datos de entrenamiento. El experimento no establece un detector universal de cambios arbitrarios de pesos y un cliente de API normalmente no puede leer los estados ocultos del proveedor.

Los autores llaman anosognosia al desajuste, tomando un término clínico de falta de conciencia de una alteración. La analogía solo es útil en el plano conductual: el sistema contiene pruebas de un cambio, pero no informa de él correctamente. El artículo no muestra conciencia, percepción subjetiva ni un estado clínico.

Metodológicamente, el estudio se beneficia de una intervención controlada. El modelo base y los prompts pueden permanecer constantes mientras solo cambia la representación de los pesos, y los investigadores pueden probar por separado autoinformes, conducta externa y actividad oculta. Su alcance sigue limitado por los modelos, esquemas de precisión y familias de sondas evaluados en la prepublicación.

El estudio también halló

Distintos métodos de cuantización dejaron señales internas separables, lo que puede ayudar a auditar despliegues cuando se considera un conjunto conocido de variantes. Las salidas de texto cambiaron demasiado poco para la misma tarea, advirtiendo contra pruebas de integridad que examinan solo respuestas muestreadas.

Las siguientes pruebas deberán examinar herramientas de compresión desconocidas y evasión deliberada. Los autores han establecido que las transformaciones conocidas pueden dejar trazas legibles, mientras su propio resultado con el método excluido muestra por qué todavía no es una solución general.

Verificación