El conocimiento que desaparece durante el ajuste fino puede mantenerse intacto dentro de un modelo de lenguaje y reaparecer después, según un nuevo estudio mecanicista.
Vedant Palit, Florent Draye, Nicolas Zucchet, Zhijing Jin y Bernhard Schölkopf estudiaron el «olvido espurio»: una caída de la recuperación que parece conocimiento borrado, pero refleja una incapacidad temporal para acceder a él. Su prepublicación combina una memoria asociativa mínima, un transformador pequeño e intervenciones sobre un modelo de lenguaje preentrenado.
Por qué importa
Un desarrollador que actualiza un modelo con datos empresariales nuevos puede ver desplomarse su precisión sobre hechos anteriores y concluir que la actualización los destruyó. Si el fallo es de acceso, reentrenar o restaurar un punto de control anterior desperdicia información que sigue presente. La pregunta útil pasa a ser no solo cuánto cayó el rendimiento, sino si las representaciones antiguas se movieron juntas o resultaron dañadas individualmente.
Los autores observaron un patrón de tres etapas al entrenar con hechos nuevos. La recuperación de hechos antiguos primero se desplomó, después se recuperó aunque el entrenamiento continuaba solo con material nuevo, y finalmente volvió a descender. Una única teoría de sobreescritura permanente no explica la recuperación intermedia.
Su memoria mínima reprodujo esa curva con tres ingredientes: claves antiguas con estructura compartida, valores nuevos concentrados en una región y normalización dentro de la red. El ajuste fino empujó inicialmente las representaciones antiguas en una dirección común. Ese desplazamiento alteró la lectura, pero preservó la disposición relativa que codificaba qué hecho era cada uno.
Una vez aprendidos los hechos nuevos, la normalización retiró buena parte del desplazamiento común y las respuestas antiguas volvieron a ser accesibles. Entretanto se acumularon cambios menores específicos de cada hecho. Esos cambios alteraron las relaciones entre recuerdos y acabaron produciendo una pérdida duradera.
Una dirección separa la ocultación de la erosión
El artículo prueba el mecanismo en lugar de detenerse en la curva. En un transformador entrenado con datos sintéticos, restar el desplazamiento compartido eliminó el desplome temporal. En un modelo de lenguaje preentrenado, eliminar una dirección de cada actualización de pesos del ajuste fino restauró hechos antiguos, según los autores.
Esa intervención da a la explicación más fuerza que una descripción de puntuaciones cambiantes en evaluaciones. Identifica un componente de baja dimensión asociado con la pérdida reversible y lo distingue de cambios más lentos y distribuidos que dañan recuerdos individuales.
La distinción se refiere al estado del modelo, no a la memoria humana. Aquí, conocimiento «oculto» significa que una instrucción de evaluación ya no recupera la respuesta esperada mientras la geometría que la sustentaba sigue siendo medible. No implica que el modelo recuerde conscientemente ni que pueda recuperar el hecho sin intervención.
Los experimentos también utilizan hechos y condiciones de entrenamiento deliberadamente controlados. El ajuste fino real mezcla formatos, objetivos y conceptos solapados, y un modelo en producción puede fallar por motivos ajenos a este mecanismo: desajuste de instrucciones, decodificación modificada, ajuste de seguridad o una política nueva de respuesta. Por tanto, detectar un desplazamiento común de representaciones no basta por sí solo para certificar que una capacidad perdida sea recuperable.
El estudio también encontró
Que el olvido fuera principalmente temporal o permanente dependía de los datos nuevos: los recuerdos antiguos que se movían juntos conservaban su geometría relativa, mientras las actualizaciones que los separaban producían una erosión destructiva. La normalización ayudaba a explicar el rebote al reducir el desplazamiento común tras estabilizarse el aprendizaje nuevo. El modelo mínimo predijo comportamientos cualitativos que después se probaron en experimentos con transformadores.
La prepublicación se presentó el 6 de octubre de 2026 y aún no ha sido revisada por pares. Su valor práctico es una hipótesis diagnóstica: antes de tratar cada regresión posterior al ajuste fino como conocimiento borrado, examinar si las representaciones comparten una dirección eliminable y si se recuperan al continuar el entrenamiento.
Verificación
| Afirmación | Etiqueta | Fuente primaria | Verificación independiente |
|---|---|---|---|
| La recuperación de hechos antiguos se desplomó, se recuperó durante el entrenamiento continuo con hechos nuevos y después se erosionó | SEGÚN LA EMPRESA | arxiv.org | ninguna |
| Una memoria asociativa mínima reprodujo el patrón con claves compartidas, valores concentrados y normalización | SEGÚN LA EMPRESA | arxiv.org | ninguna |
| El ajuste fino desplazó representaciones antiguas en una dirección común y preservó la geometría relativa | SEGÚN LA EMPRESA | arxiv.org | ninguna |
| Eliminar la dirección común suprimió el desplome temporal en un transformador pequeño | SEGÚN LA EMPRESA | arxiv.org | ninguna |
| Eliminar una dirección de las actualizaciones de pesos restauró hechos antiguos en un modelo de lenguaje preentrenado | SEGÚN LA EMPRESA | arxiv.org | ninguna |
| El artículo se presentó el 6 de octubre de 2026 | VERIFICADO | arxiv.org | ninguna |