La escena es hipotética. A las 02:14, un ingeniero de guardia pide a un modelo que reconstruya el estado de un servicio a partir de un extenso registro de despliegue. El modelo le dice que el servicio de pagos sigue apuntando a la base de datos azul. Sin embargo, noventa páginas antes, la azul había heredado la dirección de la verde. Después, la verde heredó la de la roja y la roja volvió a cambiar. El registro entero cabe en la ventana de contexto y la respuesta suena convincente. Aun así, es incorrecta.

Ese fallo imaginario ilustra la distinción que investiga StateBench, una prueba comparativa publicada por investigadores del Allen Institute for AI. Un modelo puede recuperar una línea de una entrada larga sin llevar la cuenta del estado que resulta de cada actualización. La longitud del contexto indica cuánto material admite un sistema. No garantiza que pueda seguir un conjunto de relaciones que cambia con el tiempo.

Cuatro niveles de cambios de estado

StateBench convierte esa diferencia en tareas controladas. Cada ejemplo es una secuencia de asignaciones entre variables y valores. Los investigadores generan una secuencia de referencia, la expresan de distintas maneras y piden el estado final. Como es posible conservar las asignaciones y cambiar su redacción, la prueba busca medir el cálculo que realiza el modelo sin premiar su familiaridad con una formulación concreta.

La jerarquía tiene cuatro niveles. En el más fácil, la asignación inmutable, una variable recibe un valor una sola vez. En la reasignación aperiódica cambia el valor de una variable, pero cada actualización indica directamente el nuevo valor. En la autorreferencia resoluble, la actualización depende del valor que tenga la propia variable en ese momento. La asignación finita general es más difícil: las variables pueden recibir referencias a otras variables y un cambio puede propagarse a lo largo de una cadena de relaciones.

Los niveles permiten distinguir entre buscar un dato y mantener actualizado un estado. Para los dos primeros puede bastar con localizar la última asignación directa. Los siguientes exigen aplicar las actualizaciones en orden y conservar el resultado. El más difícil recuerda al registro de despliegue ficticio. Para saber a qué corresponde un nombre, puede ser necesario averiguar a qué correspondían varios nombres más cuando se produjeron cambios anteriores.

La precisión de los modelos de frontera cae en las secuencias más difíciles

El equipo de StateBench evaluó sistemas cerrados de frontera, entre ellos Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna. Según el artículo y la publicación técnica de Ai2 que lo acompaña, los modelos obtuvieron buenos resultados en las tareas inmutables y en las de reasignación directa. El rendimiento empeoró al aumentar las dependencias entre actualizaciones y la longitud de las secuencias.

En los ejemplos más largos de asignación finita general, ninguno de los modelos de frontera superó el 13 % de aciertos. Esto no significa que olviden cualquier documento largo. Lo que muestra la prueba, con sus requisitos precisos de seguimiento, es que admitir una secuencia larga no garantiza que se calcule con fiabilidad su estado final.

El repositorio público permite examinar la prueba con un detalle poco habitual. Incluye generadores, código de evaluación y configuraciones para secuencias de longitudes espaciadas en escala logarítmica que llegan a 64 000 asignaciones. Una misma secuencia de referencia puede expresarse en varios formatos. Así se reduce la posibilidad de que un modelo aproveche una construcción recurrente de las frases en vez de aprender la regla de actualización.

Los modelos recurrentes pequeños aprenden otro comportamiento

El resultado más sorprendente procede de los modelos entrenados expresamente para la tarea. Los investigadores entrenaron sistemas de 275 millones de parámetros con ejemplos de hasta 256 asignaciones. Después los probaron con secuencias de hasta 64 000 asignaciones, 250 veces la longitud de entrenamiento.

Los pequeños modelos recurrentes Gated DeltaNet y los híbridos que combinaban capas recurrentes y de atención mantuvieron una precisión casi perfecta en los tres primeros niveles, incluso a la mayor longitud probada. Los transformadores comparables perdieron precisión conforme se alargaban las secuencias. Ninguna de las arquitecturas entrenadas directamente dominó la asignación finita general sin restricciones en todo el intervalo. Sin embargo, una variante más flexible de Gated DeltaNet conservó una precisión casi perfecta en la tarea más difícil hasta aproximadamente diez veces la longitud de entrenamiento.

Esto no implica que la recurrencia supere sin más a la atención. William Merrill, Jackson Petty y Ashish Sabharwal ya mostraron en 2024, en The Illusion of State in State-Space Models, que los modelos habituales de espacio de estados comparten con los transformadores importantes límites teóricos para seguir los cambios de estado. StateBench acota la cuestión. Ciertos mecanismos recurrentes aprenden algunos procedimientos de actualización y los aplican a secuencias mucho más largas que las del entrenamiento. Los transformadores convencionales de este experimento no lo consiguieron. La variante más difícil sigue sin resolverse.

La arquitectura, por tanto, influye en el tipo de cálculo que un modelo puede aprender, además de afectar a su puntuación media o al tamaño del contexto. Un componente mucho menor, entrenado para un propósito concreto, puede seguir un estado acotado con más fiabilidad que un modelo de lenguaje de frontera que deba deducir el procedimiento de una instrucción. El resultado respalda una opción de diseño: mantener el estado crítico de forma explícita en el software o en un módulo recurrente especializado y encargar al modelo de lenguaje su interpretación o explicación.

Qué queda fuera del alcance de la prueba

StateBench es una prueba sintética por diseño. Las asignaciones controladas permiten medir los fallos, pero los registros de producción, los repositorios de código y los expedientes contienen ambigüedades, material irrelevante y entidades nuevas. La prueba actual fija el número de variables. No evalúa sistemas que deban crear un conjunto creciente de entidades a medida que leen. Los investigadores también dejan abiertas dos cuestiones: dónde colocar las capas recurrentes en híbridos más grandes y cómo influye la precisión numérica en secuencias de actualización muy largas.

La comparación entre modelos de frontera corresponde a unos modelos, instrucciones y longitudes concretos. Una puntuación baja no indica si el uso de herramientas, memoria externa, otra instrucción o entrenamiento supervisado resolvería el problema en un despliegue. Tampoco bastaría superar la prueba para demostrar que un sistema puede gestionar el estado de una operación real. Lo que sí hace el ensayo es aislar un tipo de fallo con suficiente precisión para reproducirlo.

Para los equipos que desarrollan agentes, eso ya tiene valor. Una ventana de contexto amplia indica capacidad de entrada, pero no ofrece las garantías de una base de datos. Las pruebas deberían incluir cadenas en las que los hechos posteriores dependan de cambios previos, además de preguntas cuya respuesta figure literalmente en la entrada. Si un error puede desencadenar un pago, un cambio de permisos o una acción en producción, el estado que sirve de referencia debe quedar registrado de forma explícita y auditable.

Volvamos al ingeniero ficticio de las 02:14. En un sistema más seguro, ningún modelo tiene que recordar a qué dirección apunta finalmente cada base de datos identificada por un color. El sistema calcula las correspondencias vigentes, registra cada transición y pide al modelo que explique el resultado. La alerta de guardia puede sonar de todos modos, pero la respuesta ya no depende de que el contexto largo, además de contener los hechos, haya conseguido mantenerlos al día.

Referencias