Los agentes no vinculan bien las acciones con sus resultados

Los agentes de lenguaje a menudo no conectan una acción pasada con la observación que produjo, incluso cuando todo su historial de interacción permanece en el contexto, según un nuevo preprint.

Jingyu Liu y cuatro coautores estudiaron agentes que reciben sus acciones anteriores y la respuesta del entorno antes de decidir qué hacer después. El historial solía ayudar, pero mezclar las acciones anteriores solo provocaba una pérdida moderada, lo que sugiere que los agentes utilizaban el registro sin aprender de forma fiable qué acción había llevado a cada resultado.

Por qué importa

Para un ingeniero que construye un agente que utiliza herramientas, una transcripción solo es útil cuando el modelo puede aprender de ella. Si un agente interpreta los resultados anteriores como pistas sueltas, puede repetir acciones fallidas o atribuir el mérito al paso equivocado, aunque todos los tokens relevantes estén presentes.

Los investigadores probaron la hipótesis rompiendo la correspondencia entre acción y observación. Mezclaron las acciones anteriores dejando las observaciones en su lugar, de modo que la transcripción seguía conteniendo buena parte del mismo lenguaje, pero ya no conservaba una secuencia causal fiable. La finalización de tareas disminuyó menos de lo esperado.

Ese resultado negativo cambia cómo debe interpretarse el beneficio del historial. Una tasa de éxito mayor con una transcripción más extensa no demuestra por sí sola que un agente haya adquirido experiencia útil. El modelo podría estar extrayendo pistas de las observaciones anteriores o simplemente beneficiándose de más texto relacionado con la tarea.

La solución más sencilla del equipo no añadió información nueva sobre la tarea. Cada observación se etiquetó explícitamente como el resultado de la acción inmediatamente anterior. Esta anotación mejoró el éxito de las tareas y redujo la repetición de la siguiente acción, según el preprint.

Un controlador puede seleccionar experiencia útil

El artículo presenta después un calibrador de acciones aprendido. Reevalúa las acciones anteriores y registra selectivamente la experiencia para decisiones posteriores, en lugar de pedir al agente principal que interprete una transcripción sin distinguir sus componentes. Los autores señalan una mejora adicional respecto a las etiquetas explícitas de resultados.

El diseño separa dos funciones que los sistemas de agentes suelen combinar: actuar en un entorno y decidir qué enseñó la interacción anterior. Esa división resulta práctica porque puede incorporarse al ciclo de un agente existente sin cambiar el entorno ni añadir conocimiento externo.

La evidencia central del preprint es conductual. No establece qué representación forma el modelo internamente, y el resumen no incluye un enlace a código público. Las mejoras comunicadas también dependen de las tareas, los modelos y el formato de transcripción probados, por lo que no deben tratarse como una estimación universal para agentes en producción.

Aun así, el control con el historial mezclado resulta especialmente informativo. Distingue entre «la transcripción ayudó» y «el agente comprendió su experiencia», dos afirmaciones que a menudo se consideran equivalentes al evaluar agentes.

Liu, Zhiwen Wang, Yuxin Jing, Huanyu Zhou y Yong Liu presentaron el preprint el 2 de octubre de 2026. El cambio de etiquetado de resultados está especificado con suficiente claridad para que otros desarrolladores de agentes lo prueben en sus propios ciclos, mientras que el calibrador aprendido será más difícil de evaluar sin detalles del entrenamiento y código publicados.

Verificación