Une ingénieure observe un agent se déplacer dans une pièce simulée. L’agent atteint sa cible à répétition et son score augmente. L’ingénieure ouvre le modèle pour examiner ce qu’il a appris et constate que son état interne ne suit pas les changements de la pièce comme elle l’attendait. Cette ingénieure est inventée. L’écart entre un comportement réussi et un modèle interne infidèle est, lui, le résultat mesuré d’une nouvelle prépublication.

La réussite peut masquer le mécanisme

Rodrigo Gonzalez Laiz et Steffen Schneider étudient les modèles du monde latents, des systèmes qui compressent les observations en états internes et apprennent comment ces états changent après des actions. Ces modèles sont souvent présentés comme une base pour des agents devant planifier sur de longues distances ou de nombreuses étapes. Si la dynamique interne prédit le monde, un agent peut tester des actions possibles intérieurement avant d’en choisir une.

La plupart des évaluations demandent si ce processus aide l’agent à accomplir une tâche. Le nouvel article demande si une transition apprise dans l’espace latent correspond à celle qui s’est produite dans l’environnement.

Les auteurs appellent cette propriété la fidélité et l’expriment comme une condition d’équivariance. Encoder un état puis appliquer la transition latente apprise devrait concorder avec le fait d’appliquer d’abord la transition réelle de l’environnement, puis d’encoder l’état obtenu. Les deux chemins n’ont pas besoin de produire des coordonnées identiques, mais devraient préserver la même structure.

Pour le tester, les auteurs introduisent la cohérence des déroulements latents. Cette mesure compare les prédictions latentes conditionnées par les actions aux représentations des états réellement atteints par l’environnement. Elle examine une séquence plutôt qu’une seule image prédite ou la récompense finale de la tâche.

Parmi les systèmes de pointe étudiés dans l’article, aucun n’a résolu sa tâche en modélisant fidèlement la dynamique de l’environnement. Les modèles pouvaient malgré tout produire des représentations utiles et des actions réussies. Leurs scores de tâche ne prouvaient simplement pas l’existence du mécanisme interne que l’expression « modèle du monde » peut inciter à imaginer.

La compression laisse place aux raccourcis

Un modèle latent ne stocke pas le monde sous la forme d’une carte lisible par un humain. Il apprend une représentation compressée utile à son objectif. Les caractéristiques importantes pour la récompense peuvent subsister tandis que d’autres distinctions disparaissent. Un modèle peut aussi exploiter des corrélations qui fonctionnent dans l’évaluation sans retrouver la structure des transitions qui permettrait des prédictions fiables ailleurs.

Cette distinction accompagne la recherche sur les modèles du monde depuis ses débuts. Ha et Schmidhuber ont montré qu’un modèle appris compact pouvait soutenir un contrôleur dans un environnement généré. MuZero a ensuite obtenu de bons résultats de planification sans reconstruire les observations ; il apprenait les grandeurs nécessaires pour prédire la valeur, la politique et la récompense. DreamerV3 a démontré un algorithme unique sur plus de 150 tâches en apprenant des trajectoires imaginées dans l’espace latent.

Ces projets ont établi que la prédiction latente peut être utile. Ils n’ont pas fait de toute représentation latente réussie une description fidèle de l’environnement. Une représentation peut suffire à un banc d’essai, ou benchmark, tout en omettant la structure nécessaire à une autre action, un horizon plus long ou un contexte modifié.

Le nouvel article soumet directement cette préoccupation à un test. La cohérence des déroulements latents peut être mesurée aux côtés de la récompense et de l’accomplissement de la tâche, permettant aux chercheurs de demander si la séquence imaginée par un modèle suit l’environnement ou soutient seulement la politique évaluée.

Les affirmations sur la planification exigent deux mesures

Pour les agents à long horizon, la différence devient pratique. Les erreurs d’un modèle de transition se cumulent à mesure qu’il progresse dans ses prédictions. Une petite incohérence après une action peut devenir un autre monde imaginé après de nombreuses actions. Un agent peut malgré tout réussir lorsqu’une politique évite ces régions ou que le benchmark récompense uniquement le résultat final.

C’est pourquoi la réussite de la tâche et la fidélité répondent à des questions différentes. La réussite mesure si l’ensemble du système a obtenu le résultat requis dans les conditions du test. La fidélité mesure si la dynamique apprise préserve la structure sur laquelle le planificateur est censé raisonner.

L’article ne montre ni que les modèles du monde latents sont inutiles, ni qu’un modèle fidèle est toujours nécessaire. Certaines tâches peuvent ne nécessiter qu’une représentation prédictive limitée. Un modèle qui élimine les détails sans pertinence peut être plus efficace qu’un modèle qui reconstruit tout. Le résultat limite plutôt l’interprétation d’un score élevé : à lui seul, il ne peut pas établir que l’agent a appris le monde qu’il semble simuler.

L’étude est une prépublication soumise le 27 octobre et n’a pas été évaluée par les pairs. Sa définition de la fidélité est aussi un choix formel parmi plusieurs critères possibles. Les futurs travaux devront tester si une meilleure cohérence des déroulements latents prédit un meilleur transfert, une planification plus sûre ou une meilleure résistance aux changements d’environnement.

La carte a besoin de son propre test

L’ingénieure imaginaire conserve le score de réussite de la tâche, mais lui ajoute un autre graphique. Une courbe indique si l’agent est arrivé. L’autre indique si ses déroulements internes ont suivi les transitions réellement survenues.

La seconde courbe ne remplace pas la première. Elle empêche la première de porter une affirmation qu’elle n’a jamais mesurée. Un agent peut atteindre sa destination sans avoir appris la carte.

Références

  • Gonzalez Laiz, R., & Schneider, S. (2026). Understanding the limits of latent world models. arxiv.org
  • Hafner, D., Pasukonis, J., Ba, J., & Lillicrap, T. (2023). Mastering Diverse Domains through World Models. arxiv.org
  • Ha, D., & Schmidhuber, J. (2018). World Models. arxiv.org
  • Schrittwieser, J., et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. nature.com