Pendant onze semaines, du 12 août au 29 octobre, une équipe de chercheurs de METR a travaillé sur des ordinateurs portables appartenant à l’entreprise qu’elle évaluait. Cette petite équipe représentait 2,5 équivalents temps plein et se connectait aux systèmes d’Anthropic sur les appareils d’Anthropic, pour des raisons de sécurité. Anthropic lui a fourni gratuitement des tokens, utilisés pour des analyses de données assistées par IA, et METR n’a reçu aucune rémunération. Les chercheurs ont demandé des données sur chaque étape de la création d’un modèle et les ont généralement obtenues en quelques jours. Puis ils ont rédigé leurs observations, et Anthropic a décidé quelles parties le public pourrait lire.

Le résultat est paru le 5 novembre. METR, une organisation à but non lucratif qui évalue l’IA de pointe, estime qu’en octobre 2026 Anthropic améliore probablement ses modèles sur des tâches bien définies à environ deux fois le rythme de la période allant de mars 2024 à octobre 2025. Elle attribue l’essentiel de cette accélération à l’utilisation de l’IA par Anthropic dans sa propre recherche. Elle indique aussi qu’Anthropic a expurgé « la majorité des éléments que nous jugions les plus instructifs pour ces conclusions ». Le rapport constitue donc à la fois une mesure et une déclaration sur ce que des tiers sont autorisés à mesurer.

Ce que METR a mesuré

Le chiffre principal provient de la version d’Anthropic de l’Epoch Capabilities Index, un agrégat de scores de benchmarks que METR appelle AECI. Depuis octobre 2025, estime METR, les scores des modèles d’Anthropic progressent à 1,9 fois leur rythme antérieur, avec un intervalle à 95 % de 1,5 à 2,8. Selon les termes de METR, Anthropic a accompli l’année dernière à peu près autant de progrès sur les bancs d’essai que pendant les deux années d’octobre 2023 à octobre 2025. Une fiche système de Haiku 5.5 indiquait un facteur 1,7 ; le chiffre de METR est plus élevé surtout parce qu’il inclut des modèles plus récents qui n’ont pas été publiés. Selon les choix de benchmarks et de modèles inclus, l’estimation variait entre 1,1 et 2,9.

METR prend soin de préciser ce que cela montre et ne montre pas. Le chiffre de 1,9 pourrait être un artefact de surapprentissage sur l’ensemble des benchmarks, et les points gagnés apparaissent après la recherche qui les produit. Son jugement global, selon lequel les progrès sur les tâches bien définies avoisinent le double de l’ancien rythme, repose sur davantage que l’AECI, notamment sur des éléments expurgés. La plupart des membres de l’équipe penchent dans ce sens, indique-t-elle, avec « une incertitude importante et des désaccords internes » ; une vraie valeur de 1,3 ou de 3 fois ne les surprendrait pas.

La cause importe autant que l’ampleur. METR affirme avoir reçu des « éléments convaincants » montrant que l’accélération ne venait pas d’une croissance plus rapide du calcul consacré à l’entraînement, même si les détails ont été expurgés. Elle estime qu’environ 80 % de l’accélération actuelle pourrait être due à l’IA, tandis que le rythme accru de fin 2025 aurait probablement subi l’influence d’autres facteurs. Les éléments à l’appui sont en partie qualitatifs. Les entretiens avec les chercheurs se concentraient sur un doublement du rythme dans leur domaine. Des sondages Slack, où les salariés votent par réactions emoji sur l’accélération apportée par le dernier modèle, ont atteint un facteur 12 en octobre 2026 pour le modèle interne le plus performant. METR les traite comme des indices très approximatifs, car les réponses reposent sur une réflexion peu approfondie. Business Insider, qui rapporte l’étude, cite un chercheur disant à METR être désormais « limité uniquement par les idées et le calcul, plus par le code ».

METR s’est entendu dire que l’accélération venait surtout de l’assistance par IA plutôt que du travail autonome, même si les chercheurs décrivaient des « signes de vie » suggérant que des contributions autonomes pourraient arriver bientôt. L’équipe n’a trouvé aucun goulot d’étranglement convaincant dans les algorithmes, le calcul ou les données pour les douze prochains mois. Elle précise que son avis sur ces limites a changé plusieurs fois pendant l’étude, ce qui lui donne peu confiance dans cette conclusion. Son avertissement est que l’accélération pourrait se cumuler.

Les passages expurgés

Anthropic détenait un droit unilatéral de suppression de toute information non publique. METR conservait le droit de signaler les suppressions et de dire si ses conclusions en dépendaient. Un tableau du rapport répertorie sept catégories d’éléments. Les capacités des modèles internes sur les benchmarks ont été communiquées et sont décrites. Les principales mesures intermédiaires, les estimations des progrès algorithmiques et les mesures des ressources de recherche ont été communiquées, en majorité ou en totalité, mais ne sont pas décrites. Les détails sur les goulots d’étranglement et les prévisions ont été partiellement communiqués et ne sont pas décrits. Les éléments sur la contribution de l’IA et les entretiens avec le personnel sont partiellement décrits. Anthropic a présenté les suppressions comme « destinées à retirer des informations confidentielles susceptibles d’accélérer d’autres développeurs d’IA ».

Le verdict de METR sur son propre rapport est sans détour : il « n’atteint pas la “transparence sur les preuves” », et « le public doit s’en remettre au jugement de METR bien davantage qu’il ne serait souhaitable, au vu de l’importance des questions traitées ici ». L’organisation énumère aussi les pressions qu’elle subit. Critiquer les suppressions pourrait rendre d’autres entreprises, ou Anthropic, moins disposées à lui donner accès à l’avenir. Selon METR, les remarques d’Anthropic sur la clarté ont parfois été « excessivement insistantes », même si l’équipe ne pense pas que le texte final soit sensiblement déformé. Un membre avait discuté d’un emploi chez Anthropic, reçu une offre puis l’avait refusée, et détenait des parts d’un concurrent en tant qu’ancien salarié ; un collègue a donc vérifié tout son travail. Aucun membre de l’équipe ne détient de parts d’Anthropic, même si une future recrue en possède.

Cette mission est distincte de celle annoncée par Anthropic le 15 octobre, lorsque l’entreprise disait avoir donné un « accès comparable à celui des salariés » à une équipe de six employés de METR et citait la liberté de publication parmi les besoins des évaluateurs. METR indique que le travail rapporté a commencé mi-août et ne comprenait pas d’accès sans intermédiaire aux données, documents ou modèles.

Le rapport de risque relu par METR

Le second document de METR revient à juillet. L’August Risk Report d’Anthropic indiquait que les modèles utilisés en interne le 15 juillet n’avaient pas franchi le seuil d’alerte précoce de sa Responsible Scaling Policy pour la recherche automatisée. Ce seuil comprend une « accélération spectaculaire » des progrès pour des raisons liées à l’automatisation de la R&D en IA. METR convient que le risque catastrophique de ces modèles était faible. Elle ne convient pas que le seuil soit clairement resté non franchi.

METR relève la formule selon laquelle les indicateurs avancés montraient une accélération « d’un facteur inférieur à 2 ». Dans la version privée du rapport, les chiffres impliquent 1,97, une valeur que METR a elle-même calculée à partir de deux estimations du texte privé. À ses yeux, un lecteur comprendrait « d’un facteur inférieur à 2 » comme sensiblement inférieur à deux, et « autour de 2 » serait plus exact. La fourchette propre à METR pour ces indicateurs est de 1,3 à 2,8. Selon METR, ses chercheurs comme les salariés d’Anthropic penchent pour un seuil non franchi, mais elle estime le franchissement plausible et juge que le rapport public « sous-estime le niveau d’accélération qui se produisait ». Le rapport d’Anthropic reconnaissait lui-même une confiance moindre que dans les éditions précédentes, car ses évaluations les plus concrètes fondées sur des tâches avaient saturé.

Ce qui a précédé

L’évaluation paraît trois jours après la déclaration d’enregistrement modifiée d’Anthropic, déposée le 2 novembre. L’entreprise y affirme que « nos estimations internes et nos attentes concernant les futurs modèles, plutôt que nos modèles actuels, indiquent que nous pourrions bientôt satisfaire à la définition de notre Responsible Scaling Policy des “progrès spectaculairement accélérés attribuables à l’IA” ». Elle ajoute n’avoir désigné aucun modèle actuel comme dépassant le seuil et avoir par le passé « omis d’identifier, et pouvoir à l’avenir ne pas identifier, une accélération significative de notre rythme de développement avant qu’elle ne se soit produite ». Business Insider ajoute un détail du rapport de METR : au cours des six mois précédents, Anthropic a achevé l’entraînement de trois modèles non accessibles au public. Les modèles utilisés par ses chercheurs pour accélérer leur travail sont, en partie, des modèles que les clients ne peuvent pas encore utiliser.

Qui peut vérifier l’affirmation

Anthropic défend ce dispositif en faisant valoir qu’elle ne peut pas tout publier. Dans son billet d’octobre, l’entreprise indique que certaines informations pourraient aider des acteurs malveillants ou sont commercialement sensibles, et compare les évaluateurs aux superviseurs bancaires présents au sein des plus grandes banques. Le rapport de METR montre à la fois la valeur et la limite de ce modèle. Un tiers a examiné les véritables chiffres internes, et sa réponse est moins confortable que le texte public de l’entreprise. Ce même tiers ne peut pas montrer au public les chiffres qui étayent ses conclusions.

Imaginons un instant une analyste d’une administration, inventée pour cette conclusion, à qui l’on demande si les laboratoires de pointe sont supervisés. Elle ouvre le rapport de METR et trouve le tableau de sept catégories d’éléments, dont quatre portent la mention « Non » dans la colonne des résultats publics. Elle peut lire une estimation de 1,9 avec un intervalle de 1,5 à 2,8 et une déclaration claire indiquant que les éléments sous-jacents ont été retenus. Ce qu’elle écrit dans sa note, « indépendant » ou « partiellement indépendant », relève de la formulation. Le texte de METR lui laisse ce choix.

Références

  • Anthropic. (2026). An update on independent evaluators. anthropic.com
  • Anthropic PBC. (2026). Amendment No. 1 to Form S-1 registration statement. sec.gov
  • Coxon, J. (2026). 3 takeaways from the big AI report on Anthropic everyone is talking about. Business Insider. businessinsider.com
  • Epoch AI. (2026). Epoch Capabilities Index (ECI). epoch.ai
  • METR. (2026). METR’s assessment of AI R&D acceleration at Anthropic. metr.org
  • METR. (2026). Review of the AI R&D section of Anthropic’s August 2026 Risk Report. metr.org