Durante once semanas, del 12 de agosto al 29 de octubre, un equipo de investigadores de METR trabajó con portátiles de la empresa a la que evaluaba. El pequeño equipo equivalía a 2,5 personas a tiempo completo y, por motivos de seguridad, accedía a los sistemas de Anthropic desde equipos de Anthropic. La empresa les proporcionó tokens gratuitos que utilizaron para analizar datos con ayuda de IA. METR no cobró por el trabajo. Solicitaron información sobre todas las etapas del desarrollo de un modelo y casi siempre la recibieron en pocos días. Después redactaron sus conclusiones y Anthropic decidió qué partes podría leer el público.

El resultado se publicó el 5 de noviembre. METR, una entidad sin ánimo de lucro que evalúa IA de frontera, afirma que en octubre de 2026 Anthropic probablemente mejoraba sus modelos en tareas bien definidas a casi el doble del ritmo que mantuvo entre marzo de 2024 y octubre de 2025. Atribuye la mayor parte de esa aceleración al uso de IA por la propia Anthropic para investigar. También señala que Anthropic censuró «la mayoría de las pruebas que consideramos más esclarecedoras para estas conclusiones». El informe ofrece así una medición y, al mismo tiempo, deja constancia de qué se permite medir a los observadores externos.

Qué midió METR

La cifra principal procede de la versión que Anthropic hace del Epoch Capabilities Index, un índice compuesto de resultados de pruebas comparativas que METR denomina AECI. METR estima que, desde octubre de 2025, las puntuaciones de los modelos de Anthropic han crecido a un ritmo 1,9 veces superior al anterior, con un intervalo del 95 % de entre 1,5 y 2,8. Según METR, el avance del último año en esas pruebas equivale aproximadamente al de los dos años comprendidos entre octubre de 2023 y octubre de 2025. Una ficha de sistema de Haiku 5.5 indicaba una aceleración de 1,7 veces. La cifra de METR es mayor, principalmente porque incluye modelos nuevos que aún no se han publicado. Al variar las pruebas y los modelos incluidos, la estimación osciló entre 1,1 y 2,9.

METR delimita con cuidado qué permite concluir esa cifra. El factor 1,9 podría deberse a un sobreajuste a la combinación de pruebas, cuyos resultados además aparecen después de la investigación que los hace posibles. La valoración general, que sitúa el progreso en tareas bien definidas cerca del doble del ritmo anterior, se apoya en más elementos que el AECI, incluido material censurado. La mayoría del equipo se inclina por esa interpretación, aunque con «incertidumbre considerable y desacuerdos internos». No les sorprendería que el valor real fuera 1,3 o tres veces.

La causa importa tanto como la magnitud. METR dice que recibió «pruebas convincentes» de que la aceleración no procedía de un crecimiento más rápido del cómputo de entrenamiento, aunque se censuraron los detalles. Calcula que quizá el 80 % de la aceleración actual se deba a la IA, mientras que a finales de 2025 probablemente influyeron otros factores. Parte del respaldo es poco sólido. En las entrevistas, los investigadores tendían a describir una duplicación del ritmo en su área. En encuestas de Slack, donde el personal vota con emojis cuánto lo acelera el último modelo, el modelo interno más capaz alcanzó un factor de 12 en octubre de 2026. METR considera estas respuestas indicios muy débiles porque reflejan una reflexión superficial. Business Insider cita a un investigador que dijo a METR que ahora «solo nos limitan las ideas y el cómputo; el código ya no nos limita».

Según explicaron a METR, la mejora proviene sobre todo de la asistencia de IA y menos del trabajo autónomo, aunque algunos investigadores describieron «señales de vida» que apuntan a posibles contribuciones autónomas próximas. METR no encontró un cuello de botella convincente en algoritmos, cómputo o datos para los siguientes doce meses. Su opinión sobre estos límites cambió varias veces durante el estudio, por lo que confía poco en esa conclusión. Advierte de que la aceleración podría acumularse.

Qué se censuró

Anthropic tenía el derecho unilateral de censurar todo lo que no fuera público. METR conservó el derecho a comunicar que había censura y si sus conclusiones dependían del material retirado. Una tabla enumera siete clases de pruebas. Se compartieron y se describen las capacidades de los modelos internos en pruebas comparativas. Las medidas intermedias clave, las estimaciones del avance algorítmico y las mediciones de los recursos de investigación se compartieron mayoritaria o totalmente, pero no se describen. Los detalles sobre cuellos de botella y previsiones se compartieron parcialmente y tampoco se describen. Las pruebas de la contribución de la IA y las entrevistas al personal se describen en parte. Anthropic dijo que la censura pretendía «eliminar información confidencial que podría acelerar a otros desarrolladores de IA».

La valoración que METR hace de su propio informe es contundente: «no logra la “transparencia sobre las pruebas”» y «el público tiene que confiar en el criterio de METR mucho más de lo que sería deseable, dado el peso de las preguntas que aquí se responden». También enumera las presiones que soporta. Criticar la censura podría reducir la disposición de Anthropic u otras empresas a permitirle acceso en el futuro. METR considera que los comentarios de Anthropic sobre la claridad fueron en ocasiones «excesivamente insistentes», aunque no cree que distorsionaran significativamente el texto final. Un miembro del equipo había hablado con Anthropic sobre un puesto, recibió una oferta y la rechazó. Además, poseía acciones de un competidor como antiguo empleado, por lo que un colega revisó todo su trabajo. Nadie del equipo tiene acciones de Anthropic, aunque sí las posee una persona que se incorporará a la organización.

Este trabajo es distinto del que Anthropic anunció el 15 de octubre. Entonces dijo que había dado «acceso similar al de un empleado» a un equipo de seis personas de METR y mencionó la libertad de publicar entre las condiciones que necesitan los evaluadores. METR señala que el estudio del que informa empezó a mediados de agosto y no incluyó acceso sin intermediarios a datos, documentos o modelos.

El informe de riesgos que METR volvió a examinar

El segundo documento de METR se remonta a julio. En su August Risk Report, Anthropic afirmaba que los modelos utilizados internamente el 15 de julio no habían cruzado el umbral de alerta temprana sobre investigación automatizada de su Responsible Scaling Policy. Ese umbral incluye una «aceleración drástica» del progreso atribuible a la automatización de la investigación y el desarrollo de IA. METR coincide en que el riesgo catastrófico de aquellos modelos era bajo. Sin embargo, no considera claro que el umbral siguiera sin superarse.

METR se fija en la afirmación de que los indicadores adelantados mostraban una aceleración «inferior a un factor de 2». En la versión privada del informe, las cifras implican 1,97, un valor que METR calculó a partir de dos estimaciones del texto privado. Considera que un lector entendería «inferior a un factor de 2» como una diferencia significativa respecto de dos, y que «alrededor de 2» sería más preciso. El intervalo que METR calcula para esos indicadores va de 1,3 a 2,8. Tanto sus investigadores como el personal de Anthropic se inclinan por pensar que no se había cruzado el umbral, según METR. Aun así, cree plausible que se hubiera cruzado y considera que el informe público «minimiza el grado de aceleración que se estaba produciendo». El propio informe de Anthropic reconocía una confianza menor que en ediciones anteriores, porque sus evaluaciones más concretas basadas en tareas habían alcanzado la saturación.

Los antecedentes

La evaluación llegó tres días después de que Anthropic presentara, el 2 de noviembre, una modificación de su declaración de registro. En ella afirma que «nuestras estimaciones internas y nuestras expectativas sobre modelos futuros, más que los modelos actuales, indican que podríamos cumplir de forma inminente la definición de “progreso drásticamente acelerado atribuible a la IA” de nuestra Responsible Scaling Policy». Añade que no ha designado ningún modelo actual como superior al umbral y que en el pasado «no hemos identificado, y en el futuro podríamos no identificar, una aceleración significativa del ritmo de desarrollo hasta después de que se haya producido». Business Insider recoge otro detalle del informe de METR: en los seis meses anteriores, Anthropic terminó de entrenar tres modelos que no están disponibles para el público. Parte de los modelos con los que sus investigadores aceleran el trabajo todavía no puede utilizarla ningún cliente.

Quién puede comprobar la afirmación

Anthropic defiende el acuerdo alegando que no puede publicarlo todo. En su entrada de octubre explica que cierta información podría ayudar a actores maliciosos o es comercialmente sensible. Compara a los evaluadores con los supervisores bancarios que trabajan dentro de los grandes bancos. El informe de METR muestra tanto el valor como el límite de ese modelo. Un tercero examinó las cifras internas reales y su respuesta resulta menos cómoda que el texto público de la empresa. Ese mismo tercero no puede mostrar al público las cifras que sustentan sus conclusiones.

Imaginemos por un momento a una analista de un organismo público, inventada para este cierre, a la que han preguntado si se supervisa a los laboratorios de frontera. Abre el informe de METR y encuentra una tabla con siete clases de pruebas, cuatro de ellas marcadas con un «No» en la columna de resultados públicos. Puede leer una estimación de 1,9, con un intervalo de 1,5 a 2,8, y una declaración explícita de que se ha ocultado el material subyacente. Escribir «independiente» o «parcialmente independiente» en su nota depende de las palabras que elija. El texto de METR le deja esa decisión.

Referencias

  • Anthropic. (2026). An update on independent evaluators. anthropic.com
  • Anthropic PBC. (2026). Amendment No. 1 to Form S-1 registration statement. sec.gov
  • Coxon, J. (2026). 3 takeaways from the big AI report on Anthropic everyone is talking about. Business Insider. businessinsider.com
  • Epoch AI. (2026). Epoch Capabilities Index (ECI). epoch.ai
  • METR. (2026). METR’s assessment of AI R&D acceleration at Anthropic. metr.org
  • METR. (2026). Review of the AI R&D section of Anthropic’s August 2026 Risk Report. metr.org