Jedenásť týždňov, od 12. augusta do 29. októbra, pracoval tím výskumníkov METR na notebookoch, ktoré patrili firme, ktorú hodnotili. Išlo o 2,5 plného pracovného úväzku, teda malú skupinu, a do systémov spoločnosti Anthropic sa z bezpečnostných dôvodov prihlasovali na zariadeniach Anthropicu. Anthropic im poskytol tokeny zadarmo, ktoré minuli na analýzu dát s pomocou AI, a METR nevzal žiadnu platbu. Žiadali dáta o každej fáze vzniku modelu a väčšinou ich dostali do pár dní. Potom napísali, čo videli, a Anthropic rozhodol, ktoré časti si môže prečítať verejnosť.

Výsledok vyšiel 5. novembra. METR, nezisková organizácia, ktorá hodnotí špičkovú AI, uvádza, že Anthropic v októbri 2026 pravdepodobne zlepšuje svoje modely v dobre vymedzených úlohách zhruba dvojnásobným tempom ako medzi marcom 2024 a októbrom 2025. Väčšinu tohto zrýchlenia pripisuje tomu, že Anthropic pri výskume používa vlastnú AI. Zároveň uvádza, že Anthropic začiernil „väčšinu dôkazov, ktoré sme považovali za najvýpovednejšie pre tieto závery“. Správa je tak zároveň meraním aj výpoveďou o tom, čo smú cudzí merať.

Čo METR zmeral

Hlavné číslo pochádza z verzie indexu Epoch Capabilities Index, ktorú používa Anthropic a ktorú METR nazýva AECI; ide o súhrnný index zložený zo skóre v porovnávacích testoch. Od októbra 2025 podľa odhadu METR rastie skóre modelov Anthropicu 1,9-krát rýchlejšie ako predtým, pri 95 % intervale od 1,5 do 2,8. Podľa METR dosiahol Anthropic za uplynulý rok približne rovnaký pokrok v benchmarkoch ako za dva roky od októbra 2023 do októbra 2025. Systémová karta modelu Haiku 5.5 uvádzala 1,7-násobok; číslo METR je vyššie najmä preto, že zahŕňa novšie modely, ktoré neboli vydané. Pri iných rozhodnutiach o tom, ktoré benchmarky a modely zahrnúť, sa odhad pohyboval od 1,1 do 2,9.

METR opatrne vymedzuje, čo to dokazuje a čo nie. Číslo 1,9 môže byť artefaktom preučenia na zloženie benchmarkov a body v benchmarkoch zaostávajú za výskumom, ktorý ich vytvára. Celkový úsudok, že pokrok v dobre vymedzených úlohách beží takmer dvojnásobným tempom, stojí na viac než na AECI, vrátane začiernených podkladov. Väčšina tímu sa podľa neho prikláňa k tomuto názoru, no s „významnou neistotou a vnútornými nezhodami“; skutočná hodnota 1,3-násobku alebo 3-násobku by ho neprekvapila.

Príčina je rovnako dôležitá ako veľkosť. METR uvádza, že dostal „presvedčivé dôkazy“, že zrýchlenie nevzniklo rýchlejším rastom výpočtového výkonu na trénovanie, hoci podrobnosti boli začiernené. Odhaduje, že možno 80 % súčasného zrýchlenia ide na vrub AI, zatiaľ čo rýchlejšie tempo koncom roka 2025 pravdepodobne ovplyvnili aj iné faktory. Podporné dôkazy sú sčasti slabé. Rozhovory s výskumníkmi sa sústredili na zdvojnásobenie tempa v ich vlastnej oblasti. Ankety na Slacku, v ktorých zamestnanci hlasujú emoji reakciami o zrýchlení, aké im prináša najnovší model, dosiahli v októbri 2026 pri najschopnejšom internom modeli 12-násobok, čo METR považuje za veľmi voľný dôkaz, pretože odpovede odrážajú len letmé zváženie. Business Insider v spravodajstve o štúdii cituje jedného výskumníka, ktorý METR povedal, že ho dnes „brzdia už len nápady a výpočtový výkon, nie kód“.

METR sa dozvedel, že zrýchlenie pochádza väčšinou z pomoci AI, a nie z autonómnej práce, hoci výskumníci opísali „známky života“, ktoré naznačujú, že autonómne príspevky môžu prísť čoskoro. V horizonte nasledujúcich dvanástich mesiacov nenašiel presvedčivé úzke miesto v algoritmoch, výpočtovom výkone ani dátach a uvádza, že jeho pohľad na úzke miesta sa počas štúdie niekoľkokrát zmenil, takže toto zistenie drží s malou istotou. Varuje, že zrýchlenie sa môže kumulovať.

Začiernené podklady

Anthropic mal jednostranné právo začierniť všetko, čo nie je verejné. METR si ponechal právo uviesť, že k začierneniu došlo, a či jeho zistenia na ňom závisia. Tabuľka v správe uvádza sedem druhov dôkazov. Schopnosti interných modelov v benchmarkoch boli sprístupnené a sú opísané. Kľúčové medziľahlé miery, odhady algoritmického pokroku a merania vstupov do výskumu boli sprístupnené, väčšinou alebo úplne, a opísané nie sú. Podrobnosti o úzkych miestach a prognózy boli sprístupnené sčasti a opísané nie sú. Dôkazy o príspevku AI a rozhovory so zamestnancami sú opísané sčasti. Anthropic označil začierňovanie za „zamerané na odstránenie dôverných informácií, ktoré by mohli urýchliť ostatných vývojárov AI“.

Vlastný verdikt METR o jeho správe je priamy: „nedosahuje ‚transparentnosť o dôkazoch‘“ a „verejnosť sa musí spoliehať na úsudok METR oveľa viac, než je žiaduce vzhľadom na váhu otázok, na ktoré správa odpovedá“. Uvádza aj tlaky, ktoré pôsobili na neho samotného. Kritické poznámky o začierňovaní by mohli urobiť iné firmy, alebo aj Anthropic, menej ochotnými poskytnúť prístup v budúcnosti. Spätná väzba Anthropicu ku zrozumiteľnosti bola podľa METR v niektorých prípadoch „príliš razantná“, hoci si nemyslí, že by konečný text bol výrazne skreslený. Jeden člen tímu rokoval o práci v Anthropicu, dostal ponuku a odmietol ju a ako bývalý zamestnanec mal akcie konkurenta, preto všetku jeho prácu skontroloval kolega. Nikto z tímu nevlastní akcie Anthropicu, hoci jeden nastupujúci zamestnanec ich má.

Táto spolupráca je oddelená od tej, ktorú Anthropic oznámil 15. októbra, keď uviedol, že poskytol „prístup podobný zamestnaneckému“ tímu šiestich zamestnancov METR, a medzi vecami, ktoré hodnotitelia potrebujú, uviedol slobodu zverejňovať. METR uvádza, že práca, o ktorej informuje, sa začala v polovici augusta a nezahŕňala nemedializovaný prístup k dátam, dokumentom ani modelom.

Správa o rizikách, ktorú METR prečítal znova

Druhý dokument METR sa vracia k júlu. Augustová správa o rizikách spoločnosti Anthropic uvádzala, že modely používané vo vnútri firmy 15. júla neprekročili hranicu včasného varovania v jej Responsible Scaling Policy pre automatizovaný výskum, ktorá zahŕňa „dramatické zrýchlenie“ pokroku z dôvodov spojených s automatizáciou výskumu a vývoja AI. METR súhlasí, že katastrofické riziko z týchto modelov bolo nízke. Nesúhlasí s tým, že hranica jednoznačne zostala neprekročená.

METR upozorňuje na formuláciu, že vedúce ukazovatele ukázali zrýchlenie „o menej než násobok 2“. V súkromnej verzii správy čísla naznačujú 1,97, čo je hodnota, ktorú METR sám vypočítal z dvoch odhadov v súkromnom texte. Čitateľ by podľa neho pochopil „menej než násobok 2“ tak, že ide o hodnotu výrazne pod dvojkou, a presnejšie by bolo „okolo 2“. Vlastný rozsah METR pre tieto ukazovatele je od 1,3 do 2,8. Výskumníci METR aj zamestnanci Anthropicu sa podľa METR prikláňajú k tomu, že hranica prekročená nebola, ale METR považuje prekročenie za možné a tvrdí, že verejná správa „podhodnocuje úroveň zrýchlenia, ku ktorému dochádzalo“. Samotná správa Anthropicu priznala nižšiu istotu než v predchádzajúcich vydaniach, pretože jeho najkonkrétnejšie úlohové hodnotenia sa „nasýtili“.

Čo tomu predchádzalo

Hodnotenie vychádza tri dni po zmenenom registračnom vyhlásení Anthropicu podanom 2. novembra. Spoločnosť v ňom uvádza, že „naše interné odhady a očakávania ohľadom budúcich modelov, a nie našich súčasných modelov, naznačujú, že môžeme čoskoro splniť definíciu ‚dramaticky zrýchleného pokroku pripísateľného AI‘ podľa našej Responsible Scaling Policy“. Dodáva, že žiadny zo svojich súčasných modelov neoznačila za prekračujúci túto hranicu a že v minulosti „nezistila a v budúcnosti nemusí zistiť výrazné zrýchlenie nášho tempa vývoja, kým k nemu nedôjde“. Business Insider dopĺňa detail zo správy METR: za predchádzajúcich šesť mesiacov Anthropic dotrénoval tri modely, ktoré nie sú verejne dostupné. Modely, ktorými si Anthropicovi výskumníci urýchľujú prácu, sú teda sčasti modely, ktoré zákazníci zatiaľ nemôžu používať.

Kto môže tvrdenie overiť

Anthropic obhajuje toto usporiadanie tým, že nemôže zverejniť všetko. Vo svojom októbrovom príspevku spoločnosť uvádza, že niektoré informácie by mohli pomôcť zlomyseľným aktérom alebo sú obchodne citlivé, a prirovnáva hodnotiteľov k bankovým dohliadateľom, ktorí sedia vo vnútri najväčších bánk. Správa METR ukazuje hodnotu aj hranicu tohto modelu. Tretia strana videla skutočné interné čísla a jej odpoveď je menej pohodlná než verejný text spoločnosti. Tá istá strana však nemôže verejnosti ukázať čísla, na ktorých stoja jej závery.

Predstavme si na chvíľu analytičku na vládnom úrade, vymyslenú pre toto zakončenie, ktorú poverili zistiť, či sa nad špičkovými laboratóriami vykonáva dohľad. Otvorí správu METR a nájde tabuľku siedmich druhov dôkazov, z ktorých štyri majú vo verejných výsledkoch označenie „No“. Môže si prečítať odhad 1,9 s intervalom od 1,5 do 2,8 a jasné konštatovanie, že podkladový materiál bol zadržaný. To, čo napíše do svojho memoranda, „nezávislé“ alebo „sčasti nezávislé“, je vec formulácie. Text METR túto voľbu necháva na nej.

Použité zdroje

  • Anthropic. (2026). An update on independent evaluators. anthropic.com
  • Anthropic PBC. (2026). Amendment No. 1 to Form S-1 registration statement. sec.gov
  • Coxon, J. (2026). 3 takeaways from the big AI report on Anthropic everyone is talking about. Business Insider. businessinsider.com
  • Epoch AI. (2026). Epoch Capabilities Index (ECI). epoch.ai
  • METR. (2026). METR’s assessment of AI R&D acceleration at Anthropic. metr.org
  • METR. (2026). Review of the AI R&D section of Anthropic’s August 2026 Risk Report. metr.org