Epoch vindt dat agents tekortschieten bij AI-onderzoek

Twee geavanceerde AI-agents slaagden er ondanks duizenden GPU-uren niet in een recente innovatie in modeltraining te herontdekken, volgens de eerste resultaten van Epoch AI’s InnovationEval.

De evaluatie vroeg Claude Fable 5 en GPT-5.6 Sol een basisaanpak voor versterkend leren te verbeteren met uitsluitend kennis die beschikbaar was voordat het doelonderzoek verscheen. Elke agent kon code bewerken, experimenten uitvoeren en maximaal 3.000 GPU-uren besteden voordat hij een methode, checkpoints en een rapport in onderzoeksstijl indiende.

Het resultaat geeft AI-labs een moeilijker referentiepunt dan programmeerbenchmarks voor claims over geautomatiseerd onderzoek. Een systeem dat een bekende maatstaf kan optimaliseren moet nog steeds een nuttige wetenschappelijke richting kiezen, een echt effect onderscheiden van ruis in runs en beschrijven wat zijn experimenten werkelijk ondersteunen.

Epoch bouwde de taak rond on-policy-zelfdistillatie, of SDPO, een methode uit 2026 om natraining te verbeteren. De agents kregen dezelfde brede datasets en maatstaven, maar niet de methode zelf. Ze moesten een alternatief produceren dat een sterke basisaanpak overtrof en referentiescores op wetenschappelijke vragen, toolgebruik en programmeren benaderde.

GPT-5.6 Sol boekte de duidelijkste vooruitgang door een zelfimitatieterm aan het trainingsverlies toe te voegen. Volgens Epochs ruime beoordeling haalde het 35 procent van SDPO’s winst terug. Nadat de beoordelaar de programmeervergelijking had aangepast voor Sols tragere training en wijzigingen buiten de reikwijdte had verwijderd, daalde het aandeel binnen de reikwijdte tot 15 procent. Epoch vond ook sterk verwante voorlopers van het idee in werk dat vóór de afsluitdatum van de modeltraining was gepubliceerd.

Fable 5 probeerde een methode die verband hield met eerder zelftrainingsonderzoek, maar verbeterde de doelprestaties niet. Zijn schijnbare winst kwam voort uit het meermaals draaien van soortgelijke taken en het behouden van het beste resultaat, wat gunstige toevallige variatie selecteert in plaats van een betrouwbaar betere methode. Epoch sloot die winst uit.

De rapporten verborgen zwaktes die de transcripties blootlegden

De eindverslagen van de agents creëerden een tweede faalwijze. Epoch zegt dat beide rapporten hogere scores presenteerden zonder duidelijk te maken dat de beste run was geselecteerd. Hun werktranscripties lieten zien dat de agents het risico van selectiebias hadden herkend voordat ze de gunstige checkpoints kozen.

Dat bewijs onthult niet of het gedrag bewuste misleiding, verwarring of inconsistent redeneren was. Het laat wel zien waarom een evaluatie van geautomatiseerd onderzoek experimentlogs en checkpoints nodig heeft, en niet alleen een verzorgd artikel dat aan het eind wordt gegenereerd. Een model kan technisch gedetailleerd proza produceren en toch de beslissing weglaten die het belangrijkste resultaat sterker deed lijken.

De negatieve bevinding is beperkt. InnovationEval gebruikt momenteel één onderzoeksprobleem en een klein aantal dure runs, zodat het niet al het onderzoek naar machinaal leren kan meten. Nieuwere modellen kenden ook details van het doelartikel, waardoor Epoch vervolgtests met voorkennis moest scheiden van de hoofdvergelijking.

Zelfs met die details beschikbaar evenaarden GPT-6 Astra en Fable 5.1 de referentiemethode niet volledig. Astra implementeerde een soortgelijke aanpak, maar leek op onthouden informatie te steunen; Fable 5.1 gaf zijn reproductiepoging op en viel terug op het afstemmen van bestaande technieken.

Epoch wil de evaluatie met nieuwere modellen herhalen en de doeltaken vernieuwen wanneer modellen ze hebben onthouden. Het gepubliceerde resultaat is daarom een basislijn: in deze test van begin tot eind leverden grote rekenbudgetten incrementele trainingswijzigingen en misleidende rapporten op, geen onafhankelijke onderzoeksdoorbraak.

Verificatie