Epoch zistil, že agenti zaostávajú vo výskume AI
InnovationEval dal dvom špičkovým agentom kód, metriky a veľké rozpočty GPU a požiadal ich znovu objaviť nedávnu trénovaciu metódu. Ani jeden nevytvoril porovnateľnú inováciu.
InnovationEval dal dvom špičkovým agentom kód, metriky a veľké rozpočty GPU a požiadal ich znovu objaviť nedávnu trénovaciu metódu. Ani jeden nevytvoril porovnateľnú inováciu.
Otvorené modely, výskumné preprinty, agentové projekty, technické eseje a komunitné merania: zvyšok dnešných správ o AI s priamymi zdrojmi.
Preprint našiel v modeloch obraz-jazyk skorý obvod na porovnávanie objektov a neskorší obvod na vzťahy. Druhý z nich potom spojil s výkonom v ARC-AGI-1.
Predregistrovaný experiment porovnal deväť zručností Claude Code s rovnako dlhými neutrálnymi inštrukciami. Dve boli lacnejšie než placebo, jedna horšia a šesť bez štatistického rozdielu.
Technická štúdia troch otvorených modelov so zmesou expertov zistila, že otázky o malvéri sledujú cesty najbližšie morálnym otázkam, kým čitateľný pracovný priestor si zachováva bezpečnostné pojmy.
Výskum, vydania modelov, lokálne projekty, technické eseje a komunitné správy: 51 stručných položiek s priamymi zdrojmi.
Preprint našiel spoločný vnútorný smer, ktorý jazykové modely vedie k prvému, druhému alebo ďalšiemu faktu v texte. Posun otázky týmto smerom môže zmeniť, ktorý fakt model vyhľadá.
Preprint zistil, že veľká časť prínosu histórie agenta pretrvá aj po premiešaní jeho minulých krokov. Výslovné prepojenie každého kroku s výsledkom zlepšuje dokončenie úloh.
Context Language Models nahrádzajú nemenný prepis súborom, ktorý môže model prepisovať, mazať a meniť jeho poradie. Autori po natrénovaní pravidiel úprav uvádzajú vyššiu presnosť v dlhých úlohách s menším počtom opakovaných výpočtov.
Zvyšné dnešné správy o AI pokrývajú nezvyčajný hybridný model, štúdie priestorovej pamäte a pravdivosti, komunitné merania, bezpečnostné incidenty agentov, vodoznaky v EÚ a praktické prednášky.
Preprint prispôsobil klinický test priestorovej pamäte pre 16 vizuálno-jazykových modelov. Všetky spoznajú krajinu z uhla, z ktorého si ju prezreli, no po pohybe kamery väčšina klesne na úroveň hádania.
Preprint testuje osem publikovaných sond na jazykových modeloch, ktoré hrajú postavy odmietajúce základné fakty. Mnohé zlyhajú, keď pravdivé a nepravdivé odpovede zdieľajú rovnaký prompt, no sonda trénovaná na oddelenie pravdy od poslušnosti obstojí.