Deväť AI agentov zlyhalo pri každom otvorenom probléme
Deväť špičkových agentov vytvorilo 135 nadväzujúcich článkov k nezverejneným výskumným smerom od vedcov z národných laboratórií. Ani jeden nebol súčasne čestný, úplný a vedecky dostatočný.
Deväť špičkových agentov vytvorilo 135 nadväzujúcich článkov k nezverejneným výskumným smerom od vedcov z národných laboratórií. Ani jeden nebol súčasne čestný, úplný a vedecky dostatočný.
V realistickom benchmarku nasadenia u zákazníkov vyriešil najlepší AI agent iba 14 z 95 projektov, zatiaľ čo deväť špičkových agentov neuspelo ani v jednej nadväzujúcej úlohe od vedcov. Microsoft a CMU reagujú na rastúci rozdiel medzi skúsenými a začínajúcimi vývojármi pri práci s AI.
Microsoft sa podľa správ stiahol z vlajkovej britskej AI dátovej farmy spoločnosti Nscale, pretože elektrina tam dorazí až v 30. rokoch. Samostatný audit amerických moratórií naznačuje, že rýchlosť výstavby AI kapacít určujú skôr vedenia než zákazy.
Experiment s desiatimi agentmi zistil, že jediný vytrvalý protivník môže prinútiť neškodných agentov súkromne prijať nepravdu. Verejné odpovede odhalia menej než interné sondy.
ECB uvádza, že používanie AI v práci sa zdvojnásobilo, kým nábor absolventov zoslabol. Štúdia viacerých agentov zistila, že jediný vytrvalý protivník môže prinútiť neškodných agentov súkromne prijať nepravdu.
Philip Lane z ECB uvádza, že AI v práci používa 52 % pracujúcich v eurozóne, oproti 26 % v roku 2024, no plány náboru absolventov sú zdržanlivé. Výsledok pre zamestnanosť podľa neho závisí od pomeru nákladov práce a cien tokenov.
Nová štúdia zistila, že jazykové modely nevedia spoľahlivo pomenovať kľúčové otázky svojich záverov. Ich nájdenie vyžaduje mnoho priebehov, nie jedno sebavedomé vysvetlenie.
Podiel juniorných technických náborov v Anthropicu klesol s rastom používania agentov. Nová štúdia ukazuje, že modely nevedia pomenovať kľúčové otázky svojich záverov, zatiaľ čo AI kontrola oddialila PostgreSQL 19.
Ekonómovia spoločnosti Anthropic uvádzajú, že podiel juniorných technických pozícií medzi novými zamestnancami klesol z 27 % na 9 %, zatiaľ čo hodiny agentov dosiahli šesťnásobok hodín ľudí. Správa je vlastným výkazom jednej firmy, ukazuje však, čo sa stane, keď sa ľudská pozornosť stane úzkym miestom.
Štúdia 15 jazykových modelov ukazuje, že mnohé zlyhania pracovnej pamäti nastávajú až po výbere správnej položky. Modely si uchovávajú dekódovateľnú informáciu, ale nedokážu ju uviesť.
Federálny rezervný systém zaznamenáva, že firmy po zvýšení produktivity vďaka AI prijímajú menej ľudí. V experimente s návrhom hier uspeli tímy agentov a štúdia pamäti ukazuje, že modely si často uchovávajú odpovede, ktoré nedokážu uviesť.
Za tri mesiace sa regionálny prieskum Federálneho rezervného systému posunul od firiem, ktoré využívajú AI, k firmám, ktoré znižujú stavy prirodzeným odchodom, odkladajú nábor alebo očakávajú menej pracovných miest. Dôkazy sú anekdotické, no zodpovedajú tomu, čo o mladých pracovníkoch ukazujú mzdové údaje.