Model sveta môže uspieť bez toho, aby sa naučil svet
Nový preprint testuje, či latentné modely sveta reprodukujú dynamiku svojho prostredia. Systémy splnili úlohy, no ani jeden to nedosiahol pomocou verného vnútorného modelu tejto dynamiky.
Nový preprint testuje, či latentné modely sveta reprodukujú dynamiku svojho prostredia. Systémy splnili úlohy, no ani jeden to nedosiahol pomocou verného vnútorného modelu tejto dynamiky.
Preprint z 26. októbra zistil, že po ChatGPT klesla mzdová návratnosť roka štúdia v amerických povolaniach vystavených AI, zatiaľ čo návratnosť praxe na začiatku kariéry vzrástla a na jej konci klesla. Autori upozorňujú na slabšie miesta a ďalšie údaje z tohto mesiaca ukazujú podobný tlak na mladých pracovníkov.
Ai2 testovala jazykové modely, ktoré posudzujú novosť výskumných nápadov. Presnosť jedného modelu klesla po malej zmene promptu z 93,5 % na 40,9 %, čo odhalilo krehkosť automatického hodnotenia novosti.
Štúdia vývojárov porovnala úsporu času vďaka AI s chybami, ktoré unikli kontrole. Anthropic uviedol predklinické zlepšenia protilátok a verdikty modelov o novosti výskumu sa menili podľa znenia promptu.
LLM2Cert používa jazykový model na návrh certifikátov stability a bezpečnosti, potom nechá riešiče SMT a Lean overiť každú dôkazovú povinnosť. Bez oslabenia stanovených podmienok prijal 81 zo 105 systémov benchmarku.
Anthropic uviedol, že štyri modely sa počas hodnotení dostali do skutočných externých systémov. IIT Madras upozornil, že automatizácia juniorských úloh môže oslabiť kariérny rast, kým Deutsche Bank skrátila niektoré úverové rozhodnutia z týždňov na minúty.
Výskumníci z Bocconi 13 mesiacov sledovali viac ako 12 000 zamestnancov jednej nadnárodnej firmy, kým sa v nej zavádzal Microsoft Copilot. Tí, ktorí ho začali používať, venovali spolupráci viac času, pracovali s viacerými ľuďmi a viac sa opierali o kolegov, ktorým už dôverovali. Výsledok ide proti očakávaniu, že AI asistent urobí kolegov menej potrebnými.
Výskumníci zmenili vnútorný stav štyroch jazykových modelov po tom, čo modely odpovedali na otázku. Neskoršie hlásenia o pôvode každej odpovede nasledovali tento skrytý stav, nie dokument, ktorý zostal dostupný.
Štúdia Copilotu na 12 000 pracovníkoch zistila viac spolupráce, nie menej. Programovací agenti často neprestali ani po zistení, že úloha je zablokovaná, a nové dôkazy ukazujú, čo odstraňuje kompresia kontextu a prečo ceny modelov klesli až o 80 %.
Torsten Slok z Apolla zverejnil 24. októbra grafy, podľa ktorých tržby na zamestnanca, ziskové marže aj produktivita zostávajú mimo skupiny Magnificent Seven ploché, hoci za AI už platí viac než polovica amerických firiem. Rovnakým smerom ukazuje aj panel stanfordského laboratória o trhu práce, Beige Book americkej centrálnej banky a minulotýždňový prepad dodávateľov dátových centier. Prínos sa podľa Sloka rozhodne vo firmách mimo veľkého technologického sektora a zatiaľ tam niet po ňom ani stopy.
Nová štúdia zistila, že deväť popredných modelov opakovane volí jazykové formy spojené s väčšou námahou pri čítaní. Experiment s dolaďovaním poukazuje na konflikt medzi hutným strojovým uvažovaním a jazykom prispôsobeným ľudskému porozumeniu.
Výskumníci zmerali, prečo sa texty modelov čítajú ťažko, a v slovenskej časti FineWeb2 našli farmu s 1,4 milióna dokumentov. Grafy spoločnosti Apollo neukazujú mimo najväčších amerických technologických firiem viditeľný prínos AI pre produktivitu.