Predstavme si vedúcu platformového inžinierstva, ktorá v pondelok ráno otvorí mesačnú faktúru od svojho dodávateľa AI. Riadok za kódovacích agentov opäť narástol a do stredy má vysvetliť prečo. Zostaví očividný graf: na jednej osi spotreba na inžiniera, na druhej zlúčená práca. Čaká stúpajúcu čiaru. Dostane však rozsypané konfety. Dvaja inžinieri s rovnakým výkonom sa líšia v spotrebe faktorom, ktorý si nevie vysvetliť, a najväčší spotrebiteľ nie je ten, ktorého prácu by vyzdvihla. Tento výjav je vymyslený, spôsob, ako vidieť problém skôr, než prídu čísla.

Čísla už existujú. Tím z JetBrains, Carnegie Mellon University a University of California, Irvine zverejnil 10. novembra preprint s názvom „The AI Era’s Lines of Code?“, ktorý sa pýta, čo spotreba tokenov inžiniera vlastne meria. Autormi sú Shyam Agarwal, Olga Lvova, Agnia Sergeyuk, Anastasiia Serova, Timofey Bryksin, Thomas Zimmermann a Bogdan Vasilescu. Ich odpoveď, ku ktorej dospeli na dátach jednej firmy, znie, že spotreba meria, koľko človek pracuje cez agentov, a o tom, čo vytvorí, vypovedá máločo. Práca neprešla recenzným konaním.

Metrika zavedená skôr, než ju niekto otestoval

Firmy začali používať spotrebu tokenov ako manažérske číslo skôr, než ju niekto preskúmal, a autori to otvorene uvádzajú. Odvolávajú sa na rebríček, ktorý si zamestnanec Mety vytvoril, aby kolegovia súťažili o titul najväčšieho spotrebiteľa tokenov v spoločnosti; Fortune v apríli informoval, že ho stiahli dva dni po tom, čo o ňom napísala tlač. Citujú vedúcich pracovníkov Nvidie a Mety, podľa ktorých by dobrý inžinier mal minúť tokeny v hodnote veľkého podielu svojho platu, Salesforce, ktorý zaviedol minimálne mesačné ciele spotreby, a analytické firmy, ktoré vydelia cenu tokenov počtom zlúčených pull requestov a výsledok nazvú návratnosťou investície.

Pochybnosti odvtedy rastú. Podľa článku Uber minul rozpočet na AI nástroje na programovanie na rok 2026 za štyri mesiace a jeho prevádzkový riaditeľ povedal, že väzba medzi spotrebou tokenov a dodanými funkciami „tam ešte nie je“ („is not there yet“). Kritik, ktorého práca cituje, označil spotrebu tokenov za „metriku riadkov kódu éry AI: ľahko merateľnú, ľahko zneužiteľnú a odtrhnutú od skutočnej produktivity“. Podľa autorov a ich výkladu tlačových správ Meta odvtedy inžinierom oznámila, že počty tokenov sa nebudú používať na hodnotenie ich prínosu, a Amazon zrušil rebríček využívania a označil používanie tokenov za „hlboko chybné“ meradlo. Otvorená zostávala otázka, či kritika obstojí, keď niekto prepojí záznamy o používaní so skutočným výstupom.

Čo ukazuje telemetria

JetBrains, ktoré vyvíja nástroje pre softvérový vývoj a v čase štúdie malo asi 2 600 zamestnancov, prevádzkuje internú bránu, ktorá zaznamenáva každé volanie kódovacieho agenta. Výskumníci vzali päť úplných týždňov od 29. júna do 2. augusta 2026 a priradili týždenné tokeny každého inžiniera k jeho commitom. Panel zahŕňa 404 inžinierov; záznamy obsahujú 3,1 milióna volaní agentov. Samostatný anonymný firemný prieskum oslovil 412 zamestnancov.

V rámci každého pásma týždenných počtov commitov použil inžinier v 90. percentile spotreby v danom týždni 39- až 240-krát viac tokenov než ten v 10. percentile. Sledovanie jedného človeka z týždňa na týždeň dalo plochší obraz, než autori čakali. Týždeň s dvojnásobným počtom commitov oproti obvyklému stál približne o 20 % viac tokenov. Opačným smerom: týždeň s dvojnásobným počtom tokenov priniesol len asi o 10 % viac commitov. Ak by výstup rástol úmerne so spotrebou, obe čísla by boli blízko 100 %, a autori úmernosť zamietajú pri každej časovej jednotke, ktorú skúšali.

Veľká časť variability je viazaná na človeka. To, kto inžinier bol, vysvetľovalo 79 % variability týždenných tokenov a najťažšia tretina používateľov spotrebovala 79 % všetkých tokenov. Ľudia, ktorí míňali najviac, zostali počas piatich týždňov tí istí. Commity, zmenené riadky a dve ďalšie miery aktivity spolu vysvetlili 38 % rozdielov medzi inžiniermi a 13 % rozdielov medzi týždňami u jedného inžiniera. Samotná rola a tím predpovedali spotrebu horšie než obyčajný priemer.

Práca sa potom pýta, kam ide prebytok. Týždne bez jediného commitu tvoria len 4 % tokenov, no autori z najlepšie sediacich kriviek odhadujú, že až asi dve pätiny spotreby sa s commitmi daného týždňa nemenia. Ide o hornú hranicu, pretože zahŕňa pevný náklad na samotné používanie agenta aj spotrebu za commitmi napísanými ručne. Poznamenávajú tiež, že väčšinu tokenov tvorí kontext posielaný znova pri každom kroku a že v treťom týždni prišiel nový špičkový model, ktorý do dvoch týždňov zaberal 45 % všetkej spotreby.

Práca, ktorá sa nikdy nestane commitom

Časť rozdielu vysvetľuje prieskum. Z 197 hodnotení dvoch kódovacích agentov od technických respondentov odpovedalo na otázky o uplynulom týždni 167. V 91 % z nich respondenti uviedli, že im nástroj ušetril čas, v mediáne 10 hodín. Agentov použili na programovanie v 63 % hodnotení a aspoň na jednu inú činnosť v 89 %: analýzu dát, brainstorming, výskum témy, plánovanie, učenie, písanie. Respondenti, ktorí agenta používali iba na programovanie, uviedli mediánovo 3 ušetrené hodiny; tí, ktorí uviedli dve a viac nekódovacích použití, uviedli 10.

Časť hodnoty tvorí práca, ktorá by inak nevznikla. Na otázku o hlavnom prínose agenta 31 % zo 74 vecných odpovedí uviedlo rýchlosť pri obvyklých úlohách a 30 % prácu v neznámom kóde, doméne alebo technológii; jeden respondent napísal: „Môžem skúšať veci, ktorých som sa bál.“ Z 44 opisov práce, ktorá vznikla len vďaka existencii agenta, sa 36 % týkalo neznámej kódovej základne, jazyka alebo technologického balíka. Prieskum zaznamenáva aj náklady. Najčastejším bol nesprávny alebo nekvalitný výstup, ktorý uviedlo 49 % odpovedí, a 31 % technických používateľov agentov hlásilo vyššiu kognitívnu záťaž. Autori dodávajú, že sebahodnotenia môžu zisk nadsadzovať, a odvolávajú sa na randomizovanú štúdiu z roku 2025, v ktorej skúsení open-source vývojári s AI nástrojmi pracovali o 19 % dlhšie, hoci verili, že sú rýchlejší.

Čo to znamená pre ciele, rozpočty a stropy

Autori nekonštatujú, že agenti sú slabá investícia. Ich záver sa týka meradla. Ak by súvislosť v rámci jedného inžiniera bola kauzálna, zdvojnásobenie jeho spotreby cez cieľ by zvýšilo počet commitov asi o 10 %, v rozpätí od 2 do 25 %. Odporúčajú inžinierov nehodnotiť podľa spotreby a neočakávať, že ciele výrazne zvýšia výstup. Delenie spotreby výstupom zavádza svojím vlastným spôsobom, pretože počet tokenov na commit s rastúcim počtom commitov mechanicky klesá, takže inžinier pôsobí v rušnom týždni efektívnejšie.

Najnepríjemnejšie dopadajú stropy. Strop zasiahne najmä najťažších používateľov, ktorých podiel spotreby nesúvisiacej s výstupom je z troch skupín najnižší, 36 %, oproti 51 a 52 % u ostatných. Keďže spotrebujú väčšinu tokenov, majú aj väčšinu nespojenej spotreby, takže strop odstráni spotrebu, ktorá slúži výstupu, spolu s tou, ktorá mu neslúži, a počet tokenov nepovie, ktorá je ktorá. Pred zavedením stropu autori navrhujú skúsiť stláčať alebo riadiť kontext, ukladať opakovaný kontext do vyrovnávacej pamäte, smerovať rutinné volania na lacnejšie modely a merať účtovanú cenu, nie tokeny, pretože orezanie kontextu môže účet zvýšiť, ak agent znova číta, čo z neho vyradili.

Dôležité sú dve obmedzenia. JetBrains vyvíja AI nástroje na programovanie, takže časť meraného používania môže byť testovaním vlastných agentov, a jeho inžinieri pracujú na etablovaných kódových základniach. Používanie bolo dobrovoľné a bez cieľa, takže rozdiely v spotrebe čiastočne odrážajú osobnú voľbu. Commity navyše nezachytávajú prácu na revízii a dizajne. Autori zdôrazňujú, že ide o asociácie z jednej firmy za päť týždňov.

Druhá štúdia, od čiastočne prekrývajúcej sa skupiny autorov, ukazuje, čo sa stane, keď sa cieľ nariadi. Na dátach 802 vývojárov a 196 212 pull requestov skúma strednú firmu, ktorej technologický riaditeľ v júni 2025 stanovil cieľ zdvojnásobiť počet zlúčených pull requestov na inžiniera pomocou AI. Firma cieľ splnila až v desiatom mesiaci a náklad padol na revíziu kódu, kde sa záťaž na jedného revízora zdvojnásobila.

Počítať to správne

Autori JetBrains navrhujú dve opravy. Brány by mali zaznamenávať, ktorej úlohe alebo tiketu relácia agenta slúžila, aby sa spotreba dala spájať s výsledkami, nielen s tým, či vznikol kód. A odbor potrebuje overené miery hodnoty práce s pomocou agentov; autori o žiadnej nevedia. Dovtedy je podľa nich spotreba vhodná na evidenciu zdrojov a na málo iné. Pri sledovaní adopcie navrhujú uvádzať týždenný počet používateľov spolu s číslom, ktoré s veľkosťou kontextu nerastie, napríklad podielom inžinierov, ktorí agentov používajú vo väčšine pracovných dní.

Vo vymyslenej kancelárii vedúca platformového inžinierstva v stredu nikomu nekráti rozpočet. Požiada tím brány, aby pridal jedno pole, tiket, ku ktorému relácia patrí, a finančnému partnerovi povie, že graf s konfetami je zistenie. Faktúra bude aj naďalej chodiť prvého v mesiaci. Počíta, ako často inžinieri siahnu po agentovi. Či to stálo za tie peniaze, je iná otázka a faktúra na ňu nemá riadok.

Použité zdroje

  • Agarwal, S., Lvova, O., Sergeyuk, A., Serova, A., Bryksin, T., Zimmermann, T., & Vasilescu, B. (2026). The AI Era’s Lines of Code? A Case Study on What an Engineer’s Token Spend Measures. arxiv.org
  • Arar, A. B. (2026). Tokenmaxxing and the search for AI metrics that matter. LeadDev. leaddev.com
  • Becker, J., Rush, N., Barnes, E., & Rein, D. (2025). Measuring the impact of early-2025 AI on experienced open-source developer productivity. arxiv.org
  • Bharade, A. (2026). Uber’s COO says it’s getting harder to justify the money spent on AI tokenmaxxing. Business Insider, via Yahoo Finance. finance.yahoo.com
  • Cooter, M. (2026). Meta minimizes role of token maxing in employee evaluations. CIO. cio.com
  • He, H., Agarwal, S., Denisov-Blanch, Y., Azaletskiy, P., Koyejo, S., & Vasilescu, B. (2026). AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate. arxiv.org
  • Munis, J. (2026). A Meta employee created a dashboard so coworkers can compete to be the company’s No. 1 AI token user. Fortune. fortune.com
  • Palmer, A. (2026). Amazon’s anti-tokenmaxxing memo says engineers should be pickier about using AI. CNBC. cnbc.com