Stel dat een hoofd platformontwikkeling op maandagochtend de maandfactuur van haar AI-leverancier opent. De post voor programmeeragents is opnieuw gegroeid en ze moet uiterlijk woensdag uitleggen waarom. Ze maakt de voor de hand liggende grafiek: uitgaven per ontwikkelaar op de ene as, samengevoegd werk op de andere. Ze verwacht een stijgende lijn. Wat ze krijgt, lijkt op uitgestrooide confetti. Twee ontwikkelaars met dezelfde productie verschillen in uitgaven met een factor die ze niet kan verklaren, en de zwaarste gebruiker is niet degene wiens werk ze zou uitlichten. Dit is een verzonnen scène, een manier om het probleem te zien voordat de cijfers komen.

Die cijfers zijn er nu. Op 10 november publiceerde een team van JetBrains, Carnegie Mellon University en de University of California, Irvine een preprint met de titel The AI Era’s Lines of Code?, die onderzoekt wat de tokenuitgaven van een ontwikkelaar eigenlijk meten. De auteurs zijn Shyam Agarwal, Olga Lvova, Agnia Sergeyuk, Anastasiia Serova, Timofey Bryksin, Thomas Zimmermann en Bogdan Vasilescu. Hun antwoord, gebaseerd op data van één bedrijf, is dat ze meten hoeveel iemand via agents werkt en weinig zeggen over wat die persoon produceert. Het artikel is niet door vakgenoten beoordeeld.

Een meetgetal dat al vóór het testen werd gebruikt

Bedrijven gingen tokenuitgaven als managementcijfer gebruiken voordat iemand ze had onderzocht, zo stellen de auteurs. Ze verwijzen naar een ranglijst die een Meta-medewerker bouwde zodat collega’s konden strijden om de grootste tokengebruiker van het bedrijf te worden. Fortune berichtte in april dat de lijst twee dagen na de berichtgeving erover werd verwijderd. Ze verwijzen naar bestuurders van Nvidia en Meta die zeiden dat een goede ontwikkelaar tokens ter waarde van een groot deel van het salaris zou moeten gebruiken, naar Salesforce dat minimale maanduitgaven als doel stelt en naar analyseleveranciers die tokenkosten delen door samengevoegde pull requests en die verhouding rendement op investering noemen.

Sindsdien is de twijfel gegroeid. Het artikel meldt dat Uber zijn budget voor AI-programmeertools voor 2026 in vier maanden opmaakte en dat de operationeel directeur zei dat het verband tussen tokenuitgaven en opgeleverde functies “er nog niet is”. Een criticus die het artikel aanhaalt noemde tokenuitgaven “de coderegelmaatstaf van het AI-tijdperk: gemakkelijk te meten, gemakkelijk te manipuleren en losgekoppeld van echte productiviteit”. Volgens de weergave van persberichten door de auteurs heeft Meta ontwikkelaars inmiddels verteld dat tokenaantallen niet worden gebruikt om hun impact te beoordelen. Amazon verwijderde een gebruiksranglijst en noemde tokengebruik een “fundamenteel gebrekkige” maatstaf. De open vraag was of de kritiek standhield wanneer iemand gebruikslogboeken aan echte productie koppelde.

Wat de telemetrie laat zien

JetBrains, dat softwareontwikkelingstools bouwt en destijds ongeveer 2.600 werknemers had, gebruikt een interne gateway die elke aanroep van een programmeeragent registreert. De onderzoekers namen de vijf volledige weken van 29 juni tot 2 augustus 2026 en koppelden de wekelijkse tokens van elke ontwikkelaar aan diens commits. Het panel omvat 404 ontwikkelaars; de logboeken bevatten 3,1 miljoen agentaanroepen. Aan een afzonderlijke anonieme bedrijfsenquête deden 412 werknemers mee.

Binnen elke bandbreedte van wekelijkse commitaantallen verbruikte de ontwikkelaar-week op het 90e percentiel van uitgaven tussen 39 en 240 keer zoveel tokens als die op het 10e percentiel. Dezelfde persoon van week tot week volgen gaf een vlakker beeld dan de auteurs verwachtten. Een week met twee keer zoveel commits als gebruikelijk kostte een ontwikkelaar ongeveer 20 procent meer tokens. Andersom ging een week met twee keer zoveel tokens als gebruikelijk samen met slechts ongeveer 10 procent meer commits. Als productie evenredig met uitgaven steeg, zouden beide cijfers rond 100 procent liggen. De auteurs verwerpen evenredigheid voor elke tijdseenheid die ze testten.

Veel variatie zit bij de persoon. Wie de ontwikkelaar was, verklaarde 79 procent van de variatie in wekelijkse tokens, en het zwaarste derde deel van de gebruikers verbruikte 79 procent van alle tokens. De mensen die het meest uitgaven bleven gedurende de vijf weken dezelfde. Commits, gewijzigde regels en twee andere activiteitsmaten verklaarden samen 38 procent van de verschillen tussen ontwikkelaars en 13 procent van de wekelijkse verschillen binnen één persoon. Rol en team voorspelden afzonderlijk de uitgaven slechter dan simpelweg het gemiddelde gebruiken.

Het artikel vraagt vervolgens waar het overschot naartoe gaat. Weken zonder enige commit nemen slechts 4 procent van de tokens voor hun rekening, maar op basis van de best passende curves schatten de auteurs dat tot ongeveer twee vijfde van de uitgaven niet meebeweegt met de commits van die week. Ze noemen dat een bovengrens, omdat die de vaste kosten van agentgebruik en de uitgaven achter handmatig geschreven commits omvat. Ze merken ook op dat de meeste tokens bestaan uit context die bij elke beurt opnieuw wordt verstuurd, en dat in de derde week een nieuw geavanceerd model verscheen dat binnen twee weken 45 procent van alle uitgaven innam.

Het werk dat nooit een commit wordt

De enquête verklaart een deel van de kloof. Van de 197 evaluaties van de twee programmeeragents door technische respondenten beantwoordden er 167 de vragen over de afgelopen week. In 91 procent daarvan zeiden respondenten dat de tool tijd had bespaard, met een mediaan van 10 uur. In 63 procent van de evaluaties gebruikten ze agents voor programmeren en in 89 procent voor minstens één andere activiteit: data analyseren, brainstormen, een onderwerp onderzoeken, plannen, leren of schrijven. Respondenten die de agent alleen voor programmeren gebruikten meldden een mediane besparing van 3 uur; degenen met twee of meer toepassingen buiten programmeren meldden 10 uur.

Een deel van de waarde bestaat uit werk dat anders niet zou bestaan. Op de vraag naar het belangrijkste voordeel van de agent noemde 31 procent van 74 inhoudelijke antwoorden snelheid bij gebruikelijke taken en 30 procent werk in onbekende code, domeinen of technologieën. Eén respondent schreef: “Ik kan dingen proberen die ik eerder niet durfde te proberen.” Van 44 beschrijvingen van werk dat alleen dankzij de agent werd gedaan, betrof 36 procent een onbekende codebase, taal of stack. De enquête registreert ook kosten. Het vaakst genoemd werd foutieve of laagwaardige uitvoer, in 49 procent van de antwoorden, en 31 procent van de technische agentgebruikers meldde een hogere cognitieve belasting. De auteurs voegen toe dat zelfrapportages winst kunnen overschatten en verwijzen naar een gerandomiseerde proef uit 2025 waarin ervaren open-sourceontwikkelaars met AI-tools 19 procent langer bezig waren, terwijl ze dachten sneller te zijn.

Wat dit betekent voor doelen, budgetten en plafonds

De auteurs concluderen niet dat agents een slechte investering zijn. Hun conclusie gaat over de meetlat. Als het verband binnen dezelfde ontwikkelaar causaal zou zijn, zou verdubbeling van diens uitgaven via een doelstelling het aantal commits met ongeveer 10 procent verhogen, met een bandbreedte van 2 tot 25 procent. Ze raden af ontwikkelaars op uitgaven te beoordelen en te verwachten dat uitgavendoelen de productie sterk verhogen. Uitgaven delen door productie misleidt op een eigen manier: tokens per commit dalen rekenkundig wanneer het aantal commits stijgt, waardoor een ontwikkelaar in een drukke week efficiënter lijkt.

Plafonds krijgen de minst geruststellende beoordeling. Een plafond raakt vooral de zwaarste gebruikers, bij wie het aandeel uitgaven dat niet aan productie is gekoppeld met 36 procent het laagst van de drie groepen is, tegenover 51 en 52 procent bij de andere. Omdat zij de meeste tokens verbruiken, hebben zij ook de meeste niet-gekoppelde uitgaven. Een plafond verwijdert dus zowel uitgaven die productie ondersteunen als uitgaven die dat niet doen, en het tokenaantal kan die niet onderscheiden. Vóór een plafond adviseren de auteurs context te comprimeren of beheren, herhaalde context te cachen en routinematige aanroepen naar goedkopere modellen te sturen. Ze adviseren gefactureerde kosten te meten in plaats van tokens, omdat context inkorten de factuur kan verhogen wanneer de agent opnieuw leest wat is verwijderd.

Twee beperkingen zijn van belang. JetBrains bouwt AI-programmeertools, dus een deel van het gemeten gebruik kan uit tests van de eigen agents bestaan, en zijn ontwikkelaars werken aan bestaande codebases. Gebruik was vrijwillig en zonder doelstelling, waardoor uitgavenverschillen deels persoonlijke keuzes weerspiegelen. Commits missen ook beoordelings- en ontwerpwerk. De auteurs benadrukken dat het verbanden uit één bedrijf over vijf weken zijn.

Een tweede studie, van een deels overlappende groep auteurs, laat zien wat er gebeurt wanneer een doel wordt opgelegd. Op basis van 802 ontwikkelaars en 196.212 pull requests onderzoekt die een middelgroot bedrijf waarvan de technologiedirecteur in juni 2025 als doel stelde het aantal samengevoegde pull requests per ontwikkelaar met AI te verdubbelen. Het bedrijf bereikte het doel pas in de tiende maand en de kosten kwamen terecht bij codereview, waar de last per beoordelaar verdubbelde.

Het juiste tellen

De JetBrains-auteurs stellen twee verbeteringen voor. Gateways moeten vastleggen voor welk issue of welke taak elke agentsessie diende, zodat uitgaven aan resultaten kunnen worden gekoppeld in plaats van alleen aan commits. Daarnaast heeft het vakgebied gevalideerde maatstaven nodig voor de waarde van werk met agentondersteuning; de auteurs kennen er geen. Tot die tijd zijn uitgaven volgens hen geschikt voor middelenadministratie en weinig anders. Voor adoptie stellen ze voor het wekelijkse aantal gebruikers te rapporteren naast een maat die niet met de contextomvang groeit, zoals het aandeel ontwikkelaars dat op de meeste werkdagen agents gebruikt.

Terug in het verzonnen kantoor verlaagt het hoofd platformontwikkeling op woensdag niemands budget. Ze vraagt het gatewayteam één veld toe te voegen, het ticket waarbij elke sessie hoort, en vertelt haar financiële contactpersoon dat de confettigrafiek de bevinding is. De factuur blijft op de eerste van de maand komen. Wat ze telt, is hoe vaak haar ontwikkelaars de agent erbij pakken. Of dat het geld waard was, is een aparte vraag, en daarvoor heeft de factuur geen regel.

Referenties

  • Agarwal, S., Lvova, O., Sergeyuk, A., Serova, A., Bryksin, T., Zimmermann, T., & Vasilescu, B. (2026). The AI Era’s Lines of Code? A Case Study on What an Engineer’s Token Spend Measures. arxiv.org
  • Arar, A. B. (2026). Tokenmaxxing and the search for AI metrics that matter. LeadDev. leaddev.com
  • Becker, J., Rush, N., Barnes, E., & Rein, D. (2025). Measuring the impact of early-2025 AI on experienced open-source developer productivity. arxiv.org
  • Bharade, A. (2026). Uber’s COO says it’s getting harder to justify the money spent on AI tokenmaxxing. Business Insider, via Yahoo Finance. finance.yahoo.com
  • Cooter, M. (2026). Meta minimizes role of token maxing in employee evaluations. CIO. cio.com
  • He, H., Agarwal, S., Denisov-Blanch, Y., Azaletskiy, P., Koyejo, S., & Vasilescu, B. (2026). AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate. arxiv.org
  • Munis, J. (2026). A Meta employee created a dashboard so coworkers can compete to be the company’s No. 1 AI token user. Fortune. fortune.com
  • Palmer, A. (2026). Amazon’s anti-tokenmaxxing memo says engineers should be pickier about using AI. CNBC. cnbc.com