Het Californische AI-bedrijf beschrijft Beam als een schaars mixture-of-experts-model: het bevat 501 miljard parameters, maar activeert er 23 miljard per token. Voor vroege toegang is registratie nodig; de gewichten, licentie, modelkaart, het technische rapport en de ontwikkelaarstools zijn nog niet beschikbaar.

Voor een ontwikkelaar die een open model kiest, is dat onderscheid van belang. Een model met open gewichten (open-weight model) kan worden getest op eigen workloads, aangepast en uitgerold zonder afhankelijkheid van de dienst van de maker; een aankondiging en benchmarktabel bieden nog geen basis voor die controles.

Reflection zegt Beam te hebben getraind op 23,8 biljoen tokens en vervolgens gedurende vier weken meer dan 100 miljoen reinforcement-learningtrajecten te hebben uitgevoerd op 10.500 NVIDIA GB300-GPU’s. Die cijfers beschrijven een uitzonderlijk grote training, maar het bedrijf heeft het technische rapport nog niet vrijgegeven dat nodig is om de samenstelling van de data of de evaluatieopzet te onderzoeken.

De eigen tabel van het lab geeft Beam scores van 80,9 op SWE-bench Verified en 80,1 op Terminal-Bench 2.1. Daarin staat Beam ook achter Kimi K3, GLM-5.3 en Qwen 3.8-Max op de meeste vermelde tests. Reflection vergelijkt vooral de efficiëntie: het zegt dat Beam resultaten bereikt die vergelijkbaar zijn met die van GLM-5.2, met drie tot vier keer minder rekenwerk voor inferentie, op basis van zijn eigen schatting van het aantal drijvendekommabewerkingen.

Die claim kan voor teams die betalen voor lange agentsessies meer betekenen dan een kleine voorsprong op een benchmark. Schaarse activering vermindert het rekenwerk per token, al vereist het volledige model nog altijd voldoende geheugen en infrastructuur om honderden miljarden parameters op te slaan en beschikbaar te stellen.

Reflection zegt dat Beam de laatste veiligheidstests ondergaat. Het bedrijf wil de gewichten, het technische rapport, de modelkaart en de ontwikkelaarsbestanden later in oktober 2026 publiceren; het heeft geen specifieke releasedatum gegeven.

Verificatie

Yufa Zhou testte Qwen-, Gemma- en Llama-modellen op korte lijsten met feitelijke uitspraken, gevolgd door vragen. De interne vraagtoestanden van de modellen vormden een herhaalbaar patroon voor het eerste, tweede en latere feit, ook wanneer de namen en onderwerpen veranderden.

Waarom dit ertoe doet

Voor een onderzoeker die wil begrijpen hoe een model informatie ophaalt, levert het resultaat een concreet mechanisme op, in plaats van nog een correlatie tussen activaties en antwoorden. Dezelfde interne richting kon experimenteel worden verschoven, waardoor een vraag over één feit een ander feit uit de passage ophaalde.

Het artikel noemt deze posities “feitadressen”. Neem een context waarin staat dat Alice een appel eet en Bob een peer. Een vraag over Alice en een vraag over Bob verschillen binnen het model langs een richting die samenhangt met de volgorde waarin de feiten zijn vermeld. Toen de onderzoeker de richting van het eerste naar het tweede feit toevoegde aan een vraag over het eerste feit, antwoordde het model vaak met de inhoud van het tweede.

Die ingreep is het sterkste bewijs van het onderzoek. Een classifier kan veel patronen in verborgen toestanden ontdekken zonder te laten zien dat een model ze gebruikt. Het antwoord veranderen door het voorgestelde adres te veranderen, biedt causale steun voor het mechanisme, al gebruiken de tests gecontroleerde feitenlijsten in plaats van lange, natuurlijke documenten.

Bij 64 nieuwe woordverzamelingen selecteerde de ingreep het bedoelde feit in ongeveer vijf op de zes gevallen voor Qwen, ongeveer de helft voor Gemma en ongeveer één op de drie voor Llama. De exacte percentages waren respectievelijk 84,1 procent, 53,9 procent en 36,2 procent. Die verschillen laten zien dat de richting tussen modelfamilies werd gedeeld, maar niet in elke familie even betrouwbaar was.

De adressen nemen weinig interne ruimte in

Zhou meldt dat de feitadressen in een deelruimte met lage rang liggen. Eenvoudig gezegd hebben de modellen geen afzonderlijke, losstaande richting nodig voor elke mogelijke positie; een kleine verzameling richtingen beschrijft een groot deel van het volgordepatroon.

Het eerstgenoemde feit was voor de modellen ook gemakkelijker te bereiken dan latere feiten. Dat lijkt op een primacy-effect in het menselijke geheugen, maar het experiment stelt niet vast dat mensen en transformers hetzelfde mechanisme gebruiken. Het identificeert een meetbare asymmetrie in de geteste modellen.

Het patroon verscheen in lagen voorbij het midden van het model en bij groottes van 1,5 miljard tot 32 miljard parameters. Checkpoints uit de training suggereerden dat het vroeg ontstond en niet pas na uitgebreide instructietraining. De code die bij de preprint is vrijgegeven, maakt de gecontroleerde ingrepen inzichtelijk.

De beperkte opzet is ook de belangrijkste beperking. Lijsten met eenvoudige feiten isoleren de volgorde helder, terwijl echte prompts koppen, herhaalde verwijzingen, tools en tegenstrijdige uitspraken bevatten. Het artikel laat zien dat de volgorde van vermelding onder gecontroleerde omstandigheden als adres kan dienen; het laat niet zien dat die volgorde het ophalen van informatie in gewone agenttranscripten domineert.

Zhou diende de preprint op 1 oktober 2026 in. Het volgende bewijs zal moeten komen van het reproduceren van de ingreep op minder regelmatige documenten en van tests die nagaan of een andere documentstructuur dezelfde interne richtingen verandert.

Verificatie

Ontwikkelaar Max Trivedi heeft de opdrachtregelapplicatie ec, twee modelfamilies en een dataset met 401.975 ontdubbelde paren van verzoeken en opdrachten vrijgegeven. De applicatie bevat llama.cpp, toont de voorgestelde opdracht en kan vóór uitvoering om bevestiging vragen.

Voor een ontwikkelaar die af en toe hulp bij een shellopdracht nodig heeft, neemt lokale uitvoering een API-aanroep weg uit een gevoelig deel van de workflow. Daar staat directe verantwoordelijkheid tegenover: het project waarschuwt dat een aannemelijke opdracht toch fout kan zijn en raadt aan te beginnen in de modus die alleen een voorbeeld toont.

De vrijgegeven modellen bouwen voort op Qwen2.5-Coder-1.5B-Instruct en Qwen3-0.6B. Beide zijn beschikbaar als GGUF-bestanden voor lokale inferentie, samengevoegde BF16-checkpoints en LoRA-adapters voor verdere training. De modellen en dataset gebruiken de Apache 2.0-licentie; de applicatie en benchmarkcode gebruiken MIT.

Trivedi zegt dat het model met 1,5 miljard parameters 212 van de 300 opgaven oploste in een bijgewerkte versie van de ALFA-benchmark voor de omzetting van Engels naar shellopdrachten, tegenover 191 voor het eerdere nl2sh-systeem. Dit is een vergelijking door de auteur met verschillende modelprompts en instellingen, geen resultaat op een onafhankelijke ranglijst.

De release is bijzonder bruikbaar doordat hij behalve het model ook de tekortkomingen bevat. Trivedi zegt dat de vlakke dataset de historische weging uit de training niet reproduceert en geen officiële testverdeling heeft. Hij raadt aan hele taakfamilies apart te houden in plaats van parafrases willekeurig te verdelen; anders zouden vrijwel identieke opdrachten in zowel training als evaluatie terecht kunnen komen.

De tool richt zich op GNU/Linux Bash, niet op alle shells of besturingssystemen. De repository van EasyCommand is nu openbaar, en de auteur vraagt gebruikers tests bij te dragen die onbetrouwbare overdracht en ontbrekende ondersteuning voor opdrachten blootleggen.

Verificatie

Markus Frey van Fraunhofer IAIS, een Duits instituut voor toegepast onderzoek, gaf 16 open en gesloten modellen de puzzel die bij menselijke patiënten wordt gebruikt: bestudeer een met de computer weergegeven landschap met vier bergtoppen en vind het vervolgens tussen vier vergelijkbare landschappen die vanuit een nieuwe hoek worden getoond. Een menselijke vrijwilliger loste ongeveer vier van de vijf gedraaide opgaven op. De meeste modellen deden het niet beter dan gokken.

Waarom dit ertoe doet

Een robotica-engineer die een visietaalmodel als ogen van een mobiele robot gebruikt, heeft precies deze vaardigheid nodig: een kamer herkennen nadat de robot zich heeft omgedraaid. De preprint vindt dat grotere modellen noch gedetailleerdere instructies die vaardigheid leveren.

Herkenning blijft overeind, rotatie mislukt

De benchmark past de Four Mountains Test aan, die clinici gebruiken omdat scores dalen bij schade aan de hippocampus en in een vroeg stadium van de ziekte van Alzheimer. Kleuren, texturen en belichting veranderen bij elke opgave tussen de studieafbeelding en de testafbeeldingen. Daardoor is zelfs een opgave zonder rotatie niet op te lossen door pixels te vergelijken. Frey behandelt de nauwkeurigheid op die ongedraaide opgaven als controle of een model de locatie überhaupt kan herkennen.

De modellen slagen voor die controle en falen vervolgens bij de rotatie. GPT-5.6 Luna van OpenAI beantwoordde elke ongedraaide opgave correct, maar slechts 31 procent van de gedraaide opgaven, waarbij gokken één op vier oplevert. Over alle 16 modellen samen was 135 graden de slechtste hoek: de nauwkeurigheid zakte daar duidelijk onder het kansniveau.

Een halve draai van 180 graden, de grootste verandering, scoorde beter dan 135 graden. Frey interpreteert dat als een teken dat de modellen een beeldtruc gebruiken, zoals vergelijken met een spiegelbeeld van de scène, en geen interne kaart draaien. De menselijke vergelijking komt van één deelnemer. Dat volstaat om te laten zien dat de taak oplosbaar is, maar niet om een menselijk gemiddelde te geven.

Grotere modellen herkennen meer, maar draaien niet beter

Schaal verbeterde de herkenning en liet de rotatieprestaties gelijk. Binnen Alibaba’s Qwen2.5-VL-familie, van 3 miljard tot 72 miljard parameters, steeg de nauwkeurigheid zonder rotatie van 30 naar 75 procent, terwijl de nauwkeurigheid met rotatie op of onder het kansniveau bleef. De InternVL3.5-familie herhaalde het patroon van 1 miljard tot 38 miljard parameters. Van 14 modellen met open gewichten tot 235 miljard parameters beantwoordde geen enkel meer dan 31 procent van de gedraaide opgaven correct, en een “denkende” variant scoorde hetzelfde als zijn standaardtegenhanger.

Instructies dichtten de kloof niet. Frey testte Qwen2.5-VL-32B met zes prompts, waaronder expliciete procedures zoals het landschap van recht boven voorstellen of de opvallendste bergtop als anker gebruiken. Bij alle zes bleef het model onder het kansniveau.

Meer afstand tussen foute antwoorden onthult een grove kaart

Het meest informatieve experiment veranderde alleen de foute antwoorden. Frey mat in meters hoe ver de bergtoppen van twee landschappen uit elkaar liggen na de best mogelijke rotatie. Vervolgens tekende hij de drie afleiders opnieuw met verder afwijkende indelingen, terwijl het doel en de hoeken identiek bleven.

De dichtstbijzijnde afleider van ongeveer 7 meter naar ongeveer 31 meter afstand verplaatsen, bracht Gemini 3.8 Flash van Google bij gedraaide opgaven van 39 naar 85 procent en GPT-5.6 Luna van 31 naar 55 procent. Geen enkel open model verbeterde in statistisch betekenisvolle mate.

Dat is het bewijs van het artikel dat frontiermodellen enig besef van de indeling hebben, maar alleen met lage resolutie. Een model zonder kaart zou niet profiteren van meer afstand tussen de afleiders, en een model met een kaart op menselijk niveau zou geen 30 meter scheiding nodig hebben. Het effect lijkt op een stad herkennen vanuit een vliegtuigraam, maar de eigen straat niet.

De fouten wijzen in dezelfde richting. Iemand die verkeerd antwoordt, kiest doorgaans de afleider waarvan de indeling het dichtst bij het doel ligt. De foute antwoorden van de modellen waren bijna gelijk verdeeld over nabije en verre afleiders, alsof de indeling geen rol speelde bij de keuze.

Een synthetische test van één auteur

De landschappen zijn synthetische weergaven, en Frey merkt op dat pretraining op vergelijkbare gerenderde scènes sommige modellen zou kunnen bevoordelen. Het aantal parameters van gesloten modellen is niet bekendgemaakt; het bewijs over schaal berust dus alleen op open modellen. De preprint, op 30 september 2026 op arXiv geplaatst, heeft één auteur en linkt niet naar code of een dataset.

Frey zegt dat meer menselijke deelnemers worden getest. Dat zal een passende vergelijkingsgroep bieden voor de score van 82 procent die de vrijwilliger op gedraaide opgaven behaalde.

Verificatie

De familie vertaalt tekst tussen 150 talen en aanvaardt instructies over terminologie, opmaak en stijl. De gewone tekstmodellen zijn beschikbaar met 2 miljard en 9 miljard parameters en als preview met 35 miljard parameters. Het grootste is een mixture-of-experts-model dat ongeveer 3 miljard parameters per token activeert.

De belangrijkste verandering voor lokale gebruikers is de verpakking. GGUF-versies richten zich nu op llama.cpp, FP8-builds op vLLM en NVFP4-builds op nieuwere Blackwell-GPU’s. Het project publiceert die formaten voor de tekstmodellen, de modellen met controle over lettergrepen en de modellen voor lange documenten. De spraakmodellen hebben ook gekwantiseerde pakketten, al bevatten de GGUF-repositories alleen de onderliggende tekstmodellen en niet de volledige spraakpipeline.

Het nieuwe gehoste eindpunt biedt de 35B-A3B-preview via een interface die compatibel is met de chat-API van OpenAI. Daarmee kunnen ontwikkelaars het model testen zonder eerst geschikte hardware te regelen. De repository noemt het eindpunt gratis, maar belooft geen serviceniveau of prijzen op lange termijn.

Index-Translate is meer dan een zinsvertaler. De client kan JSON- en markdownstructuren behouden, een woordenlijst afdwingen en een bepaalde toon vragen. Verwante pakketten vertalen spraak, streven naar een gevraagd aantal lettergrepen voor nasynchronisatie of nemen context mee door een lang document. Deze functies richten zich op de lastige delen van vertaling in productie die een algemene prompt als “vertaal dit” vaak mist.

bilibili gaf ook benchmarkmateriaal voor instTrans, MEME, SandGlass en NativeLong vrij, met evaluatiescripts. Daardoor is het testontwerp inspecteerbaar, maar de gepubliceerde scores zijn nog altijd eigen metingen van de ontwikkelaar. In het technische rapport behaalt het previewmodel 0,8794 op FLORES COMET-22 en 76,76 bij de WMT26-beoordelaar. Die laatste gebruikt GPT-5.6-Sol als evaluator en mag dus niet als een onafhankelijke menselijke vergelijking worden gelezen.

De oorspronkelijke modelfamilie verscheen op 30 september; dit is geen lancering van een nieuw basismodel. Het nieuws is dat ze binnen vier dagen de uitrolformaten, het testeindpunt en de evaluatiebestanden kreeg die nodig zijn om van een modelaankondiging naar iets te gaan dat ontwikkelaars daadwerkelijk kunnen uitproberen.

Verificatie

De preprint volgt een circuit met drie fasen bij prompts met nul tot tien demonstraties. Hij vindt dezelfde kernroute wanneer de nauwkeurigheid laag is en wanneer die bijna perfect is. De aandachtshoofden verschijnen niet plotseling wanneer het model het patroon “begrijpt”. Hun causale bijdrage groeit.

Dit is een beperkt experiment, geen algemene theorie over leren in de context. Maar het maakt van een aantrekkelijke metafoor — voorbeelden activeren latente mechanismen — iets waarin onderzoekers kunnen ingrijpen en dat ze kunnen testen.

Van tokens naar variabelen en terug

De taak gebruikt abstracte patronen van drie tokens, zoals ABA of ABB. De tokens zijn willekeurig, zodat het model niet op hun gewone betekenis kan vertrouwen. Het moet afleiden welke positie naar het antwoord moet worden gekopieerd.

Eerder werk identificeerde drie fasen. Symbolische abstractiehoofden vertalen concrete tokens naar variabelen. Symbolische inductiehoofden werken met dat abstracte patroon. Ophaalhoofden zetten de voorspelde variabele weer om naar het vereiste token. Wessel volgt deze structuur in Gemma 2-2B, Llama 3.1-8B en Qwen 3-4B, waarbij alleen het aantal demonstraties verandert.

In Gemma 2-2B begint de nauwkeurigheid op 17 procent met één voorbeeld, bereikt ze 93 procent met vier en 99 procent met tien. Toch detecteert causale mediatieanalyse de drie fasen al bij één voorbeeld. De belangrijke hoofden blijven grotendeels aanwezig bij opeenvolgende promptlengtes, terwijl de causale bijdrage van een afzonderlijk hoofd tussen één en tien voorbeelden tot achtvoudig groeit.

De interpretatie is kwantitatief en niet architecturaal: extra voorbeelden versterken een bestaand pad in plaats van een volledig ander pad in te schakelen.

Het signaal tussen prompts verplaatsen

Detectie alleen kan correlatie met een mechanisme verwarren. Daarom verplaatst het artikel ook interne activaties tussen uitvoeringen. Activaties uit tien voorbeelden invoegen in een prompt met één voorbeeld verhoogt Gemma’s nauwkeurigheid van 17 naar 88 procent. Bij nul voorbeelden verhoogt het invoegen van de inductie- en ophaalfasen de nauwkeurigheid voor één patroon van 1 naar 56 procent; willekeurige hoofden buiten het circuit laten die onder 1 procent.

De duidelijkste ingreep gebruikt een “functievector”: een vaste activatie die is samengesteld uit hoofden die door de causale analyse zijn geïdentificeerd. Die invoegen bij nul voorbeelden verhoogt de nauwkeurigheid van 1 naar 86 procent op de ABA-regel. Wanneer de latere ophaalhoofden worden uitgeschakeld, daalt dat herstel naar 13 procent.

Die afhankelijkheid is de sleutel. De vector werkt niet als een op zichzelf staand antwoord of een algemene impuls voor het netwerk. Hij kan de inductiefase grotendeels vervangen doordat het latere ophaalmechanisme beschikbaar blijft om de uitvoer te lezen.

Een bruikbaar resultaat binnen een klein domein

Het onderzoek laat leren in de context minder lijken op het schrijven van een nieuw programma tijdens inferentie, en meer op het aanleveren van invoer aan een programma dat tijdens de training is ingebouwd. Als die opvatting generaliseert, zouden de grenzen van een model bij leren met enkele voorbeelden afhangen van de circuits in zijn gewichten en van de vraag of een prompt ze kan bereiken.

Het artikel laat niet zien dat alle demonstraties zo werken. De centrale taak is in wezen een kleine relationele tabel met een kopieerbewerking. Een controle met analogieën tussen letterreeksen vindt een vergelijkbare topologie, maar wordt niet voor elk model of met het volledige programma van activatie-ingrepen herhaald. De analysemethode selecteert bovendien componenten die twee regels onderscheiden en kan daardoor gedeelde infrastructuur missen.

Het resultaat is het sterkst als concreet mechanisme voor één eenvoudige capaciteit: voorbeelden kunnen een stabiel symbolisch pad versterken lang voordat het gedrag laat zien dat het pad er is.

Verificatie

De fork draait een gekwantiseerde Qwen3.8-Flash-Next, een model met 125 miljard parameters waarvan het schaarse ontwerp slechts een klein deel van de experts per token activeert. Strata houdt veelgebruikte experts op de GPU’s en de volledige verzameling experts in het systeemgeheugen. Die opzet past bij de AC922, omdat zijn CPU’s en GPU’s NVLink 2.0-verbindingen met hoge bandbreedte delen en niet uitsluitend via gewone PCIe communiceren.

De ontwikkelaar voegde een gebied met vastgezette geheugenpagina’s toe voor elke CPU-socket, plaatste experts rekening houdend met de niet-uniforme geheugenindeling van de machine en liet een anders ongebruikte naburige GPU gegevens ophalen via zijn eigen NVLink. Andere wijzigingen omvatten FP16-Volta-tensorcorekernels, laagverdeling met pipelining en specifieke vector- en threadafhandeling voor POWER9.

Op vier V100’s bereiken de eigen metingen van het project een piek van 7.357 tokens per seconde bij het lezen van een prompt met 135.000 tokens. Een prompt met 252.000 tokens wordt verwerkt met 7.089 tokens per seconde, wat 35,5 seconden duurt. Greedy generatie bereikt 113 tokens per seconde bij JSON, 103 bij code en 84 bij lopende tekst. Bij een hergebruikte context van 252.000 tokens verschijnt het eerste vervolg-token na 0,26 seconden, waarna de generatie met 60 tokens per seconde verloopt.

Die cijfers zijn metingen van de bouwer op één gespecialiseerde server, geen algemeen toepasbare benchmark. De snelheid van promptverwerking varieert sterk met de promptlengte, en het type gegenereerde tekst verandert de decodeersnelheid. De repository beschrijft de fork als experimenteel en niet ondersteund door het oorspronkelijke Strata-project.

Toch illustreert het project een steeds bruikbaarder aanpak voor lokale inferentie: optimaliseren rond een specifiek model en een specifieke geheugenhiërarchie, in plaats van te eisen dat één algemene engine elke machine hetzelfde behandelt. De AC922 is oude, energie-intensieve zakelijke apparatuur, maar de CPU-GPU-verbindingen blijven uitzonderlijk krachtig. Een model met duizenden experts geeft die verbindingen nuttig werk.

De code is onder de MIT-licentie van Strata gepubliceerd op de ac922-branch van de fork, met notities over het bouwen, de kwaliteit en benchmarks. Sommige wijzigingen kunnen uiteindelijk naar het oorspronkelijke project gaan, maar de directe waarde is inspecteerbare techniek voor eigenaars van hardware waarop gangbare inferentieprojecten zich zelden richten.

Verificatie

Dat maakt het experiment bruikbaarder dan een probleemloos succesverhaal. Het doelmodel zelf kostte volgens Colas ongeveer 68 dollar en naar schatting 4 kWh elektriciteit. Het werk over de hele maand kwam op ongeveer 35 kWh in plaats van de geplande 10 kWh, doordat prototypes, problemen met aanbieders en bewuste modelevaluatie verkeer elders heen stuurden.

De grootste mislukking kwam van een via “vibe coding” gebouwd prototype van Wagtails experimentele Model Context Protocol-server. Colas zegt dat de keuze van het verkeerde model voor die taak vrijwel in één nacht 450 miljoen tokens, ongeveer 150 dollar en 5 kWh verbruikte. Het prototype werkte, maar het uit de hand gelopen gebruik laat zien hoe snel een agentisch experiment een zorgvuldig gekozen budget kan domineren.

Infrastructuur was de tweede beperking. Colas meldt slechtere prestaties van GLM 5.3 Flash en schrijft die toe aan beperkte capaciteit bij onafhankelijke inferentieaanbieders. Hij verplaatste werk naar alternatieven, waaronder DeepSeek V4.1 Flash en Qwen 3.8 Flash. Voor een team dat de grootste labs probeert te vermijden, wordt modelbeschikbaarheid een deel van modelkwaliteit: een sterk checkpoint is geen betrouwbare keuze voor productie als het eindpunt bij veel vraag vertraagt.

Een deel van het gebruik buiten het doelmodel was bewust. Wagtail ontwikkelt een eigen taakbenchmark, dus het team moest verschillende modellen draaien in plaats van alleen voor de dagelijkse uitvoer te optimaliseren. Colas stelt nu voor de regel van één model te reserveren voor meer dan de helft van het normale productiewerk, terwijl onderzoek en ontwikkeling vrij blijven om alternatieven te vergelijken.

Hij blijft positief over GLM 5.3 Flash. De lange context, ondersteuning voor beeld en beschikbaarheid bij verschillende aanbieders maakten het model bruikbaar voor Wagtail-ontwikkeling, interfacewerk, documentatie en evaluatie. Die beoordeling is zijn ervaring en geen gecontroleerde vergelijking.

De bredere les is methodologisch. Tokentotalen alleen verbergen of gebruik uit gepland productiewerk, onbedoelde lussen of noodzakelijke evaluatie kwam. Een bruikbaar operationeel dashboard heeft minstens kosten, energie, modelidentiteit en taakuitkomst nodig. Het heeft ook lokale, voortdurende metingen nodig: het dure prototype werd pas zichtbaar nadat het al een kwart van het totale aantal tokens van de maand had verbruikt.

Dit is een zelfgerapporteerde maand van één team, geen bewijs dat GLM 5.3 Flash of open modellen in het algemeen een bepaald bedrag kosten. Prijzen van aanbieders, energieschattingen en taaksamenstellingen verschillen. Het verslag toont wel een foutpatroon waarmee rekening moet worden gehouden: het modelbudget kan kloppen terwijl de omringende workflow het ondermijnt.

Verificatie

Kolibri gebruikt een mixture of experts: elk token activeert een klein deel van een veel groter netwerk. De modelkaart documenteert redeneerinstellingen, toolaanroepen en een serverinterface die compatibel is met de chat-API van OpenAI.

Voor een ontwikkelaar die Duitse documenten verwerkt, biedt de release een inspecteerbaar model dat op infrastructuur onder eigen beheer kan draaien. Aleph Alpha concentreert zich bewust op Duits en Engels, met onder meer een tokenizer die voor de Duitse woordstructuur is ontworpen, in plaats van op brede meertalige dekking.

De geheugenbehoefte is aanzienlijk. Kolibri activeert ongeveer 3,5 miljard parameters per token, maar de circa 78 miljard parameters moeten nog altijd worden opgeslagen. Het FP8-checkpoint neemt ongeveer 78 GB in beslag; de kaart noemt twee A100-GPU’s van 80 GB of één H200 onder de minimale configuraties.

Aleph Alpha zegt contexten van ongeveer één miljoen tokens te hebben gevalideerd, maar raadt voor efficiënte inferentie en complexe taken een kwart daarvan aan. De oorspronkelijke trainingslengte voor lange context is het kleinere getal. Het onderscheid is nuttig bij de planning van een uitrol: de grootste toegestane invoer is een gedocumenteerde uitbreiding, met een afzonderlijk advies voor dagelijks gebruik.

De eigen tests van het bedrijf laten ongelijkmatige sterke punten zien. Kolibri scoort hoog op wedstrijdwiskunde, terwijl Qwen3.8 27B het overtreft op de algemene Engelse en Duitse maatstaven van de kaart. Dit zijn evaluaties van beide modellen door Aleph Alpha, geen onafhankelijke vergelijking.

Inferentie vereist het inferentiepakket van Aleph Alpha, dat een Kolibri-plugin voor vLLM biedt. De kaart bevat opdrachten om redeneren en het ontleden van toolaanroepen in te schakelen. Aanroepers kunnen een laag, gemiddeld of hoog redeneerniveau kiezen of het uitschakelen. De kaart noemt assistenten onder menselijke controle en documentworkflows als beoogde toepassingen. Het FP8-checkpoint en een afzonderlijk BF16-checkpoint zijn nu beschikbaar.

Verificatie

Zehao Jin, Ruixuan Deng en Junran Wang testen prompts met toewijzingen, zoals een variabele die naar een andere variabele verwijst, die uiteindelijk naar een woord verwijst. Het model moet dat woord terugvinden door de keten te volgen.

Voor een onderzoeker die een model aanpast, isoleert het resultaat een nuttige vraag: weerspiegelen zwakke prestaties ontbrekende berekeningen of het niet gebruiken van berekeningen die al in het netwerk beschikbaar zijn? In deze gecontroleerde taak maakt een verandering in de manier waarop een vroege laag informatie aan latere lagen aanbiedt een groot verschil.

De preprint van het team, ingediend op 29 september, meldt dat Qwen3-8B bij ketens met 24 toewijzingen van ongeveer één correct antwoord op zes naar bijna uitsluitend correcte antwoorden gaat. De vergelijking gebruikt nauwkeurigheid van exacte antwoorden op synthetische programma’s; de ingreep is specifiek voor deze taak getraind.

De toegevoegde component is een low-rank adaptation met rang acht, of LoRA, toegepast op de verborgen toestand van het model in één laag. Alleen de kleine matrices van de aanpassing en een schaalfactor worden getraind. Vastgezette aandacht en andere modellagen blijven informatie tussen posities verplaatsen.

De taak scheidt het volgen van verwijzingen van het ophalen van feiten. De eerste toewijzingen bevatten zelfstandige naamwoorden van één token, latere toewijzingen verwijzen naar eerdere variabelen, en de prompt eindigt met een vraag naar de waarde van één variabele. Variabelenamen, zelfstandige naamwoorden en de bevraagde keten worden willekeurig gekozen.

Het artikel onderscheidt ook kiezen uit de beginwaarden van het als eerste rangschikken van het exacte antwoord over het volledige vocabulaire. De belangrijkste Qwen-verbetering gebruikt de moeilijkere maat voor exacte antwoorden. Dat is relevant omdat verschillende andere experimenten een keuzescore gebruiken; die scores beschrijven andere tests.

De ingreep start een estafette door bestaande lagen

De auteurs volgen hoe elke regel informatie krijgt over de keten waartoe hij behoort. In het ongewijzigde model stopt dat proces na enkele regels; latere berekeningen kunnen een waarde kopiëren zonder de keten ver genoeg uit te breiden.

Na aanpassing verzamelt een regel informatie uit eerdere regels en geeft die verder door via een kort interval van middelste lagen. De auteurs noemen dit een estafette. Aandacht voor de bovenliggende regel blokkeren verstoort het proces en levert interventiebewijs voor het voorgestelde mechanisme.

Plaatsing is van belang. Dezelfde aanpassing voorbij een modelspecifieke grens verplaatsen neemt veel van het voordeel weg, omdat de nuttige berekeningen in de middelste lagen niet meer op de ingreep volgen. Een meting op vastgezette modellen schat die grens met bescheiden precisie in apart gehouden tests.

De auteurs onderzoeken ook modellen die lagen in lussen herhalen. In die omstandigheden maakt de aanpassing extra lussen nuttig over een aanzienlijk bereik, al keren de verbeteringen in sommige experimenten uiteindelijk om. De resultaten met de langste verwijzingsketens gebruiken een specifieke regelvolgorde en passen de aanpassing in elke lus toe.

Een afzonderlijk vraag-antwoordexperiment biedt bewijs over de plaatsing van de aanpassing, maar het artikel stelt niet vast dat dezelfde estafette daar de verbetering verklaart. De hoofdopzet levert de relevante alinea’s aan, en de aanpassingen worden voor elke taakindeling getraind.

Het centrale resultaat blijft scherp begrensd: een kleine verandering kan het volgen van verwijzingen binnen deze modellen verlengen. Effecten op algemeen modelgedrag en betrouwbaarheid bij uitrol vereisen afzonderlijke evaluatie. Het team biedt code en een interactieve demonstratie van de verwijzingsketentaak.

Verificatie