Het open-sourceproject voor inferentie testte “disaggregated serving”, waarbij één GPU de prefill-fase afhandelt en een andere de decode-fase. Prefill leest de prompt en bouwt de key-value-cache op; decode gebruikt die cache om tokens te genereren. De gids verplaatst ook de tokenisatie en het ontleden van uitvoer naar een front-end zonder GPU.

Voor een beheerder die lange prompts verwerkt, biedt het ontwerp een keuze tussen twee soorten vertraging. De fasen scheiden voorkomt dat een grote prompt de generatie voor andere gebruikers onderbreekt, maar de cache moet tussen workers worden overgedragen voordat het decoderen begint.

In de test van vLLM met twee GPU’s, Qwen2.5-7B en prompts van 8.000 tokens steeg het 99e percentiel van de tijd tussen gegenereerde tokens bij de gecombineerde opzet van 23 milliseconden naar 169 milliseconden bij 0,4 verzoeken per seconde. De gescheiden opzet hield die tijd tussen 25 en 52 milliseconden.

Hetzelfde experiment liet de kosten zien. Ongeveer 470 MB cache per prompt verplaatsen duurde circa 1,3 seconden, en de mediane tijd tot het eerste token bedroeg 2,2 seconden, tegenover 0,7 seconden wanneer beide fasen één worker deelden. De L40S-GPU’s hadden geen NVLink en geen rechtstreekse peer-to-peeroverdracht. Het resultaat beschrijft daarom een bewust ongunstig transportpad en niet elke uitrol.

De beslisregel van de auteurs is praktisch: controleer eerst de GPU-topologie en bekijk vervolgens de meetwaarden voor cacheoverdracht bij de beoogde promptlengte en het beoogde aantal verzoeken per seconde. Scheiding is vooral aantrekkelijk wanneer prefill het decoderen herhaaldelijk verstoort of wanneer de twee fasen anders moeten schalen. Een licht belaste server kan de overdrachtskosten dragen zonder nuttige isolatie te winnen.

De gids haalt grotere resultaten van AMD en het llm-d-project aan, maar die tests gebruiken andere modellen, accelerators en clustergroottes. Ze ondersteunen het potentieel van de architectuur, geen algemeen toepasbaar versnellingscijfer.

De instructies richten zich op vLLM 0.30.0 of later en bevatten afzonderlijke renderer- en derendererdiensten. Het team zegt dat er nog lacunes in de integratie zijn, waardoor de controles op topologie en overdracht een voorwaarde zijn en geen optimalisatie na de uitrol.

Verificatie

De fork draait een gekwantiseerde Qwen3.8-Flash-Next, een model met 125 miljard parameters waarvan het schaarse ontwerp slechts een klein deel van de experts per token activeert. Strata houdt veelgebruikte experts op de GPU’s en de volledige verzameling experts in het systeemgeheugen. Die opzet past bij de AC922, omdat zijn CPU’s en GPU’s NVLink 2.0-verbindingen met hoge bandbreedte delen en niet uitsluitend via gewone PCIe communiceren.

De ontwikkelaar voegde een gebied met vastgezette geheugenpagina’s toe voor elke CPU-socket, plaatste experts rekening houdend met de niet-uniforme geheugenindeling van de machine en liet een anders ongebruikte naburige GPU gegevens ophalen via zijn eigen NVLink. Andere wijzigingen omvatten FP16-Volta-tensorcorekernels, laagverdeling met pipelining en specifieke vector- en threadafhandeling voor POWER9.

Op vier V100’s bereiken de eigen metingen van het project een piek van 7.357 tokens per seconde bij het lezen van een prompt met 135.000 tokens. Een prompt met 252.000 tokens wordt verwerkt met 7.089 tokens per seconde, wat 35,5 seconden duurt. Greedy generatie bereikt 113 tokens per seconde bij JSON, 103 bij code en 84 bij lopende tekst. Bij een hergebruikte context van 252.000 tokens verschijnt het eerste vervolg-token na 0,26 seconden, waarna de generatie met 60 tokens per seconde verloopt.

Die cijfers zijn metingen van de bouwer op één gespecialiseerde server, geen algemeen toepasbare benchmark. De snelheid van promptverwerking varieert sterk met de promptlengte, en het type gegenereerde tekst verandert de decodeersnelheid. De repository beschrijft de fork als experimenteel en niet ondersteund door het oorspronkelijke Strata-project.

Toch illustreert het project een steeds bruikbaarder aanpak voor lokale inferentie: optimaliseren rond een specifiek model en een specifieke geheugenhiërarchie, in plaats van te eisen dat één algemene engine elke machine hetzelfde behandelt. De AC922 is oude, energie-intensieve zakelijke apparatuur, maar de CPU-GPU-verbindingen blijven uitzonderlijk krachtig. Een model met duizenden experts geeft die verbindingen nuttig werk.

De code is onder de MIT-licentie van Strata gepubliceerd op de ac922-branch van de fork, met notities over het bouwen, de kwaliteit en benchmarks. Sommige wijzigingen kunnen uiteindelijk naar het oorspronkelijke project gaan, maar de directe waarde is inspecteerbare techniek voor eigenaars van hardware waarop gangbare inferentieprojecten zich zelden richten.

Verificatie