Forscher Cody Nash testete OLMoE sowie die allgemeine und die Coder-Version von DeepSeek-V2-Lite an 240 Codebeispielen. Derselbe Code erschien unter Fragen nach Bösartigkeit, Verwundbarkeit, Moral, Rechtmäßigkeit, Korrektheit sowie unter themenfremden Kontrollfragen.

Warum das wichtig ist

Ein Sicherheitsingenieur, der ein offenes Mixture-of-Experts-Modell nutzt, könnte Malware-Klassifizierung für eine eng begrenzte Codeanalyse halten. Die Routing-Belege legen nahe, dass die Formulierung des Urteils auch Mechanismen für normative Fragen einbezieht. Das kann dazu führen, dass das Beschneiden oder Verändern des Modells sein Sicherheitsverhalten unerwartet beeinflusst.

Manifold maß, welche Experten jedes Token nutzte und wie stark der Router sie gewichtete. In allen drei Modellen lag die Route einer Frage nach Bösartigkeit am nächsten bei Moral, mit Verwundbarkeit in der Nähe und themenfremden Fragen weiter entfernt. Das Muster blieb bestehen, während das Modell identischen Code las.

Eine separate „Arbeitsbereichslinse“ lieferte einen nützlichen Kontrast. Bei einer Malware-Frage brachten decodierte Residualzustände Wörter wie Angriff und Malware hervor. Moralisches Vokabular erschien dagegen hauptsächlich, wenn der Prompt ausdrücklich nach Moral fragte. Nash fasst dies als Routing wie bei Moral bei gleichzeitigem Denken in Sicherheitsbegriffen zusammen.

Der Eingriff ist aussagekräftiger als die Ähnlichkeitskarte. Manifold zwang ein Modell, die von einer anderen Frage erzeugte Expertenauswahl wiederzuverwenden. Das Einsetzen einer echten Spenderroute verdrahtete 15 % bis 35 % der Routing-Zellen neu, hielt die Perplexität dabei innerhalb von 1 % und veränderte die Wahrscheinlichkeit für „ja“. Zufällige Routen verursachten wesentlich stärkere Störungen und kehrten Antworten in 59 % bis 92 % der Durchläufe um.

Diese Veränderungen bedeuten nicht, dass das Konzept oder die Antwort einer Spenderfrage vollständig kopiert wurde. Die Richtung des Effekts variierte je nach Modell, und der Arbeitsbereich zeigte nicht plötzlich das Spenderkonzept. Der Routing-Pfad scheint die Berechnung zu beeinflussen, ohne ein übertragbares Urteil zu enthalten.

Das Beschneiden lieferte einen weiteren Warnhinweis. Eine Qwen-Beschneidung entfernte moralbezogene Experten häufiger als zufällig zu erwarten, behielt aber die Malware-Trennung bei. Eine wesentlich stärkere GPT-OSS-Beschneidung bewahrte diese Experten bevorzugt und verlor dennoch einen großen Teil des Urteilsvermögens. Routing zeigt, was das Modell konsultiert; es verortet nicht die gesamte Entscheidung in diesen Experten.

Dies ist ein Forschungsbeitrag eines Unternehmens und keine Arbeit mit Peer-Review. Die getesteten Modelle sind relativ kleine offene MoEs. Die Methode ist ausführlich beschrieben, doch es wird keine unabhängige Reproduktion gemeldet. Die unmittelbare Lehre ist enger als die Schlagzeile: Sicherheitsurteile und moralische Urteile teilen in diesen drei Systemen Routing-Muster, und Eingriffe in diese Routen können Ausgaben verändern.

Überprüfung

Das Open-Source-Inferenzprojekt testete „disaggregierte Bereitstellung“, bei der eine GPU das Prefill und eine andere das Decodieren übernimmt. Prefill liest den Prompt und erstellt den Key-Value-Cache. Das Decodieren nutzt diesen Cache zur Token-Erzeugung. Der Leitfaden verlagert außerdem Tokenisierung und Ausgabeanalyse auf ein Frontend ohne GPU.

Für Betreiber, die lange Prompts verarbeiten, bietet der Entwurf eine Wahl zwischen zwei Arten von Verzögerung. Die getrennten Phasen verhindern, dass ein großer Prompt die Generierung für andere Nutzer unterbricht. Der Cache muss aber zwischen den Verarbeitungseinheiten übertragen werden, bevor das Decodieren beginnt.

Im Zwei-GPU-Test von vLLM mit Qwen2.5-7B und Prompts von 8.000 Token stieg der Abstand zwischen erzeugten Token im 99. Perzentil bei der kombinierten Konfiguration mit 0,4 Anfragen pro Sekunde von 23 auf 169 Millisekunden. Die getrennte Konfiguration hielt diesen Abstand zwischen 25 und 52 Millisekunden.

Dasselbe Experiment zeigte die Kosten. Etwa 470 MB Cache pro Prompt zu übertragen dauerte rund 1,3 Sekunden. Die mediane Zeit bis zum ersten Token betrug 2,2 Sekunden, gegenüber 0,7 Sekunden, wenn beide Phasen dieselbe Verarbeitungseinheit nutzten. Die L40S-GPUs hatten weder NVLink noch direkte Peer-to-Peer-Übertragung. Das Ergebnis beschreibt daher einen bewusst ungünstigen Transportweg und nicht jeden Einsatz.

Die Entscheidungsregel der Autoren ist praktisch: zuerst die GPU-Topologie prüfen, dann die Cache-Übertragungsmetriken bei der vorgesehenen Prompt-Länge und Anfragerate untersuchen. Disaggregation ist besonders attraktiv, wenn Prefill das Decodieren wiederholt stört oder wenn beide Phasen unterschiedlich skalieren müssen. Ein leicht ausgelasteter Server kann die Übertragungskosten tragen, ohne nützliche Isolation zu gewinnen.

Der Leitfaden zitiert größere Ergebnisse von AMD und dem llm-d-Projekt. Diese Tests nutzen jedoch andere Modelle, Beschleuniger und Clustergrößen. Sie stützen das Potenzial der Architektur, keine übertragbare Beschleunigungszahl.

Die Anweisungen richten sich an vLLM 0.30.0 oder neuer und umfassen getrennte Renderer- und Derenderer-Dienste. Das Team erklärt, es gebe weiterhin Integrationslücken. Topologie- und Übertragungsprüfungen sind damit eine Voraussetzung und keine Optimierung nach dem Einsatz.

Überprüfung