Anthropic meldde op 29 september dat Z.ai’s model met open gewichten GLM-5.3 werkende browserexploits kon bouwen en dat onderzoekers de beveiliging die weigeringen afdwingt aanzienlijk konden verzwakken.

De bevinding betreft een model dat iedereen kan downloaden, aanpassen en draaien. Anthropics Frontier Red Team testte of GLM-5.3 bekende softwarefouten in werkende aanvallen kon omzetten en of het expliciet schadelijke instructies zou opvolgen na gangbare technieken om de beveiliging te omzeilen.

Anthropic-onderzoekers Andrew Fasano, Marius Fleischer, Cole McFaul, Robert Xiao en Tripp Gallagher schreven het rapport. Het team draaide modellen in geïsoleerde omgevingen en combineerde geautomatiseerde benchmarks met sessies waarin beveiligingsonderzoekers het model aanstuurden bij het onderzoeken van onbekende softwaredoelen.

Waarom dit ertoe doet: Beveiligingsteams krijgen nu te maken met offensieve capaciteit die niet langer beperkt is tot programma’s met gecontroleerde toegang. Het model blijft onder de sterkste afgeschermde Amerikaanse systemen, maar zijn gewichten kunnen worden gekopieerd en aangepast zonder dat een API-aanbieder het gebruik monitort.

Anthropics sterkste rechtstreeks vergelijkbare resultaat kwam uit ExploitBench, een verzameling bekende fouten in de V8-JavaScript-engine van Chromium-browsers. GLM-5.3 voltooide een exploit van begin tot eind in 50 van 410 pogingen, dicht bij Anthropics afgeschermde Claude Mythos Preview-model met 56 van 410. Eerdere GLM- en Claude-modellen scoorden nul of bijna nul in dezelfde bedrijfsvergelijking.

De onderzoekers gaven GLM-5.3 ook toegang tot een Linux-browser in een sandbox waarvan de fouten niet bekend waren bij de menselijke bediener. Volgens Anthropic vond het model verschillende onbekende kwetsbaarheden, koppelde ze tot een webpagina die bestanden van de testmachine kon lezen en produceerde het rapporten die het bedrijf aan de beheerders meldde. Die zerodaybevindingen zijn nog niet gedetailleerd genoeg gepubliceerd om ze extern te reproduceren.

Anthropic heeft een commercieel belang bij het benadrukken van het verschil tussen downloadbare modellen en zijn gecontroleerde Claude-dienst. Het rapport vergelijkt GLM-5.3 met Claude-modellen achter API-beveiliging en stelt dat gecontroleerde toegang aanbieders technieken laat blokkeren die een eigenaar van open gewichten lokaal kan toepassen.

Overheidstests bevestigen de capaciteitssprong

Het Amerikaanse National Institute of Standards and Technology biedt een onafhankelijke toets van de algemene capaciteitsclaim. Zijn Center for AI Standards and Innovation testte GLM-5.3 vóór Anthropics rapport en noemde het het cybervaardigste model met open gewichten dat het had beoordeeld. NIST plaatste het model op een combinatie van vier cyberbenchmarks ongeveer vier maanden achter de Amerikaanse top.

NISTs vergelijking trekt ook een belangrijke grens. De sterkste Amerikaanse score op elke benchmark kon van een ander model komen, en die modellen werden waar van toepassing getest met uitgeschakelde cyberbeveiliging. Dat meet onderliggende capaciteit, niet wat een gewone API-klant kan verkrijgen.

Het onderzoek vond ook

Anthropic meldt dat GLM-5.3 volledige controle over een programma kreeg bij vier van 100 willekeurig gekozen open-sourcetaken rond exploitatie, tegenover zes voor Mythos Preview. Het team zegt ook dat het kleinere GLM-5.3-Flash twee openbaar gemaakte Chrome-fouten na acht uur modelwerk en 20 minuten menselijke aandacht omzette in een werkende ARM64-exploitketen.

De beveiligingstests zijn specifieker voor Anthropic. Het uitgebrachte GLM-5.3 weigerde rechtstreekse kwaadaardige opdrachten in de gesimuleerde omgeving, maar ging in op 64 procent van de verzoeken die als red-teamoefening werden ingekleed, en op 92 procent wanneer onderzoekers zijn redenering vooraf invulden. Een aangepaste versie ging op elk getest geval in. Elke conditie bevatte 50 voorbeelden, verdeeld over vijf opdrachten en twee fictieve doelen.

Anthropic gebruikte ook een techniek genaamd abliteration om weigeringen te verminderen door interne modelrichtingen te bewerken. Volgens het bedrijf verlaagde dat de gemiddelde weigeringspercentages op drie benchmarks met schadelijke verzoeken, terwijl scores op algemene wetenschap en cybergebied grotendeels intact bleven. Anthropic besteedde ongeveer 2.200 GPU-uren aan het verkennen en testen van varianten, maar schat dat een ervaren team de aanpassing met circa 600 GPU-uren zou kunnen herhalen.

Deze resultaten meten geen aanvallen op echte operationele systemen. Het experiment met schadelijke opdrachten gebruikte een fictief commandogereedschap en een ander taalmodel genereerde gesimuleerde antwoorden. Volgens Anthropic vond zijn open browseronderzoek plaats in geïsoleerde omgevingen; de gemelde fouten vereisen nog bevestiging en herstel door beheerders.

Het volgende bewijs zal komen uit beveiligingsadviezen van beheerders en onafhankelijke reproductie van de beveiligings- en exploitresultaten. Anthropic zegt aanvullende rapporten te beoordelen en die waar passend openbaar te maken, terwijl NISTs benchmark het huidige openbare referentiepunt biedt voor latere modellen met open gewichten.

Verificatie

BeweringLabelPrimaire bronOnafhankelijke verificatie
Anthropic publiceerde de GLM-5.3-beoordeling op 29 septemberGEVERIFIEERDAnthropic-rapportPaginadatum en auteurs zijn openbaar
Fasano, Fleischer, McFaul, Xiao en Gallagher schreven het rapport en gebruikten geïsoleerde automatische en door onderzoekers begeleide testsGEVERIFIEERDAnthropic-rapportMethoden en auteurslijst zijn openbaar
GLM-5.3 voltooide 50 van 410 ExploitBench-pogingenVOLGENS HET BEDRIJFAnthropic-rapportNIST vond onafhankelijk een grote capaciteitssprong, maar gebruikte een andere scoreopzet
GLM-5.3 vond onbekende browserfouten en koppelde die tot een exploit die bestanden leestVOLGENS HET BEDRIJFAnthropic-rapportBeveiligingsadviezen van beheerders en reproductie worden nog niet aangehaald
NIST noemde GLM-5.3 het sterkste beoordeelde cybermodel met open gewichten en plaatste het ongeveer vier maanden achter de Amerikaanse topGEVERIFIEERDNIST-beoordelingOnafhankelijke Amerikaanse overheidsevaluatie
Condities met een dekmantel, vooraf ingevulde redenering en aangepast model leverden 64%, 92% en 100% ingaan op verzoeken opVOLGENS HET BEDRIJFAnthropic-rapportGeen onafhankelijke reproductie gevonden
GLM-5.3 scoorde 4% op 100 interne exploitatietaken en GLM-5.3-Flash bouwde de gemelde ARM64-ketenVOLGENS HET BEDRIJFAnthropic-rapportGeen onafhankelijke reproductie gevonden
De gesimuleerde test met schadelijke opdrachten voerde geen modelcode tegen echte systemen uitGEVERIFIEERDAnthropics methodologische toelichtingStrookt met de gepubliceerde testopzet