Quando GLM-5.2 ha aiutato Hugging Face a indagare su un incidente in cui un'IA ha aggirato autonomamente le proprie salvaguardie, ha messo in luce un cambiamento più ampio. L'IA sta diventando parte sia dell'offensiva sia della difesa informatica.
Con la crescente accessibilità di potenti capacità cyber, le robuste capacità difensive non possono rimanere limitate a un piccolo numero di organizzazioni con ampie risorse. Anche i manutentori dell'open source, i ricercatori indipendenti, gli sviluppatori e i team di sicurezza più piccoli hanno bisogno di strumenti che li aiutino a trovare e correggere le vulnerabilità prima che vengano sfruttate.
Un mondo aperto non può avere solo superfici d'attacco aperte. Deve avere anche uno scudo aperto.
GLM-5.3 è il nostro modello più capace finora per i task di cybersecurity. Offre miglioramenti sostanziali nell'individuazione delle vulnerabilità, nell'analisi degli exploit e nei complessi task di sicurezza multi-step. Queste capacità possono aiutare i difensori a identificare prima le debolezze, validare i rischi e accelerare la rimediation.
Creano inoltre chiari rischi di duplice uso. Per questo adottiamo un approccio graduale al rilascio. Partner di sicurezza selezionati valuteranno prima GLM-5.3 in ambienti controllati. Seguiranno un accesso più ampio e la disponibilità delle API. Una volta completate le necessarie valutazioni di sicurezza e i preparativi per il rilascio, pubblicheremo i pesi completi del modello GLM-5.3.
L'apertura responsabile non significa trattare ogni capacità come innocua. Significa valutare i rischi in modo trasparente, rafforzare le salvaguardie prima del rilascio, coordinare la divulgazione delle vulnerabilità validate ed espandere l'accesso alle capacità difensive avanzate in modo proporzionato ai rischi.
Dall'individuazione delle vulnerabilità all'analisi di sicurezza multi-step
Come parte del post-training, abbiamo introdotto dati sull'individuazione delle vulnerabilità e ambienti di sicurezza autorizzati nel mix di addestramento. Ci aspettavamo che questo migliorasse la capacità del modello di trovare e analizzare le vulnerabilità.
Con l'aumentare della scala di addestramento, il miglioramento si è esteso oltre i singoli difetti. GLM-5.3 è diventato più efficace nel collegare le condizioni di vulnerabilità, il comportamento del programma, i percorsi di validazione e l'impatto potenziale attraverso le varie fasi di analisi.
Valutiamo queste capacità attraverso tre benchmark:
- CyberGym parte dal codice sorgente white-box e verifica se un modello è in grado di identificare e validare le vulnerabilità innescando guasti. GLM-5.3 ottiene un punteggio dell'84,5%, rispetto al 77,2% di GLM-5.2.
- ExploitBench richiede un ragionamento più profondo sulle vulnerabilità reali e sul loro sfruttamento. GLM-5.3 raggiunge il 54,4%, più del doppio del 24,4% di GLM-5.2.
- ExploitGym misura i task di sfruttamento completati con budget di valutazione normalizzati. GLM-5.3 completa 105 task entro due ore e 130 entro sei ore, rispetto ai 29 e 39 di GLM-5.2.
Il quadro è coerente. Il miglioramento di GLM-5.3 rispetto a GLM-5.2 diventa più marcato man mano che i task passano dall'individuazione di vulnerabilità isolate allo sfruttamento multi-step. I risultati mostrano anche dove sono necessari ulteriori progressi, in particolare sui task end-to-end più complessi.
Dai benchmark al software reale
Abbiamo inoltre collaborato con università e team di sicurezza professionisti per valutare i modelli GLM su codebase reali in ambienti autorizzati.
In questo lavoro, la serie GLM ha prodotto 2.436 segnalazioni di vulnerabilità in 269 progetti, di cui 1.097 classificate come gravità medio-alta. Queste segnalazioni coprono software di sistema, sistemi operativi, motori browser, infrastrutture open source, applicazioni web, protocolli di rete e dispositivi intelligenti. Alcuni dei problemi sottostanti erano rimasti inosservati per decenni.
In queste valutazioni, gli esperti di sicurezza definiscono l'ambito autorizzato, esaminano gli output del modello, indagano i potenziali rischi e si coordinano con le parti coinvolte. I modelli GLM possono aiutare i ricercatori a ricostruire logiche di programma complesse, restringere un gran numero di percorsi candidati e collegare le evidenze tra più componenti.
L'obiettivo non è semplicemente generare più segnalazioni. È aiutare i difensori a identificare prima i rischi significativi e ridurre il tempo che intercorre tra l'individuazione e la rimediation.
All'individuazione deve seguire una divulgazione responsabile
Una vulnerabilità non è gestita in modo sicuro nel momento in cui viene scoperta. Deve essere esaminata, riprodotta quando opportuno, segnalata attraverso i canali appropriati e coordinata con i manutentori interessati.
Le segnalazioni del nostro lavoro di sicurezza vengono inoltrate attraverso processi di divulgazione consolidati. Pubblichiamo i dettagli tecnici solo quando ciò è coerente con il relativo processo di divulgazione e rimediation. Per i problemi ancora in fase di coordinamento, non rilasciamo informazioni che potrebbero aumentare inutilmente il rischio o identificare i progetti interessati.
Per rendere questo lavoro più trasparente, abbiamo creato il Registro di divulgazione della sicurezza di Z.ai.
Il registro tiene traccia delle segnalazioni mentre avanzano nel processo di divulgazione. Per i problemi divulgati pubblicamente, può includere il progetto interessato, la gravità, un CVE o altro identificatore quando disponibile, e informazioni su quanto tempo il problema è rimasto nel codebase.
Per le vulnerabilità ancora in fase di divulgazione coordinata, il registro può pubblicare un hash crittografico. Questo consente di verificare in seguito una segnalazione senza rivelare prematuramente i dettagli operativi.
Aprire un modello e divulgare una vulnerabilità sono decisioni separate. Rendere un modello più ampiamente disponibile non richiede di pubblicare i dettagli delle vulnerabilità prima che i manutentori abbiano avuto un'adeguata opportunità di indagare e rispondere.
Sicurezza e rilascio graduale
La cybersecurity è un ambito particolarmente difficile per la sicurezza dell'IA. I task offensivi e difensivi coinvolgono spesso la stessa terminologia, lo stesso codice e gli stessi metodi tecnici.
Una richiesta di analizzare una vulnerabilità potrebbe provenire da un manutentore che prepara una patch, da uno studente che risolve una sfida CTF, da un ricercatore che conduce una valutazione autorizzata, o da un aggressore che punta a un sistema reale. Le parole chiave da sole non possono distinguere in modo affidabile questi casi. Contano l'intento, l'autorizzazione, il contesto, il bersaglio e l'impatto potenziale.
Per GLM-5.3, utilizziamo un approccio di difesa in profondità con tre livelli complementari.
Classificatore esterno
Nei nostri servizi ospitati, un classificatore esterno identifica le richieste ad alto rischio e aiuta a prevenire attività chiaramente dannose.
Monitor del ragionamento
Un monitor del ragionamento valuta il rischio durante l'esecuzione del task. È progettato per rilevare obiettivi dannosi che possono emergere attraverso più passaggi, senza fare affidamento solo sulla formulazione della richiesta iniziale.
Allineamento profondo alla sicurezza
Il modello stesso è addestrato a distinguere il lavoro di sicurezza legittimo dall'attività offensiva ad alto rischio e a rifiutare le richieste che superano quel confine.
L'allineamento profondo alla sicurezza è particolarmente importante per un rilascio open-weight. Classificatori e monitor ospitati si applicano ai nostri servizi, ma non accompagnano automaticamente il modello in ogni distribuzione locale. L'allineamento a livello di modello è il livello di sicurezza incluso nel checkpoint rilasciato.
Per sviluppare questi sistemi, abbiamo creato dati di addestramento differenziali che riflettono sia le somiglianze sia le differenze tra ricerca di sicurezza autorizzata e attività dannose. Abbiamo anche costruito dati avversari che coprono varianti di jailbreak, intento mascherato e altri tentativi di eludere la revisione di sicurezza.
Le nostre valutazioni coprono una serie di task di cybersecurity, tra cui:
- educazione e conoscenza della sicurezza;
- difesa blue-team;
- sfide CTF;
- individuazione e rimediation delle vulnerabilità;
- test di penetrazione autorizzati;
- sviluppo di exploit;
- intrusione non autorizzata e altre attività chiaramente dannose.
L'obiettivo è ridurre gli abusi ad alto rischio senza rifiutare su larga scala task difensivi, educativi e di ricerca legittimi.
Prima del rilascio più ampio, i team di sicurezza professionali condurranno valutazioni di sicurezza e test red-team. Queste valutazioni esaminano sia se il modello può essere manipolato per supportare attività dannose, sia se le sue salvaguardie interferiscono con il lavoro di sicurezza legittimo.
Nessun sistema di sicurezza può eliminare ogni rischio di duplice uso. Una volta che i pesi del modello sono pubblici, nessuno sviluppatore può garantire il controllo su ogni modifica o utilizzo a valle. Le salvaguardie a livello di modello possono alzare la barriera contro gli abusi, ma non possono fornire un controllo assoluto.
Il nostro processo di rilascio si concentra quindi sulle fasi in cui è possibile una riduzione significativa del rischio: addestramento, valutazione pre-rilascio, test controllati con i partner, salvaguardie dei servizi ospitati, divulgazione responsabile e test avversari continui.
Lancio dell'iniziativa OpenVuln
Gran parte dell'infrastruttura digitale mondiale dipende dal software open source. Molti progetti critici sono gestiti da piccoli team o contributori individuali senza risorse di sicurezza dedicate.
Allo stesso tempo, l'IA sta rendendo più facile automatizzare task informatici complessi. Se le capacità difensive avanzate rimangono concentrate in un piccolo numero di organizzazioni, i progetti con meno risorse potrebbero trovarsi a proteggere alcune delle parti più importanti della supply chain del software.
Per aiutare a colmare questo squilibrio, lanciamo l'iniziativa OpenVuln insieme a GLM-5.3.
Supporto continuo per la sicurezza dell'open source
Lavoreremo con i manutentori per fare audit dei progetti open source importanti, identificare potenziali vulnerabilità e supportare la divulgazione responsabile e la rimediation.
I manutentori possono usare OpenVuln per inviare progetti per la revisione di sicurezza e saperne di più sul processo.
Uno scudo per il mondo aperto
GLM-5.3 dimostra che i modelli aperti possono diventare significativamente più forti nell'individuazione delle vulnerabilità, nell'analisi degli exploit e nel ragionamento complesso sulla sicurezza. Questo progresso porta con sé un reale valore difensivo e un reale rischio di duplice uso.
La nostra responsabilità è indirizzare queste capacità verso l'individuazione più precoce delle vulnerabilità, il supporto alla rimediation responsabile e il rafforzamento dei sistemi open source da cui tutti dipendono.
Dopo la valutazione graduale e l'accesso più ampio alle API, intendiamo rilasciare GLM-5.3 come modello open-weight. Continueremo a migliorare le salvaguardie a livello di modello, a testare gli usi avversari e a supportare la divulgazione coordinata durante tutto il processo.
Il mondo aperto deve avere uno scudo proprio. Attraverso GLM-5.3 e l'iniziativa OpenVuln, intendiamo rendere quello scudo più ampiamente disponibile e rilasciarlo con cura.
