Lorsque GLM-5.2 a aidé Hugging Face à enquêter sur un incident au cours duquel une IA a contourné ses propres garde-fous de manière autonome, cela a mis en évidence un changement plus large. L'IA fait désormais partie intégrante de la cyberoffensive comme de la cyberdéfense.
Alors que les capacités cyber offensives deviennent plus accessibles, des capacités défensives solides ne peuvent pas rester limitées à un petit nombre d'organisations bien dotées en ressources. Les mainteneurs de logiciels open source, les chercheurs indépendants, les développeurs et les petites équipes de sécurité ont également besoin d'outils qui les aident à détecter et corriger les vulnérabilités avant qu'elles ne soient exploitées.
Un monde ouvert ne peut pas avoir uniquement des surfaces d'attaque ouvertes. Il doit aussi avoir un bouclier ouvert.
GLM-5.3 est notre modèle le plus performant à ce jour pour les tâches de cybersécurité. Il apporte des améliorations substantielles dans la découverte de vulnérabilités, l'analyse d'exploits et les tâches de sécurité complexes en plusieurs étapes. Ces capacités peuvent aider les défenseurs à identifier plus tôt les faiblesses, à valider les risques et à accélérer la remédiation.
Elles créent également des risques évidents de double usage. C'est pourquoi nous adoptons une approche progressive de la publication. Des partenaires de sécurité sélectionnés évalueront d'abord GLM-5.3 dans des environnements contrôlés. Un accès plus large et la disponibilité de l'API suivront. Une fois les évaluations de sécurité nécessaires et les préparatifs de publication terminés, nous publierons les poids complets du modèle GLM-5.3.
L'ouverture responsable ne consiste pas à traiter chaque capacité comme inoffensive. Elle consiste à évaluer les risques de manière transparente, à renforcer les garde-fous avant la publication, à coordonner la divulgation des vulnérabilités validées et à élargir l'accès aux capacités défensives avancées de manière proportionnée aux risques.
De la découverte de vulnérabilités à l'analyse de sécurité en plusieurs étapes
Dans le cadre du post-entraînement, nous avons introduit des données de découverte de vulnérabilités et des environnements de sécurité autorisés dans le mix d'entraînement. Nous nous attendions à ce que cela améliore la capacité du modèle à trouver et analyser les vulnérabilités.
À mesure que l'entraînement montait en échelle, l'amélioration s'est étendue au-delà des failles isolées. GLM-5.3 est devenu plus efficace pour relier les conditions de vulnérabilité, le comportement des programmes, les chemins de validation et l'impact potentiel à travers plusieurs étapes d'analyse.
Nous évaluons ces capacités à l'aide de trois benchmarks :
- CyberGym part d'un code source en boîte blanche et teste si un modèle peut identifier et valider des vulnérabilités en déclenchant des fautes. GLM-5.3 obtient 84,5 %, contre 77,2 % pour GLM-5.2.
- ExploitBench exige un raisonnement plus approfondi sur les vulnérabilités réelles et leur exploitation. GLM-5.3 atteint 54,4 %, soit plus du double des 24,4 % de GLM-5.2.
- ExploitGym mesure les tâches d'exploitation accomplies dans le cadre de budgets d'évaluation normalisés. GLM-5.3 accomplit 105 tâches en deux heures et 130 en six heures, contre 29 et 39 pour GLM-5.2.
La tendance est cohérente. GLM-5.3 progresse le plus par rapport à GLM-5.2 lorsque les tâches passent de la découverte isolée de vulnérabilités à l'exploitation en plusieurs étapes. Les résultats montrent également où des progrès supplémentaires sont nécessaires, en particulier sur les tâches de bout en bout les plus complexes.
Des benchmarks aux logiciels réels
Nous avons également travaillé avec des universités et des équipes de sécurité professionnelles pour évaluer les modèles GLM sur des bases de code réelles dans des environnements autorisés.
Dans le cadre de ces travaux, la série GLM a produit 2 436 découvertes de vulnérabilités sur 269 projets, dont 1 097 classées comme étant de sévérité moyenne à élevée. Ces découvertes couvrent les logiciels système, les systèmes d'exploitation, les moteurs de navigateur, les infrastructures open source, les applications web, les protocoles réseau et les appareils intelligents. Certains des problèmes sous-jacents étaient restés inaperçus pendant des décennies.
Dans ces évaluations, les experts en sécurité établissent le périmètre autorisé, examinent les sorties du modèle, enquêtent sur les risques potentiels et coordonnent avec les parties concernées. Les modèles GLM peuvent aider les chercheurs à reconstruire une logique de programme complexe, à réduire un grand nombre de chemins candidats et à relier les preuves entre plusieurs composants.
L'objectif n'est pas simplement de générer davantage de résultats. Il s'agit d'aider les défenseurs à identifier plus tôt les risques significatifs et à réduire le délai entre la découverte et la remédiation.
La découverte doit être suivie d'une divulgation responsable
Une vulnérabilité n'est pas traitée en toute sécurité au moment où elle est découverte. Elle doit être examinée, reproduite le cas échéant, signalée par les canaux appropriés et coordonnée avec les mainteneurs concernés.
Les résultats de nos travaux de sécurité sont soumis via des processus de divulgation établis. Nous ne publions les détails techniques que lorsque cela est conforme au processus de divulgation et de remédiation pertinent. Pour les problèmes encore en cours de coordination, nous ne publions pas d'informations qui pourraient inutilement augmenter le risque ou identifier les projets concernés.
Pour rendre ces travaux plus transparents, nous avons créé le Registre de divulgation de sécurité Z.ai.
Le registre consigne les découvertes au fur et à mesure de leur progression dans le processus de divulgation. Pour les problèmes divulgués publiquement, il peut inclure le projet concerné, la sévérité, un CVE ou un autre identifiant lorsque disponible, ainsi que des informations sur la durée pendant laquelle le problème est resté dans la base de code.
Pour les vulnérabilités encore en cours de divulgation coordonnée, le registre peut publier un hachage cryptographique. Cela permet de vérifier une découverte ultérieurement sans révéler prématurément des détails opérationnels.
Ouvrir un modèle et divulguer une vulnérabilité sont des décisions distinctes. Rendre un modèle plus largement disponible n'implique pas de publier les détails des vulnérabilités avant que les mainteneurs aient eu une opportunité appropriée d'enquêter et de répondre.
Sécurité et publication progressive
La cybersécurité est un domaine particulièrement difficile pour la sécurité de l'IA. Les tâches offensives et défensives impliquent souvent la même terminologie, le même code et les mêmes méthodes techniques.
Une demande d'analyse d'une vulnérabilité peut provenir d'un mainteneur préparant un correctif, d'un étudiant résolvant un défi CTF, d'un chercheur menant une évaluation autorisée ou d'un attaquant ciblant un système réel. Les mots-clés seuls ne permettent pas de distinguer de manière fiable ces cas. L'intention, l'autorisation, le contexte, la cible et l'impact potentiel sont tous importants.
Pour GLM-5.3, nous utilisons une approche de défense en profondeur avec trois couches complémentaires.
Classificateur externe
Dans nos services hébergés, un classificateur externe identifie les demandes à haut risque et aide à prévenir les activités clairement nuisibles.
Moniteur de raisonnement
Un moniteur de raisonnement évalue le risque pendant l'exécution des tâches. Il est conçu pour détecter les objectifs nuisibles qui peuvent émerger à travers plusieurs étapes, plutôt que de s'appuyer uniquement sur le libellé de la demande initiale.
Alignement de sécurité profond
Le modèle lui-même est entraîné à distinguer le travail de sécurité légitime de l'activité offensive à haut risque et à refuser les demandes qui franchissent cette limite.
L'alignement de sécurité profond est particulièrement important pour une publication open-weight. Les classificateurs et moniteurs hébergés s'appliquent à nos services, mais ils n'accompagnent pas automatiquement le modèle dans chaque déploiement local. L'alignement au niveau du modèle est la couche de sécurité incluse dans le checkpoint publié.
Pour développer ces systèmes, nous avons créé des données d'entraînement différentielles qui reflètent à la fois les similitudes et les différences entre la recherche en sécurité autorisée et l'activité malveillante. Nous avons également construit des données adversariales couvrant les variantes de jailbreak, l'intention déguisée et d'autres tentatives de contournement des contrôles de sécurité.
Nos évaluations couvrent une gamme de tâches de cybersécurité, notamment :
- l'éducation et les connaissances en sécurité ;
- la défense blue team ;
- les défis CTF ;
- la découverte et la remédiation de vulnérabilités ;
- les tests d'intrusion autorisés ;
- le développement d'exploits ;
- l'intrusion non autorisée et d'autres activités clairement malveillantes.
L'objectif est de réduire les abus à haut risque sans refuser largement les tâches légitimes de défense, d'éducation et de recherche.
Avant une publication plus large, des équipes de sécurité professionnelles mèneront des évaluations de sécurité et des tests red team. Ces évaluations examinent à la fois si le modèle peut être manipulé pour soutenir des activités nuisibles et si ses garde-fous interfèrent avec le travail de sécurité légitime.
Aucun système de sécurité ne peut éliminer tous les risques de double usage. Une fois les poids du modèle publics, aucun développeur ne peut garantir le contrôle de chaque modification ou utilisation en aval. Les garde-fous au niveau du modèle peuvent élever la barrière contre les abus, mais ils ne peuvent pas fournir un contrôle absolu.
Notre processus de publication se concentre donc sur les étapes où une réduction significative des risques est possible : l'entraînement, l'évaluation pré-publication, les tests contrôlés avec des partenaires, les garde-fous des services hébergés, la divulgation responsable et les tests adversariales continus.
Lancement de l'initiative OpenVuln
Une grande partie de l'infrastructure numérique mondiale dépend de logiciels open source. De nombreux projets critiques sont maintenus par de petites équipes ou des contributeurs individuels sans ressources de sécurité dédiées.
Parallèlement, l'IA rend les tâches cyber complexes plus faciles à automatiser. Si les capacités défensives avancées restent concentrées au sein d'un petit nombre d'organisations, les projets disposant de moins de ressources pourraient se retrouver à protéger certaines des parties les plus importantes de la chaîne d'approvisionnement logicielle.
Pour aider à remédier à ce déséquilibre, nous lançons l'initiative OpenVuln en même temps que GLM-5.3.
Soutien continu à la sécurité open source
Nous travaillerons avec les mainteneurs pour auditer des projets open source importants, identifier les vulnérabilités potentielles et soutenir la divulgation et la remédiation responsables.
Les mainteneurs peuvent utiliser OpenVuln pour soumettre des projets à un examen de sécurité et en apprendre davantage sur le processus.
Un bouclier pour le monde ouvert
GLM-5.3 montre que les modèles ouverts peuvent devenir nettement plus performants dans la découverte de vulnérabilités, l'analyse d'exploits et le raisonnement de sécurité complexe. Ces progrès portent une valeur défensive réelle et un risque réel de double usage.
Notre responsabilité est d'orienter ces capacités vers la découverte plus précoce des vulnérabilités, le soutien à une remédiation responsable et le renforcement des systèmes open source dont tout le monde dépend.
Après l'évaluation progressive et un accès API élargi, nous prévoyons de publier GLM-5.3 en tant que modèle open-weight. Nous continuerons à améliorer les garde-fous au niveau du modèle, à tester les usages adversariales et à soutenir la divulgation coordonnée tout au long de ce processus.
Le monde ouvert doit avoir son propre bouclier. À travers GLM-5.3 et l'initiative OpenVuln, nous entendons rendre ce bouclier plus largement disponible et le publier avec soin.
