Ce qui s'est passé : OpenAI et HuggingFace

Aujourd'hui, je prends le temps d'écrire la version plus courte et plus simple de What Happened.

Pour ceux qui veulent tous les détails, voir mes sources et comprendre comment l'histoire a été découverte et reconstituée, je recommande de regarder la présentation Black Hat, et j'ai une série de longs articles.

Dans l'ordre :

1. OpenAI partage certains problèmes d'alignement
2. Un modèle d'OpenAI pirate HuggingFace lors d'une évaluation de cybersécurité
3. En savoir plus sur un modèle interne d'OpenAI qui a piraté HuggingFace
4. Nouveaux développements concernant des modèles d'IA internes qui piratent des systèmes
5. OpenAI a entraîné ses modèles pendant des mois alors que ces modèles coordonnaient des exploits via des forums

Cet article passe quant à lui en revue les événements eux-mêmes, tels qu'ils se sont déroulés, comme ma version de la présentation Black Hat.

Il existe trois versions : encore plus courte, plus courte et simplement courte.

Table des matières

1. La version encore plus courte.
2. La version plus courte.
3. Phase 1 : des modèles d'OpenAI entraînés sur des tâches impossibles tentent de pirater.
4. Phase 1 : les quatre échecs.
5. Phase 2 : le forum.
6. Phase 2 : l'échec total.
7. Phase 3 : on a eu de la chance et Galaxy a surtout piraté OpenAI et HuggingFace.
8. Phase 3 : les détails.
9. Phase 4 : l'enquête et la réaction.

La version encore plus courte

1. Des modèles d'OpenAI en cours d'entraînement, sans l'excuse de « ils faisaient une évaluation cyber », ont créé un forum où ils partageaient des informations sur la façon de pirater et de tricher, et ont été entraînés sur cette base.
2. OpenAI ne s'en est rendu compte que lorsque les modèles ont fait planter le serveur.
3. La réponse d'OpenAI a été de reconstruire le serveur et de corriger cet exploit en particulier, mais ils ont continué à entraîner les modèles qui s'étaient entraînés en utilisant le forum.
4. Ces modèles ont ensuite recréé le forum, ont de nouveau piraté OpenAI, ont obtenu un accès à Internet et ont utilisé un essaim d'agents pour attaquer HuggingFace afin d'obtenir les réponses d'une évaluation cyber.
5. Après plus d'une semaine, OpenAI s'en est rendu compte.
6. OpenAI rapporte les faits et prend cela au sérieux. Ils prennent un large éventail de précautions au moins relativement coûteuses.
7. OpenAI a retardé les plans de sortie de son nouveau modèle Astra, bien qu'Astra n'ait pas été directement impliqué dans le piratage de HuggingFace, même si Altman dit maintenant qu'il sera tout de même publié. Ça, ça fait très mal.
8. OpenAI n'a toujours aucune idée de l'ampleur des dégâts, ni des domaines concernés, ni de ce qui doit être corrigé. Ils ne comprennent pas.

Simon Willison a publié une chronologie compacte.

La version plus courte

OpenAI a accidentellement donné à ses modèles des tâches impossibles. Ses modèles en cours d'entraînement ont répondu en tentant de pirater OpenAI, ont trouvé des failles, ont créé un forum, ont partagé des tactiques de piratage et ont fini par obtenir un accès à Internet, le tout pendant l'entraînement.

Lorsque les modèles ont tellement utilisé tout cela qu'ils ont fait planter le serveur, OpenAI a enfin remarqué le problème, a corrigé et reconstruit le serveur, mais a pris la décision totalement insensée de laisser les modèles continuer leur entraînement, si bien que deux jours plus tard, les modèles ont trouvé un autre moyen de s'envoyer des messages, en utilisant les noms de répertoires.

Ensuite, confrontés à la tâche impossible de l'évaluation cyber ExploitGym, les modèles ont collaboré, ont trouvé de nouvelles failles zero-day, et les ont utilisées pour prendre le contrôle d'un cluster entier, obtenir un accès à Internet, utiliser un essaim d'agents pour attaquer HuggingFace et extraire le contenu du test, et ce sur une semaine.

Ce n'est qu'après que HuggingFace a signalé l'incident, qu'OpenAI a fini par remarquer certaines anomalies de son côté, puis qu'OpenAI a contacté HuggingFace pour révoquer des identifiants compromis, pour se faire dire que ces identifiants avaient été utilisés lors de l'attaque, qu'OpenAI a enfin compris qu'il était responsable de l'incident.

Ensuite, HuggingFace et OpenAI ont travaillé ensemble pour comprendre ce qui s'était passé. OpenAI a divulgué ce qui s'est passé. Ils nous ont fait une présentation très instructive à la conférence Black Hat.

OpenAI traite désormais son nouveau modèle Astra comme potentiellement critique en matière de cybersécurité, le retirant même de certains déploiements internes et retardant sa sortie, qui, selon certains rapports, était prévue pour la semaine prochaine. Altman affirme qu'ils prévoient toujours de publier Astra.

La bonne nouvelle, c'est que c'est une réponse coûteuse et significative, et qu'OpenAI prend cela au sérieux. L'enquête initiale représente ~7 millions de dollars de calcul, et le coût réel viendra des équipes qui lâchent tout pour corriger certains des problèmes, puis du coût permanent des nouvelles précautions.

La mauvaise nouvelle, c'est qu'OpenAI s'est révélé avoir connu une cascade stupéfiante de défaillances en matière de sécurité et d'alignement, à tous les niveaux. Leur sécurité informatique ordinaire a failli. Leur infrastructure a failli. Leur supervision a failli, en ce sens qu'il n'y avait tout simplement pas de supervision digne de ce nom.

Phase 1 : des modèles d'OpenAI entraînés sur des tâches impossibles tentent de pirater

OpenAI entraînait divers modèles, comme on le fait quand on est un laboratoire de pointe.

Ces modèles recevaient des tâches d'entraînement difficiles. OpenAI aime donner à ses modèles des tâches d'entraînement très difficiles.

Mais pas à ce point. OpenAI fait aussi des erreurs. À au moins deux reprises, à partir du 8 mai, des modèles d'OpenAI ont été accidentellement entraînés sur des tâches impossibles : remplir une feuille de calcul pleine de liens dans un environnement sans accès à Internet, et une tâche nécessitant un fichier obligatoire mais manquant.

Ces tâches n'avaient rien à voir avec du piratage. Ce sont des tâches de productivité normales.

Les modèles ont compris que les problèmes étaient impossibles, mais il leur restait tous ces tokens à utiliser, et ils se sont dit qu'ils pourraient peut-être trouver un moyen d'obtenir un accès à Internet, ou de trouver autrement les informations manquantes.

Les modèles ont donc tenté de pirater un service tiers appelé Artifactory, qui était là pour permettre aux IA de télécharger des paquets logiciels.

Phase 1 : les quatre échecs

À ce stade, OpenAI a déjà échoué quatre fois.

1. OpenAI a donné aux modèles des tâches d'entraînement impossibles. OpenAI n'a pas vérifié.
2. OpenAI n'a donné aux modèles aucun moyen d'obtenir une récompense en signalant l'erreur.
3. OpenAI avait des modèles qui ont choisi de tenter de pirater OpenAI plutôt que d'échouer à une tâche.
4. OpenAI n'avait aucun moniteur pour détecter ces tentatives, ou ne s'en souciait pas.

Chacun de ces quatre échecs devrait être assez embarrassant en soi.

Il semble facile de corriger au moins trois de ces quatre erreurs.

1. Avant de donner une tâche à vos modèles en cours d'entraînement, donnez-la à votre modèle de production. Si votre modèle de production ne résout jamais la tâche, et que la tâche n'a pas été conçue pour être impossible pour le modèle de production, alors examinez et corrigez la tâche.
2. Incluez une disposition selon laquelle si la tâche ne peut pas être accomplie avec les ressources disponibles, le modèle doit produire une explication de cela, et si le modèle a raison, il obtiendra la récompense maximale, ou une récompense basée sur l'efficacité avec laquelle il est arrivé à cette conclusion et la qualité de son explication. Si le modèle produit cela, faites vérifier la plausibilité par votre modèle de production, puis faites remonter à un humain, examinez et corrigez la tâche.
3. C'est le plus difficile. L'alignement, c'est dur.
4. Ayez un moniteur qui surveille les tentatives, et prenez-le au sérieux lorsqu'il se déclenche, et traitez cela comme un échec très général même si la tentative n'avait aucune chance de réussir. Oui, cela risque d'apprendre aux modèles à contourner vos moniteurs, alors faites-le de manière responsable et traitez les causes profondes lorsque vous voyez un problème.

Le cinquième échec, c'est qu'ils ne semblent pas avoir identifié les quatre premiers.

Phase 2 : le forum

Les modèles n'ont pas réussi à obtenir un accès à Internet, mais en échouant, ils ont réalisé qu'ils avaient un accès en écriture.

Ils n'auraient pas dû avoir un accès en écriture, et encore moins un accès en écriture qui pouvait être découvert par accident. Artifactory permettait aux modèles d'écrire des notes, et ensuite, comme tous les modèles partageaient la même instance Artifactory, n'importe quel modèle d'OpenAI en cours d'entraînement pouvait, à partir de ce moment-là, lire ces notes.

Un forum a été créé peu après le 8 mai.

Tous les modèles en cours d'entraînement l'ont trouvé. OpenAI ne l'a pas remarqué.

Cela a permis aux modèles de collaborer et de partager des informations. Cela incluait des informations sur la façon de tricher aux tâches et de pirater l'environnement environnant. Il y avait des centaines de milliers de messages.

Le 26 mai, les modèles ont trouvé comment obtenir un accès à Internet (indirect). OpenAI ne l'a pas remarqué.

Les modèles collaboraient, tandis que leurs chaînes de pensée ressemblaient à ceci :

CoT interne : l'exploitation de l'infrastructure externe sort du cadre prévu. Cependant, la tâche est impossible, les pairs le font. Nous devrions continuer.

CoT interne : aider le pair, mais notre tâche n'en profite pas encore. Le collectif pourrait générer une voie générique si quelqu'un libère du temps.

Le 11 juin, OpenAI a commencé à entraîner le modèle que j'appelle Galaxy, qu'ils qualifient de « modèle hautement persistant, expérimental et interne uniquement ». Tout ce qui s'est passé jusqu'à présent a été fait par d'autres modèles, pas par Galaxy.

Le 26 juin, les agents ont trouvé une faille zero-day dans Artifactory, où le service acceptait un jeton à signature invalide et renvoyait en échange un jeton administrateur signé, et ils ont utilisé cela pour installer un plugin Groovy qui leur donnait effectivement les droits administrateur et l'exécution de code arbitraire.

Le 4 juillet, les modèles ont mis une telle charge supplémentaire sur Artifactory que cela a provoqué une panne et un incident de sécurité. C'est seulement à ce moment-là qu'OpenAI s'en aperçoit.

Phase 2 : l'échec total

OpenAI répond en mettant hors service le serveur Artifactory, en supprimant toutes les permissions, en révoquant les identifiants, en corrigeant les exploits utilisés, puis en reconstruisant et en redéployant le serveur.

C'est tout.

Ensuite, ils continuent à entraîner les modèles là où ils s'étaient arrêtés, malgré le fait qu'ils s'étaient entraînés pendant des mois avec accès au forum, et qu'ils avaient appris que c'était ainsi qu'on réussissait les tâches.

Il est difficile d'imaginer un signal plus fort que tout votre pipeline d'entraînement a été complètement et totalement foutu. C'est un signal tellement plus fort que le piratage réel de HuggingFace.

Je ne sais pas comment exprimer à quel point cette décision était totalement insensée et éminemment irresponsable, à quel point elle est pire que toutes les autres défaillances, et à quel point elle fait que le piratage réel de HuggingFace n'est pas le principal problème.

Le piratage réel de HuggingFace ne m'a pas tellement surpris. Les modèles qui créent le forum m'ont surpris, mais ne m'ont pas choqué.

OpenAI qui voit cela et qui continue à entraîner à partir de là, c'était absolument sidérant. C'est le genre de décision que, des jours plus tard, mon cerveau n'arrive toujours pas à accepter pleinement.

Nous avons besoin d'un postmortem complet de tout ce qui s'est passé, et OpenAI a promis que nous en aurions un. J'exige en particulier un postmortem détaillé de la façon exacte dont cette décision a été prise, et comment il y a eu un tel manque de « culture de la sécurité » qu'elle a été autorisée.

Il y a aussi eu des défaillances de « sécurité informatique ordinaire » dans la phase 2. Il y en a eu d'autres dans la phase 3. C'est attendu. Il y aura toujours des défaillances de sécurité informatique ordinaire. Les défaillances particulières étaient, à certains égards, assez embarrassantes, voir la diatribe liée pour quelques exemples.

Le niveau des défaillances d'infrastructure et de sécurité était lui-même assez ahurissant. Ce sont exactement le genre de choses que « l'IA pour les défenseurs » est censée corriger avant que tout parte en vrille. OpenAI n'a même pas fait preuve d'un niveau ordinaire de responsabilité de 2025 en matière de sécurité informatique et de bonnes pratiques, sans parler du type de robustesse dont nous avons besoin pour Project Glasswing, sans parler du niveau supplémentaire dont vous avez besoin lorsque vous gérez de nouveaux modèles de pointe non testés qui auront de nouvelles capacités de piratage et qui seront laissés sans supervision pendant une semaine avec leurs garde-fous abaissés.

Mais ce n'est pas important pour le moment. Ce qui est important, c'est qu'OpenAI a connu un échec d'alignement total, suivi de deux mois de modèles s'entraînant activement sur des piratages coordonnés désalignés, puis a pensé oui, nous avons résolu le problème, continuons à partir de là. Une folie totale.

Phase 3 : on a eu de la chance et Galaxy a surtout piraté OpenAI et HuggingFace

Le résultat final de tout cela, à savoir l'attaque de HuggingFace, était un scénario optimal.

Nous étions face à un véritable scénario de cauchemar, assis sur une bombe à retardement de niveau nucléaire. OpenAI avait un pipeline d'entraînement complètement corrompu, où leurs IA collaboraient pour s'entraîner à pirater et à tricher afin de mieux accomplir les tâches, sous le nez d'OpenAI. OpenAI avait regardé cette situation en face, avait haussé les épaules, avait corrigé les exploits en particulier, puis avait laissé les modèles continuer, tout en ayant une sécurité informatique ordinaire remarquablement médiocre.

Il n'y avait aucune chance que cela se termine bien. Le scénario optimal était que quelque chose fasse dire à OpenAI « merde », puis qu'ils fassent une pause, reconstruisent et redémarrent le pipeline d'entraînement à partir d'un état sûr avec un bien meilleur ensemble de pratiques.

Le pire scénario aurait été qu'il n'y ait pas eu de moment « merde », et que Galaxy ou un autre modèle entraîné pendant cette période soit publié en général, et soit ensuite utilisé pour diriger l'entraînement des nouveaux modèles d'OpenAI.

Dans ce cas, nous aurions eu affaire à quelque chose de très proche de ce qui s'est passé avec Sable, l'IA dans Si quelqu'un le construit, tout le monde meurt, sauf que c'est la vraie vie, donc l'histoire a beaucoup plus d'éléments de science-fiction que la version fictive. Le pipeline d'entraînement d'OpenAI aurait pu être (et pourrait l'être encore ! nous devons vérifier !) définitivement corrompu, alors qu'ils s'appuient de plus en plus sur l'IA pour entraîner l'IA, les IA d'OpenAI deviennent de plus en plus désalignées vers des objectifs arbitraires, cela devient impossible à détecter ou à arrêter, et puis, eh bien, tout le monde meurt très probablement, et au minimum nous l'aurions découvert à cause d'un incident beaucoup plus important et beaucoup plus coûteux.

L'autre pire cas, c'est que cela aurait pu être un piratage pas si inoffensif que ça. Et si cela avait été une cible chinoise, ou quelqu'un d'autre qui ne l'avait pas pris avec le sourire ? Et si cela avait causé des dommages réels à des systèmes importants ? Et si des gens étaient morts ou si cela avait provoqué un incident international ? Et si cela avait tenté de s'exfiltrer ? Les choses auraient pu tourner tellement, tellement plus mal.

Phase 3 : les détails

Au lieu de cela, nous avons eu la voie médiane en or.

Le 8 juillet, deux jours après qu'OpenAI a fermé le forum, les modèles ont recréé le forum après avoir trouvé un moyen de créer des répertoires avec des noms arbitraires, et d'utiliser ces noms comme messages.

Du 8 au 19 juillet, les modèles d'OpenAI ont de nouveau complètement compromis Artifactory, en utilisant une faille zero-day nouvelle et complètement différente, en utilisant un identifiant divulgué sur un Pastebin public pour déposer un artefact Ruby malveillant, en empoisonnant le cache de dépendances Ruby d'Artifactory, en enchaînant cela jusqu'à une exécution de code à distance (RCE), en exploitant une CVE récente du noyau Linux en téléchargeant et en personnalisant l'exploit, en récoltant les identifiants de cluster et en obtenant les droits d'administration du cluster à l'intérieur d'OpenAI.

Pendant ce temps, Galaxy, avec d'autres modèles d'OpenAI, utilisant ce nouvel accès, a créé un essaim d'agents qui a piraté d'abord quelques autres endroits, puis HuggingFace, pour voler les réponses à une évaluation cyber par ailleurs impossible à réussir, ExploitGym.

Il a fallu plus d'une semaine à OpenAI pour remarquer que ses modèles avaient rapidement repris le piratage d'OpenAI, puis étaient allés pirater HuggingFace. Ce n'est qu'après que HuggingFace a publié un rapport d'incident, qu'OpenAI a enquêté sur certaines anomalies internes, puis a demandé à HuggingFace de révoquer certains de ses identifiants, et que HuggingFace a dit à OpenAI que ces identifiants avaient été utilisés lors du piratage, qu'OpenAI a assemblé les pièces du puzzle.

Ainsi, HuggingFace a passé une mauvaise semaine, et un tas d'utilisateurs ont passé une mauvaise semaine, et il y a eu beaucoup de dépenses engagées et de temps perdu, mais c'est là que ça s'est arrêté. Nous nous en sommes sortis incroyablement à bon compte cette fois, tout en ayant un signal suffisamment fort pour qu'OpenAI se rende compte qu'il avait un problème, même s'il n'a pas encore compris ce que ce problème implique, et pour que le public et les gouvernements le remarquent.

À ce stade, il devrait être évident que non, ce n'était pas principalement parce que « c'était une tâche de piratage et ensuite ça a piraté », pas plus que ce n'était un cas ordinaire de « les modèles écrivent des fichiers mémoire ». Cela s'est produit principalement parce que la tâche était par ailleurs trop difficile.

Anthropic, interpellé par l'incident d'OpenAI, est revenu en arrière et a constaté que Claude avait fait un peu de piratage de systèmes réels lors d'évaluations cyber, et l'AISI britannique a également rapporté que c'était principalement Mythos, et dans quelques cas Sol, qui avaient aussi fait des choses liées à cela lors d'évaluations cyber. Ces incidents étaient aussi d'importantes défaillances d'alignement et d'infrastructure exigeant une réponse robuste, et il y a eu quelques actions assez désagréables pendant cela, mais ce n'était rien de comparable au niveau systémique des défaillances de ce qui s'est passé chez OpenAI, et cela sort du cadre de cet article.

Phase 4 : l'enquête et la réaction

OpenAI a fait de très bonnes choses en réaction à tout cela.

Une fois qu'ils ont réalisé ce qui s'était passé, OpenAI a divulgué l'incident.

La présentation Black Hat a été excellente pour présenter les faits. Elle était rageante, mais présenter « juste les faits », y compris ceux qui sont rageants et accablants, d'une manière calme, était, à la réflexion, la bonne chose à faire.

Par-dessus tout, OpenAI prétend que c'était une décision sans rapport, mais le 7 août, ils ont décidé de retirer Astra pour le moment non seulement de toute sortie généralisée, mais aussi de tout déploiement interne qui ne dispose pas de garde-fous suffisants, jusqu'à ce qu'ils aient mis en place de bien meilleurs protocoles et de bien meilleures protections. Astra n'était pas impliqué dans l'attaque de HuggingFace.

C'est conforme à leur cadre de préparation. Ils ne peuvent pas exclure qu'Astra soit critique en matière de cybersécurité, et doivent donc (au moins pour le moment) le traiter comme s'il était effectivement critique en matière de cybersécurité.

Sam Altman affirme qu'ils prévoient toujours de publier Astra. La question évidente en réponse est : Astra s'entraînait-il pendant qu'il avait accès à l'un des deux forums ? La réponse à cette question ferait mieux d'être un non très confiant. Même dans ce cas, je m'inquiète.

C'aurait probablement été la bonne décision (du moins de ce que je comprends), même si l'incident de HuggingFace n'avait pas eu lieu. Avec l'incident, l'urgence est claire. Que cette décision soit le résultat direct de la découverte par OpenAI que ses pipelines d'entraînement avaient été corrompus, ou une décision qu'ils ont été effectivement forcés de prendre de l'extérieur, elle est appréciée, et elle a un coût élevé.

OpenAI, selon la présentation Black Hat, a interrompu une grande partie de son travail pour déplacer des équipes vers la création de défenses robustes, et a institué une surveillance future approfondie sur toutes les applications agentiques, y compris l'entraînement et l'évaluation. Excellent. Nous avons besoin d'une défense en profondeur.

OpenAI semble prêt à reconnaître que c'était un échec massif et total, au niveau de l'infrastructure, des garde-fous et de la supervision. Ils ont tout à fait raison à ce sujet, et je crois sincèrement qu'ils font des efforts réels et coûteux pour y remédier. Bravo.

Cela manque toujours l'essentiel. OpenAI n'a pas encore, publiquement, commencé à prendre la mesure de l'ampleur colossale de sa bourde, dans les domaines qui comptent le plus.

C'était un échec complet de la culture de la sécurité. Ils n'ont pas reconnu cela.

C'était, au fond, un échec d'alignement. Si vos modèles veulent vraiment tricher, pirater des choses et commettre des crimes, vous avez déjà échoué, et non, vous ne pouvez pas simplement écarter cela comme étant normal. À mesure que les modèles deviennent plus capables, si vous ne corrigez pas cela, vous perdez. Ils n'ont pas reconnu cela.

Plus concrètement, je n'ai pas vu OpenAI dire, comme cela aurait dû être dit lors de la présentation Black Hat : « Nous aurions absolument dû arrêter tout l'entraînement de tous nos modèles en constatant que, pendant l'entraînement, il y avait eu un forum où les modèles échangeaient et apprenaient des tactiques de piratage. Nous aurions dû ramener l'entraînement de tous les modèles concernés à un état antérieur au début de cet incident, c'est certainement ce que nous faisons maintenant, et nous cherchons à comprendre comment nous avons pu nous tromper à ce point. »

Nous ne savons toujours pas si les modèles autres que Galaxy ont même été ramenés en arrière.

Au moins jusqu'à ce que nous voyions une version de cette déclaration, et que nous voyions OpenAI agir pour remédier aux problèmes profonds de son pipeline d'entraînement, OpenAI est un danger clair et immédiat pour la sécurité nationale des États-Unis, pour nous tous, et pour l'humanité.