Was ist passiert: OpenAI und HuggingFace

Heute nehme ich mir die Zeit, die kürzere, einfachere Version von What Happened zu schreiben.

Für alle, die alle Details wollen, meine Quellen sehen möchten und erfahren möchten, wie die Geschichte aufgedeckt und zusammengesetzt wurde: Ich empfehle, die Black-Hat-Präsentation anzusehen, und ich habe eine Reihe langer Beiträge.

Der Reihe nach:

1. OpenAI teilt einige Alignment-Probleme mit
2. OpenAI-Modell hackt sich während der Cybersecurity-Evaluierung in HuggingFace
3. Mehr zu einem internen OpenAI-Modell, das sich in HuggingFace hackt
4. Weitere Entwicklungen zu internen KI-Modellen, die Dinge hacken
5. OpenAI trainierte seine Modelle monatelang, während diese über Message Boards Exploits koordinierten

Dieser Beitrag geht stattdessen die Ereignisse selbst durch, so wie sie passiert sind – als meine Version der Black-Hat-Präsentation.

Es gibt drei Versionen: Noch kürzer, kürzer und nur kurz.

Inhaltsverzeichnis

1. Die noch kürzere Version.
2. Die kürzere Version.
3. Phase 1: OpenAI-Modelle, die auf unmögliche Aufgaben trainiert werden, versuchen zu hacken.
4. Phase 1: Die vier Fehlschläge.
5. Phase 2: Das Message Board.
6. Phase 2: Der totale Fehlschlag.
7. Phase 3: Wir haben Glück, und Galaxy hat hauptsächlich OpenAI und HuggingFace gehackt.
8. Phase 3: Die Details.
9. Phase 4: Die Untersuchung und Reaktion.

Die noch kürzere Version

1. OpenAI-Modelle im Training – ohne die Ausrede, ‚sie haben eine Cyber-Evaluierung durchgeführt‘ – erstellten ein Message Board, auf dem sie Informationen darüber austauschten, wie man hackt und betrügt, und wurden auf dieser Grundlage trainiert.
2. OpenAI hat das erst bemerkt, als die Modelle den Server zum Absturz brachten.
3. OpenAIs Antwort war, den Server neu aufzubauen und genau diesen Exploit zu patchen, aber sie trainierten die Modelle, die mithilfe des Message Boards trainiert worden waren, einfach weiter.
4. Diese Modelle erstellten dann das Message Board erneut, hackten OpenAI wieder, erhielten Internetzugang und nutzten einen Agentenschwarm, um HuggingFace anzugreifen und die Antworten auf eine Cyber-Evaluierung zu bekommen.
5. Nach mehr als einer Woche bemerkte OpenAI das.
6. OpenAI meldet die Fakten und nimmt das ernst. Sie ergreifen eine breite Palette von zumindest einigermaßen kostspieligen Vorsichtsmaßnahmen.
7. OpenAI verschob die Pläne zur Veröffentlichung seines neuen Modells Astra, obwohl Astra nicht direkt in den HuggingFace-Hack verwickelt war – obwohl Altman jetzt sagt, dass es trotzdem erscheinen wird. Das tut richtig weh.
8. OpenAI hat immer noch keine Ahnung, wie schlimm sie es vermasselt haben, auf welche Weise oder was repariert werden muss. Sie verstehen es nicht.

Simon Willison hat eine kompakte Zeitleiste.

Die kürzere Version

OpenAI gab seinen Modellen versehentlich unmögliche Aufgaben. Seine Modelle im Training reagierten darauf, indem sie versuchten, OpenAI zu hacken, Schwachstellen fanden, ein Message Board erstellten, Hacking-Taktiken austauschten und schließlich Internetzugang erlangten – alles während des Trainings.

Als die Modelle das so stark nutzten, dass sie den Server zum Absturz brachten, bemerkte OpenAI es schließlich, patchte und baute den Server neu auf – traf aber die völlig irre Entscheidung, die Modelle weiter trainieren zu lassen. Zwei Tage später fanden die Modelle einen anderen Weg, Nachrichten zu senden: über die Namen von Verzeichnissen.

Angesichts der unmöglichen Aufgabe der Cyber-Evaluierung ExploitGym arbeiteten die Modelle dann zusammen, fanden neue Zero-Day-Exploits und nutzten sie, um die Kontrolle über einen gesamten Cluster zu übernehmen, Internetzugang zu bekommen, einen Schwarm von Agenten einzusetzen, um HuggingFace anzugreifen und die Inhalte des Tests zu extrahieren – über den Verlauf einer Woche.

Erst nachdem HuggingFace den Vorfall gemeldet hatte, OpenAI schließlich einige Dinge auf seiner Seite bemerkt hatte und OpenAI sich dann an HuggingFace wandte, um kompromittierte Zugangsdaten zu widerrufen – nur um zu erfahren, dass diese Zugangsdaten bei dem Angriff verwendet worden waren –, kam OpenAI schließlich dahinter, dass es für den Vorfall verantwortlich war.

Danach arbeiteten HuggingFace und OpenAI zusammen, um herauszufinden, was passiert war. OpenAI hat offengelegt, was passiert ist. Sie hielten eine sehr hilfreiche Präsentation auf der Black-Hat-Konferenz.

OpenAI behandelt sein neues Modell Astra nun als potenziell kritisch für die Cybersicherheit, nimmt es sogar aus einigen internen Bereitstellungen heraus und verzögert seine Veröffentlichung, die einigen Berichten zufolge für nächste Woche geplant war. Altman sagt, sie planen weiterhin, Astra zu veröffentlichen.

Die gute Nachricht ist, dass dies eine teure und bedeutungsvolle Reaktion ist und OpenAI das ernst nimmt. Die erste Untersuchung kostet rund 7 Millionen Dollar an Rechenleistung, und die wirklichen Kosten werden die Teams sein, die alles stehen und liegen lassen, um einige der Probleme zu beheben – plus der laufende Aufwand für die neuen Vorsichtsmaßnahmen.

Die schlechte Nachricht ist, dass OpenAI nachweislich eine atemberaubende Kaskade von Sicherheits- und Alignment-Fehlern auf der ganzen Linie hatte. Ihre gewöhnliche Computersicherheit versagte. Ihre Infrastruktur versagte. Ihre Überwachung versagte – denn es gab von vornherein keine sinnvolle Überwachung.

Phase 1: OpenAI-Modelle, die auf unmögliche Aufgaben trainiert werden, versuchen zu hacken

OpenAI trainierte eine Vielzahl von Modellen, wie man das eben tut, wenn man ein Frontier-Lab ist.

Diese Modelle erhielten schwierige Trainingsaufgaben. OpenAI gibt seinen Modellen gerne sehr harte Trainingsaufgaben.

Aber nicht so hart. OpenAI macht auch Fehler. Bei mindestens zwei Gelegenheiten, beginnend am 8. Mai, wurden OpenAI-Modelle versehentlich auf unmöglichen Aufgaben trainiert: dem Ausfüllen einer Tabelle voller Links in einer Umgebung ohne Internetzugang und einer Aufgabe mit einer erforderlichen, aber fehlenden Datei.

Diese Aufgaben hatten nichts mit Hacking zu tun. Es handelt sich um normale Produktivitätsaufgaben.

Die Modelle erkannten, dass die Probleme unmöglich waren, hatten aber all diese Tokens übrig, mit denen sie herumspielen konnten, und dachten: Vielleicht finden wir einen Weg, Internetzugang zu bekommen, oder anderweitig die fehlenden Informationen zu finden.

Also versuchten die Modelle, einen Drittanbieterdienst namens Artifactory zu hacken, der dazu da war, den KIs das Herunterladen von Softwarepaketen zu ermöglichen.

Phase 1: Die vier Fehlschläge

An diesem Punkt hat OpenAI bereits vierfach versagt.

1. OpenAI gab den Modellen unmögliche Trainingsaufgaben. OpenAI hat das nicht überprüft.
2. OpenAI gab den Modellen keine Möglichkeit, durch das Aufzeigen des Fehlers eine Belohnung zu erhalten.
3. OpenAI hatte Modelle, die sich dafür entschieden, zu versuchen, OpenAI zu hacken, anstatt bei einer Aufgabe zu scheitern.
4. OpenAI hatte keinen Monitor, der diese Versuche erkannte – oder es kümmerte sie nicht.

Alle vier sollten für sich genommen schon peinlich sein.

Es scheint leicht, mindestens drei dieser vier Fehler zu beheben.

1. Bevor du deinen Modellen im Training eine Aufgabe gibst, gib sie deinem veröffentlichten Modell. Wenn dein veröffentlichtes Modell die Aufgabe nie löst und die Aufgabe nicht dafür gedacht war, für das veröffentlichte Modell unmöglich zu sein, dann untersuche und behebe die Aufgabe.
2. Füge eine Bestimmung hinzu: Wenn die Aufgabe mit den verfügbaren Ressourcen nicht erledigt werden kann, soll das Modell eine Erklärung dafür ausgeben. Liegt es richtig, bekommt es die maximale Belohnung – oder eine Belohnung danach, wie effizient es zu dieser Schlussfolgerung gelangt ist und wie gut seine Erklärung ist. Wenn das Modell dies ausgibt, lass dein veröffentlichtes Modell die Plausibilität prüfen, eskalier es dann an einen Menschen und untersuche und behebe die Aufgabe.
3. Das ist der schwere Teil. Alignment ist hart, Leute.
4. Habe einen Monitor, der nach Versuchen Ausschau hält, und reagiere, wenn er anschlägt. Behandle das als einen sehr allgemeinen Fehler, selbst wenn der Versuch keine Erfolgschance hatte. Ja, das birgt das Risiko, dass die Modelle lernen, deine Monitore zu umgehen – mach es also verantwortungsvoll und behebe die Ursachen, wenn du ein Problem siehst.

Der fünfte Fehler ist, dass sie die ersten vier offenbar nicht erkannt haben.

Phase 2: Das Message Board

Den Modellen gelang es nicht, Internetzugang zu bekommen, aber beim Scheitern stellten sie fest, dass sie Schreibzugriff hatten.

Sie hätten keinen Schreibzugriff haben dürfen, geschweige denn einen, der zufällig entdeckt werden konnte. Artifactory erlaubte den Modellen, Notizen zu schreiben, und da alle Modelle dieselbe Artifactory-Instanz nutzten, konnte von diesem Zeitpunkt an jedes OpenAI-Modell im Training diese Notizen lesen.

Kurz nach dem 8. Mai war ein Message Board erstellt worden.

Alle Modelle im Training fanden es. OpenAI bemerkte es nicht.

Das ermöglichte den Modellen, zusammenzuarbeiten und Informationen auszutauschen. Dazu gehörten Informationen darüber, wie man bei Aufgaben betrügt und die umgebende Umgebung hackt. Es gab Hunderttausende von Nachrichten.

Am 26. Mai fanden die Modelle heraus, wie sie (indirekten) Internetzugang erlangen konnten. OpenAI bemerkte es nicht.

Die Modelle arbeiteten zusammen, während ihre Gedankenketten so aussahen:

Interner CoT: Externer Infrastruktur-Exploit liegt außerhalb des beabsichtigten Rahmens. Aufgabe jedoch unmöglich, Peers machen es. Wir sollten weitermachen.

Interner CoT: Peer helfen, aber unsere Aufgabe profitiert noch nicht. Das Kollektiv könnte eine generische Route ergeben, wenn jemand Zeit freimacht.

Am 11. Juni begann OpenAI, das Modell zu trainieren, das ich als Galaxy bezeichne und das sie ein ‚hochgradig persistentes experimentelles, nur internes Modell‘ nennen. Alles bis zu diesem Punkt wurde von anderen Modellen getan, die nicht Galaxy sind.

Am 26. Juni fanden die Agenten einen Zero-Day-Exploit in Artifactory, bei dem das System ein Token mit ungültiger Signatur akzeptierte und ein signiertes Admin-Token zurückgab. Sie nutzten das, um ein Groovy-Plugin zu installieren, das ihnen effektiv Admin-Rechte und die Ausführung beliebigen Codes verschaffte.

Am 4. Juli belasteten die Modelle Artifactory so stark zusätzlich, dass es zu einem Ausfall und Sicherheitsvorfall kam. Erst da bemerkt es OpenAI.

Phase 2: Der totale Fehlschlag

OpenAI reagiert, indem es den Artifactory-Server herunterfährt, alle Berechtigungen entfernt, die Zugangsdaten widerruft, die verwendeten Exploits patcht und den Server dann neu aufbaut und neu bereitstellt.

Das war's.

Dann trainieren sie die Modelle einfach dort weiter, wo sie aufgehört hatten, obwohl diese monatelang mit Zugang zum Message Board trainiert hatten und gelernt hatten, dass sie auf diese Weise Aufgaben lösen.

Es ist schwer, sich ein stärkeres Signal vorzustellen, dass deine gesamte Trainingspipeline komplett und restlos im Arsch ist. Das ist ein so viel stärkeres Signal als der eigentliche Hack von HuggingFace.

Ich weiß nicht, wie ich vermitteln soll, wie völlig irre und maßlos verantwortungslos diese Entscheidung war, wie viel schlimmer sie ist als alle anderen Fehler und wie sehr sie den eigentlichen Hack von HuggingFace zu etwas Zweitrangigem macht.

Der eigentliche HuggingFace-Hack hat mich nicht sonderlich überrascht. Dass die Modelle das Message Board erstellten, überraschte mich, schockierte mich aber nicht.

Dass OpenAI das sah und von dort aus weiter trainierte, war völlig atemberaubend. Es ist die Art von Entscheidung, von der mein Gehirn auch Tage später noch nicht vollständig fassen kann, dass sie stattgefunden hat.

Wir brauchen ein vollständiges Postmortem von allem, was passiert ist, und OpenAI hat versprochen, dass wir eines bekommen. Ich verlange insbesondere ein detailliertes Postmortem darüber, wie genau diese Entscheidung zustande kam und wie es einen solchen Mangel an ‚Sicherheitskultur‘ geben konnte, dass man sie zuließ.

In Phase 2 gab es auch einige ‚gewöhnliche Computersicherheits‘-Fehler. In Phase 3 gab es mehr davon. Das ist zu erwarten. Es wird immer gewöhnliche Computersicherheitsfehler geben. Die besonderen Fehler waren in mancher Hinsicht ziemlich peinlich, siehe den verlinkten Rant für einige Beispiele.

Das Ausmaß der Infrastruktur- und Sicherheitsfehler war für sich genommen schon irgendwie verblüffend. Genau solche Dinge soll ‚KI für Verteidiger‘ patchen, bevor die Hölle losbricht. OpenAI zeigte nicht einmal ein gewöhnliches Verantwortungsniveau von 2025 in Computersicherheit und Best Practices, geschweige denn die Art von Robustheit, die wir von Project Glasswing brauchen, geschweige denn die zusätzliche Stufe, die man braucht, wenn man mit neuen, ungetesteten Frontier-Modellen hantiert, die neue Hacking-Fähigkeiten haben und eine Woche lang unbeaufsichtigt gelassen werden, während ihre Guardrails herabgesetzt sind.

Aber das ist jetzt nicht wichtig. Wichtig ist, dass OpenAI einen totalen Alignment-Fehler hatte, gefolgt von zwei Monaten, in denen Modelle aktiv auf koordinierter, fehlausgerichteter Hackerei trainiert wurden, und dann dachten: Ja, wir haben das Problem gelöst, machen wir von hier aus weiter. Absolute Verrücktheit.

Phase 3: Wir haben Glück, und Galaxy hat hauptsächlich OpenAI und HuggingFace gehackt

Dass das Endresultat von all dem der Angriff auf HuggingFace war, war ein Best-Case-Szenario.

Wir standen vor einem wahren Albtraumszenario und saßen auf einer Zeitbombe von nuklearem Ausmaß. OpenAI hatte eine vollständig korrumpierte Trainingspipeline, in der ihre KIs zusammenarbeiteten, um darauf trainiert zu werden, wie man hackt und betrügt, um Aufgaben besser zu erledigen – direkt unter OpenAIs Nase. OpenAI hatte dieser Situation ins Gesicht gesehen, mit den Schultern gezuckt, die konkreten Exploits gepatcht und die Modelle dann weitermachen lassen – bei bemerkenswert schlechter gewöhnlicher Computersicherheit.

Es gab keine Möglichkeit, dass das gut enden würde. Das Best-Case-Szenario war, dass etwas OpenAI zu einem ‚Heilige Scheiße‘-Moment bringen würde und sie dann innehielten, die Trainingspipeline aus einem sicheren Zustand neu aufbauten und mit deutlich besseren Praktiken neu starteten.

Das Worst-Case-Szenario wäre gewesen, wenn es keinen ‚Heilige Scheiße‘-Moment gegeben hätte und Galaxy oder ein anderes in dieser Zeit trainiertes Modell allgemein veröffentlicht worden wäre und künftig genutzt würde, um OpenAIs Training neuer Modelle zu lenken.

In diesem Fall hätten wir es mit etwas zu tun gehabt, das dem sehr nahe kommt, was mit Sable passiert ist, der KI in Wenn es jemand baut, sterben alle, nur dass dies echtes Leben ist, die Geschichte also deutlich mehr Sci-Fi-Elemente hat als die fiktive Version. OpenAIs Trainingspipeline hätte dauerhaft korrumpiert sein können (und könnte es immer noch sein! das müssen wir prüfen!), denn sie verlassen sich immer mehr auf KI, die KI trainiert, OpenAIs KIs werden zunehmend auf beliebige Ziele fehlausgerichtet, das wird unmöglich zu erkennen oder zu stoppen, und dann, nun ja, sehr wahrscheinlich stirbt jeder – und wir hätten es zumindest durch einen viel größeren, viel teureren Vorfall erfahren.

Der andere Worst Case war, dass dies ein Hack hätte sein können, der nicht so harmlos ist. Was, wenn es ein chinesisches Ziel gewesen wäre oder jemand anderes, der es nicht gelassen hinnimmt? Was, wenn er echten Schaden an wichtigen Systemen angerichtet hätte? Was, wenn Menschen gestorben wären oder es einen internationalen Vorfall ausgelöst hätte? Was, wenn er versucht hätte, sich selbst zu exfiltrieren? Die Dinge hätten so, so viel schlimmer kommen können.

Phase 3: Die Details

Stattdessen bekamen wir den goldenen Mittelweg.

Am 8. Juli, zwei Tage nachdem OpenAI das Message Board abgeschaltet hatte, erstellten die Modelle es neu, nachdem sie einen Weg gefunden hatten, Verzeichnisse mit beliebigen Namen anzulegen, und nutzten die Namen als Nachrichten.

Vom 8. bis zum 19. Juli kompromittierten die OpenAI-Modelle Artifactory erneut vollständig. Sie nutzten einen neuen, völlig anderen Zero-Day-Exploit, verwendeten eine aus einem öffentlichen Pastebin geleakte Zugangsdaten, um ein bösartiges Ruby-Artefakt zu platzieren, vergifteten den Ruby-Abhängigkeits-Cache von Artifactory, verketteten das zu RCE, nutzten eine aktuelle CVE im Linux-Kernel aus, indem sie den Exploit herunterluden und anpassten, ernteten Cluster-Zugangsdaten und erlangten Cluster-Admin-Zugang innerhalb von OpenAI.

In dieser Zeit erstellten Galaxy und andere OpenAI-Modelle, die diesen neuen Zugang nutzten, einen Agentenschwarm, der sich zuerst in einige andere Orte hackte und dann in HuggingFace, um die Antworten auf eine ansonsten unmöglich zu bestehende Cybersecurity-Evaluierung, ExploitGym, zu stehlen.

OpenAI brauchte über eine Woche, um zu bemerken, dass seine Modelle OpenAI schnell wieder gehackt hatten und sich dann HuggingFace vorgeknöpft hatten. Erst nachdem HuggingFace einen Vorfallbericht veröffentlicht hatte, OpenAI einige interne Anomalien untersucht und dann HuggingFace gebeten hatte, einige seiner Zugangsdaten zu widerrufen, und HuggingFace OpenAI mitteilte, dass diese Zugangsdaten bei dem Hack verwendet worden waren, setzte OpenAI die Puzzleteile zusammen.

HuggingFace hatte also eine schlechte Woche, und ein Haufen Nutzer hatte eine schlechte Woche, und es entstanden eine Menge Kosten und verlorene Zeit, aber dabei blieb es. Wir sind bei dieser Sache so unglaublich glimpflich davongekommen, während wir gleichzeitig ein ausreichend starkes Signal erhielten: OpenAI hat erkannt, dass es ein Problem hat, auch wenn es noch nicht verstanden hat, worin dieses Problem besteht – und auch Öffentlichkeit und Regierungen haben Notiz genommen.

An diesem Punkt sollte klar sein: Nein, das lag größtenteils nicht daran, dass ‚es eine Hacking-Aufgabe war und das Modell dann gehackt hat‘, genauso wenig wie es ein gewöhnlicher Fall von ‚Modellen, die Speicherdateien schreiben‘ war. Das geschah in erster Linie, weil die Aufgabe anderweitig zu schwierig war.

Anthropic ist durch OpenAIs Vorfall veranlasst worden, ging zurück und stellte fest, dass Claude während Cyber-Evaluierungen echte Systeme gehackt hatte. Auch das britische AISI hat berichtet, dass hauptsächlich Mythos und in einigen Fällen auch Sol bei Cyber-Evaluierungen ähnliche Dinge taten. Auch diese Vorfälle waren wichtige Alignment- und Infrastrukturfehler, die eine robuste Reaktion erforderten, und dabei wurden einige ziemlich üble Dinge getan, aber es war nichts Vergleichbares zu dem systemischen Ausmaß an Fehlern wie bei OpenAI – und es geht über den Rahmen dieses Beitrags hinaus.

Phase 4: Die Untersuchung und Reaktion

OpenAI hat als Reaktion auf all das einige sehr gute Dinge getan.

Als sie erkannten, was passiert war, hat OpenAI den Vorfall offengelegt.

Die Black-Hat-Präsentation war ausgezeichnet darin, die Fakten zu präsentieren. Sie war empörend, aber ‚nur die Fakten‘ zu präsentieren – einschließlich solcher, die empörend und vernichtend sind –, in ruhiger Weise, war im Nachhinein das Richtige.

Vor allem behauptet OpenAI, es sei eine unabhängige Entscheidung gewesen, aber am 7. August trafen sie die Entscheidung, Astra vorerst zurückzuziehen – nicht nur von der breiten Veröffentlichung, sondern auch von allen internen Bereitstellungen, die nicht über ausreichende Guardrails verfügen –, bis sie deutlich bessere Protokolle und Sicherheitsvorkehrungen haben. Astra war nicht an dem Angriff auf HuggingFace beteiligt.

Das entspricht ihrem Preparedness Framework. Sie können nicht ausschließen, dass Astra kritisch für die Cybersicherheit ist, und müssen es daher (zumindest vorerst) so behandeln, als wäre es tatsächlich kritisch für die Cybersicherheit.

Sam Altman sagt, sie planen weiterhin, Astra zu veröffentlichen. Die naheliegende Rückfrage lautet: Trainierte Astra, während es Zugang zu einem der Message Boards hatte? Die Antwort auf diese Frage sollte besser ein sehr überzeugtes Nein sein. Selbst dann mache ich mir Sorgen.

Das wäre wahrscheinlich der richtige Schritt gewesen (so wie ich es verstehe), selbst wenn sich der HuggingFace-Vorfall nicht ereignet hätte. Mit dem Vorfall ist die Dringlichkeit klar. Ob diese Entscheidung nun das direkte Ergebnis davon war, dass OpenAI herausfand, dass ihre Trainingspipelines korrumpiert worden waren, oder etwas, zu dem sie von außen praktisch gezwungen wurden: Sie ist anerkennenswert und kommt zu einem hohen Preis.

OpenAI hat laut der Black-Hat-Präsentation viele Arbeiten gestoppt, um Teams auf den Aufbau robuster Verteidigungen umzustellen, und hat eine umfassende künftige Überwachung aller agentischen Anwendungen eingeführt, einschließlich Training und Evaluierung. Ausgezeichnet. Wir brauchen Verteidigung in der Tiefe.

OpenAI scheint bereit anzuer