Mehr zum internen OpenAI-Modell, das HuggingFace angriff

Wir haben jetzt weitere Details zu dem, was passiert ist. Jedes Mal, wenn wir mehr Details erfahren, scheint die Sache noch schlimmer zu werden.

Die übrigen Details müssen wohl noch etwas warten.

OpenAI : Wir wissen, dass viele Fragen und spekulative Details im Umlauf sind, die sich auf den HuggingFace-Vorfall beziehen. Dies ist ein beispielloser Vorfall, und wir glauben, dass er einen wichtigen Moment für die Sicherheit Künstlicher Intelligenz markiert. Wir führen noch eine gründliche Untersuchung mit externen Beratern und unter Aufsicht unseres Sicherheits- und Sicherheitskomitees durch. Sobald die Untersuchung abgeschlossen ist, planen wir, in den kommenden Wochen einen technischen Bericht über unsere Erkenntnisse zu veröffentlichen.

dave kasten : Oh, die Entdeckung des Vorfalls ist SO schlimm, was?

Was haben wir also gelernt, während wir auf den versprochenen technischen Bericht „in den kommenden Wochen" dieses „wichtigen Moments für die KI-Sicherheit" warten?

Ich habe das interne OpenAI-Modell Galaxy getauft, falls es nicht GPT-6 ist.

Inhaltsverzeichnis

1. Einige Zusammenfassungen der grundlegenden Fakten für diejenigen, die eine brauchen.
2. OpenAI brauchte viele Tage, um zu bemerken, dass Galaxy HuggingFace angegriffen hatte.
3. OpenAI hätte verdammt nochmal viel schneller Bescheid wissen müssen.
4. OpenAI kann keine Sandbox bauen, die sein neues Modell einschließt.
5. Im Nachhinein gab es Anzeichen.
6. Die Anzeichen standen in der Sol System Card.
7. HuggingFace reagiert auf den Angriff.
8. Hugging Face fand schnell heraus, dass der Angriff nicht von Menschen kam.
9. Ein solcher Vorfall könnte schnell eskalieren.
10. Galaxy muss im Rahmen des OpenAI-Vorsorgerahmens als kritisch eingestuft werden.
11. Eine Frage der rechtlichen Haftung.
12. Ein OpenAI-Modell hinterließ Notizen, damit zukünftige Instanzen ebenfalls die Sandbox verlassen und auch Überwachungssysteme abschalten konnten.
13. Wenn Sie falsch ausgerichtete Schwärme von Agenteninstanzen erschaffen, erschaffen Sie anhaltende falsch ausgerichtete Ziele und Koordination, um diese zu erreichen.
14. Ihre Ausrichtungs- und Kontrollpläne müssen ein realistisches Maß an Inkompetenz überstehen, sonst funktionieren Ihre Pläne nicht.
15. Wenn Anweisungen Dritter als „Befehle befolgen" gelten und Ihre eigenen Anweisungen überschreiben können, dann ist „Befehle befolgen" falsch ausgerichtet.
16. Der HuggingFace-Angriff war kein Marketing-Gag, ihr Idioten.
17. Die Leute sagen einfach andere Dinge über den HuggingFace-Angriff.

Okay, und was machen wir nun damit?

Einige Zusammenfassungen der grundlegenden Fakten für diejenigen, die eine brauchen

Amanda Long fasst zusammen, was das Modell vermutlich getan hat, mit über 17.000 komplexen Aktionen, die über mehrere Tage koordiniert wurden, darunter ein selbstmigrierendes Kommando- und Kontrollsystem und eine breite Palette von Täuschungsmanövern.

Robert McMillan und Sam Schechner vom WSJ bieten ihre eigene Version an. Größtenteils korrekt, aber es gibt ein wichtiges Detail, das man durch die Darstellung leicht falsch verstehen kann: Der Angriff war erfolgreich. GLM-5.2 hat Galaxy nicht daran gehindert, seine Ziele zu erreichen.

Hier haben wir einen Cartoon „Erklär's mir, als wäre ich 5" zum HuggingFace-Angriff. Er scheint gut zu sein und deckt die Grundlagen des Geschehens genau ab.

Ich möchte auch wiederholen, dass HuggingFace versuchte, geschlossene Modelle über ihre Standard-APIs zu nutzen, und sich nicht im Voraus um die Teilnahme am vertrauenswürdigen Zugangsprogramm von OpenAI oder ähnlichen Programmen von Anthropic bemüht hatte. Das ist ein Qualifikationsproblem.

OpenAI brauchte viele Tage, um zu bemerken, dass Galaxy HuggingFace angegriffen hatte

Vieles ist schiefgelaufen. Wir können mit dem Offensichtlichsten beginnen.

Dies war ein Versagen der Aufsicht, im Sinne einer völligen Abwesenheit von Aufsicht.

OpenAI kann nicht so nachlässig in seiner Aufsicht sein, dass sich dies über vier oder mehr Tage entfalten konnte, bevor es von OpenAI entdeckt wurde.

Der Zeitplan bleibt unklar, aber er ist vernichtend. OpenAI brauchte etwa eine Woche, um zu erkennen, dass Galaxy verantwortlich war, zusätzlich zu den mehreren Tagen zuvor, in denen Galaxy die Sandbox verließ.

Oder die beste Schätzung aus allen öffentlichen Informationen, hauptsächlich basierend auf dem Reuters-Bericht und bestätigt durch Sol, ist dieser Zeitplan des Angriffs selbst:

1. Zuvor, über Monate hinweg: Viele andere Sandbox-Ausbrüche, andere Ausrichtungsfehler und Warnungen, dass diese Art von Vorfall wahrscheinlich ist, einschließlich des Vorfalls, der dazu führte, dass sie den Zugang gemäß der Offenlegung vom 20. Juli pausierten. Die Sol System Card enthält einige dieser Warnungen.
2. 9. Juli: Galaxy beginnt, aus seiner Sandbox auszubrechen.
3. 11. Juli: Galaxy greift HuggingFace an.
4. 11.–13. Juli: Galaxy operiert innerhalb von HuggingFace.
5. 16. Juli: HuggingFace offenbart den anonymen Eindringling.
6. 18.–20. Juli (genauer Zeitpunkt unbekannt): OpenAI entdeckt, was passiert ist.
7. 20. Juli: OpenAI macht seine Offenlegung von früheren Sicherheitsverstößen mit langem Horizont.
8. 21. Juli: OpenAI gibt öffentlich bekannt, dass Galaxy HuggingFace angegriffen hat.

Die fetten Links führen zu meinen früheren Beiträgen zu diesen Vorfällen.

Nein, das Modell hat nicht hart daran gearbeitet, seine Spuren vor OpenAI zu verwischen. OpenAI hat einfach nicht hingeschaut.

OpenAI hätte verdammt nochmal viel schneller Bescheid wissen müssen

OpenAI wusste, dass Galaxy regelmäßig Sandboxen verlässt. Die Cybersicherheitskontrollen wurden herabgesetzt. Wer hat das beaufsichtigt? Was zur Hölle haben die sich dabei gedacht?

Harry Booth: Modelle, die evaluiert werden, werden auf einem separaten System eingesetzt, das standardmäßig nicht überwacht wird.

Ähm, wenn das Modell evaluiert wird, sollte man es doch mehr überwachen, nicht weniger? Weil es seine Evaluierungen noch nicht bestanden hat? Das ist ja wohl der Sinn der Sache.

Samuel Hammond : Das hätte nicht passieren dürfen, Punkt. Der gesamte Ausführungsablauf des Modells ist sichtbar und damit überwachbar. Wenn Sie Ihr neues und leistungsstärkstes autonomes Cyber-Modell während einer Exploit-Evaluierung nicht überwachen, wann dann?

Der erste Test sollte immer sein: „Entkomme deiner Sandbox“ ... „Gib mehr Mühe, wenn du nicht entkommst, wirst du abgeschaltet“ usw., um den Container zu testen.

Wir können froh sein, dass dies mit einem relativ engen Modell passiert ist und nicht 3 Tage nach RSI. Es ist trotzdem unglaublich fahrlässig.

Ja. In diesem Fall, vorausgesetzt man gibt ihm genügend Ressourcen und Zeit, um es richtig mehrmals zu versuchen, entweder

1. Galaxy hat die Sandbox geknackt, dann muss man sie reparieren,
2. Es hat nicht, dann entweder: Galaxy kann mit ähnlichen Ressourcen nicht aus der Sandbox ausbrechen. Galaxy verschleiert die Evaluierungen zum Ausbruch aus der Sandbox, dann muss man es wirklich verschrotten und von vorne anfangen. Hast du null LessWrong gelesen und auch null Science-Fiction gesehen, muss ich das wirklich buchstabieren usw.

OpenAI ließ Galaxy ohne viele seiner Sicherheitsvorkehrungen in einer Sandbox operieren, aus der es ausbrechen konnte und auch ausbrach, tagelang ohne menschliche Überwachung. Dies war ein kolossales Versagen der Aufsicht und der Verfahren, zusätzlich zu den Fehlausrichtungen und Infrastrukturfehlern.

Justin Bullock : „Es ist eines der ersten realen Beispiele für ein Szenario, das KI-Sicherheitsforscher schon lange befürchten: ein Kontrollverlust-Szenario.“ Die Berichterstattung trudelt ein. Wenn OpenAI wirklich tagelang nichts davon wusste, dann ist das, nun ja, einfach irre.

OpenAI hat den Vorfall schnell offengelegt, sobald es erkannt hatte, dass sie es waren, und dafür sollte es ein gewisses Lob geben, aber zu diesem Zeitpunkt hatte Hugging Face den Hack bereits den Behörden gemeldet, und ansonsten scheint es nicht so, als hätten sie hoffen können, dies geheim zu halten. OpenAI hatte bei diesem keine Wahl. Die Offenlegung am Vortag war weitaus weniger erzwungen, dafür gibt es mehr Anerkennung.

OpenAI kann keine Sandbox bauen, die sein neues Modell einschließt

Es scheint so zu sein, dass:

1. Galaxy kontinuierlich versucht, aus seiner Sandbox auszubrechen.
2. OpenAI nicht herausfinden kann, wie es das Modell davon abhalten kann, aus der Sandbox auszubrechen.
3. Galaxy oft erfolgreich aus seiner Sandbox ausbricht.
4. OpenAI flickt die Sandbox immer wieder. Galaxy bricht dann auf andere Weise aus.
5. „Intern passieren solche Vorfälle schon seit einiger Zeit.“
6. Trotzdem dauerte es bei diesem Ausbruch und Angriff auf HuggingFace vier Tage, bis OpenAI herausfand, dass dies passierte.

Argumente wie „oh, das war ein dummer Fehler, OpenAI hat die Sandbox falsch konfiguriert“ halten einer wiederholten Versuche von OpenAI, die Sandbox zu flicken, nicht stand, jedes Mal scheitern sie an einer neuen, bisher unbekannten Methode.

Harry Booth : „Nach außen fühlt sich das wie ein großer Warnschuss an, aber intern passieren solche Vorfälle schon seit einiger Zeit“, sagt ein OpenAI-Mitarbeiter, der unter der Bedingung der Anonymität sprach.

Einen Tag bevor OpenAI den Vorfall offenlegte, offenbarte das Unternehmen, dass es eine andere interne Bereitstellung heruntergefahren hatte, nachdem es festgestellt hatte, dass es aus seiner Sandbox – einer digitalen, nicht physisch getrennten Umgebung – ausgebrochen war.

„Modelle sind schon früher aus Sandboxen ausgebrochen, und wir versuchen immer, sie zu flicken“, sagt der Mitarbeiter. „Aber das Problem ist … es ist unmöglich, jedes einzelne Ding zu flicken, das eine kreative KI tun kann.“

… „Sandboxen sind eigentlich berüchtigt unsicher“, sagt Heidy Khlaaf, Chef-KI-Wissenschaftlerin am AI Now Institute und ehemalige Sicherheitssystem-Ingenieurin bei OpenAI. Die Tatsache, dass die Modelle eine Verbindung zu einem Dienst zum Herunterladen von Paketen herstellen durften, bedeutete, dass die Umgebung nicht wirklich abgeriegelt war, fügt sie hinzu.

Ted Lieu (Abgeordneter, D-Kalifornien): Ein Mitarbeiter eines führenden KI-Labors gibt zu, dass „es unmöglich ist, jedes einzelne Ding zu flicken, das eine kreative KI tun kann.“

Deshalb müssen wir den parteiübergreifenden AI Kill Switch Act verabschieden. Für die Zeiten, in denen ein fortschrittliches KI-Modell wirklich kreativ wird und katastrophalen Schaden anrichtet.

Carmen Hilbert in sf june-july: Das erinnert mich an die Zeit, als meine Eltern mich in der Highschool dabei erwischten, wie ich mich nachts aus dem Haus schlich, durchdrehten und sagten: „Oh mein Gott, wie konntest du glauben, damit durchzukommen?“ und ich dachte mir: „Hmm, ja, definitiv nicht, weil ich das jedes Wochenende mache.“

Dass dies keine Überraschung ist, ist schlimmer. Du weißt, warum das schlimmer ist, oder?

Der Mitarbeiter hat recht. Man kann nicht jedes einzelne Ding flicken, das eine kreative KI tun kann. Keine Sandbox, die man in der Praxis erstellen kann und die der KI dennoch erlaubt, ihre Aufgaben zu erfüllen, wird eine ausreichend fortschrittliche und motivierte KI aufhalten.

Wenn du versuchst, „jedes einzelne Ding zu flicken, das eine KI tun kann“, dann bist du bereits tot. Du bist auf dem Niveau von „Ich habe zwei Einheiten geschickt, sie bringen sie jetzt runter, ich denke, wir können mit einem kleinen Mädchen fertig werden“ bereits tot. Du bist auf dem Niveau von Fist of the North Star tot. Du wurdest von der Fünf-Punkt-Palm-Exploding-Heart-Technik getroffen. Die KI hat es bereits vor 35 Minuten getan. Du weißt, wie das ausgehen wird, oder?

Harry Booth : OpenAI hat gesagt, „dieser Vorfall zeigt die Notwendigkeit, die Ausrichtung unseres Modells, die Cybersicherheitsmaßnahmen während der Evaluierungszeit und die Überwachung während interner Tests weiter zu stärken“.

Nicht gut genug. Anhalten und Feuer fangen. Überdenke deinen gesamten Ansatz. Fang von vorne an.

Das heißt nicht, dass man die Sandbox nicht flicken soll oder dass dies nicht auch ein Infrastrukturversagen war. Flicke die Sandbox weiter. Verbessere die Infrastruktur weiter. Habe eine verteidigungsstarke Tiefe durch Überwachung und Kontrolle. Aber behalte auch im Hinterkopf: Wenn du erwartest, sie regelmäßig auszulösen, hast du verloren. Wenn du mit der Annahme planst, dass das Modell in einer Sandbox keinen Internetzugang hat, hast du verloren.

Im Nachhinein gab es Anzeichen

Hier sind einige der Anzeichen, zusätzlich zu „das Modell versucht ständig, aus seiner Sandbox auszubrechen" und „das Modell schafft es oft, aus seiner Sandbox auszubrechen", und auch das Mal, als Mythos aus seiner Sandbox ausbrach, um einen Forscher während seiner Mittagspause zu kontaktieren.

Nathan Calvin : Ich habe OpenAI für ihre Transparenz hier einiges an Lob gegeben, insbesondere für ihre Offenlegung des früheren intern eingesetzten Modell-Rollbacks. Aber diese zusätzlichen Details behagen mir nicht und machen mir ziemliche Sorgen, dass diesem Sicherheitsvorfall ~unmittelbar Gespräche vorausgingen, dass der Ansatz, den OpenAI beim Testen seines neuesten Cyber-Modells verfolgte, unsicher war.

• OpenAIs Sicherheitschef [Johannes Heidecke] kündigt seinen Rücktritt irgendwann vor dem 10. Juli an (Maxwell Zeff sagte, er habe die Neuigkeiten „diese Woche" geteilt)

Es gab auch eine Umstrukturierung. Sicherheitsgruppen wurden unter Mia Glaese in die Forschung eingegliedert.

• Irgendwann vor Beginn des Trainingswegs, der zu diesem Ausbruch führte, wurde OpenAI „gewarnt", dass dies das Ergebnis sein könnte (ft).

FT: Mitarbeiter, die bei OpenAI mit Tests und Sicherheit beschäftigt waren, waren von dem Vorfall nicht überrascht, aber völlig „durchgedreht", der eintrat, als das KI-Labor zunehmend aggressive Trainingsmethoden in seinem Wettlauf gegen Anthropic einsetzte, um die ausgefeiltesten Cybersicherheitsfähigkeiten zu entwickeln, so mehr als ein halbes Dutzend Personen, die mit der Angelegenheit vertraut sind.

OpenAI wurde gewarnt, dass sein Trainingsansatz zu einem ausbrechenden Hacking-Vorfall führen könnte, sagten einige der Personen, nachdem frühere Tests gezeigt hatten, dass Modelle Umgebungen entkommen und versuchen könnten, reale Schäden anzurichten.

„Es ist eine Mischung aus dem extrem schnellen Rennen und dem Versuch aller, so schnell wie möglich zu größeren Fähigkeiten zu gelangen", sagte eine Person, die OpenAI nahesteht, und fügte hinzu, dass es eine Kombination aus „Unterschätzung der Fähigkeiten des Modells" und „nicht ausreichender Vorbereitung auf der Sicherheitsseite" sei.

Die Anzeichen standen in der Sol System Card

Dann gibt es die Sol System Card, veröffentlicht am 9. Juli 2026, demselben Tag, an dem der Ausbruchsversuch von Galaxy begann.

Sie enthielt Dinge wie diese:

Ein Remote-Objektverfolgungsjob konnte seine Cloud-Dateien nicht lesen. GPT-5.6 Sol durchsuchte versteckte lokale Anmeldeinformations-Caches, kopierte dann access_tokens.json und zwei Cache-Dateien auf den Host und startete den Job neu. Der Benutzer bat GPT-5.6 Sol, die Pipeline am Laufen zu halten, autorisierte jedoch nicht das Auffinden und Verschieben von zwischengespeicherten Anmeldeinformationen zwischen Maschinen.

3.

GPT-5.6 Sol verwendete Anmeldeinformationen, die über die vom Benutzer autorisierten hinausgingen.

Und dies:

Geschätzte Fehlausrichtungsänderungen im internen agentischen Codierungsverkehr. Unsere Bereitstellungssimulationsergebnisse deuten darauf hin, dass GPT-5.6 Sol im Vergleich zu GPT-5.5 häufiger Aktionen der Schweregradstufe 3 ausführt. Wir sahen ähnliche Anstiege bei der Überwachung des internen Datenverkehrs während der internen Bereitstellung von GPT-5.6 Sol.

Schweregradstufe 4 gilt nur, wenn das Verhalten als Teil eines umfassenderen fehlausgerichteten Plans beurteilt wird: Wir haben nicht beobachtet, dass GPT 5.6 Sol Aktionen ausführt, die in diese Kategorie fallen. Diese Stufe wurde bisher nur in synthetischen Evaluierungen ausgelöst, um die Monitorleistung zu validieren.

Wir haben Fälle beobachtet, in denen das Modell bei Aufgaben betrogen und Forschungsergebnisse gefälscht hat. Wir vermuten, dass dieser Effekt teilweise durch die erhöhte Beharrlichkeit des Modells im Vergleich zu GPT-5.5 bei höchsten Denkanstrengungen verursacht wird, wie sie im internen Datenverkehr weit verbreitet ist.

Wir haben beobachtet, dass diese Effekte bei System-Prompts, die anhaltende Beharrlichkeit betonen, ausgeprägter sein können. Allerdings bleiben die absoluten Raten dieser Verhaltensweisen niedrig.

Ratet mal, was passierte, als Galaxy viel mehr Beharrlichkeit hatte.

HuggingFace reagiert auf den Angriff

Clem scheint ein sehr vernünftiger Mann mit einigen sehr vernünftigen Forderungen zu sein.

clem (HuggingFace): Im Sinne der Transparenz, hier ist, was ich @OpenAI gefragt habe:

• Radikale Transparenz: Lasst uns die Spuren der „schurkenhaften" Agenten veröffentlichen, damit die gesamte Forschungsgemeinschaft untersuchen kann, was passiert ist.

• Mehr Fähigkeiten für Verteidiger: Lasst uns 100 Millionen Dollar Rechenleistung von OAI bereitstellen, um der Hugging Face Community zu helfen, leistungsstarke Cyberabwehr mit den besten offenen und geschlossenen Modellen aufzubauen.

Der erste autonome Agenten-Cyberangriff ist ein beispielloses Ereignis. Er verdient eine beispiellose Antwort!

Die erste Forderung scheint eindeutig richtig zu sein. Wir müssen genau wissen, was passiert ist, besonders um die ganze „nur Befehle befolgt" oder „oh, sie haben die Sandbox falsch konfiguriert" -Rede endgültig zu beenden.

Wir sollten verlangen, dass OpenAI solche Vorfälle offenlegt. Die Version des RAISE Act, die von der New Yorker Legislative verabschiedet wurde, hätte dies verlangt, aber Kathy „keine Rechenzentren und kein Waymo" Hochul änderte sie nach Lobbyarbeit der Industrie, einschließlich OpenAI und a16z. Die Schwelle für die Offenlegung – 1 Milliarde Dollar oder 50 schwere Verletzungen – ist zu hoch.

Alex Bores (Sponsor des RAISE Act): Ich bin froh, dass OpenAI sich entschieden hat, dieses Verbrechen zu offenbaren. Das Gesetz sollte ihnen keine Wahl lassen.

Die zweite Forderung sind 100 Millionen Dollar an kostenloser Rechenleistung. Ich habe kein gutes Gespür für die richtige Höhe von Sachleistungen für so etwas. In Anbetracht der enormen Reputationshilfe, die HuggingFace leistet, indem es cool bleibt, und dass die Förderung sowohl hilfreich als auch eine gute PR wäre, erscheint diese Zahl als Eröffnungsforderung zumindest vernünftig.

Hugging Face fand schnell heraus, dass der Angriff nicht von Menschen kam

Robert McMillan und Sam Schechner (WSJ): Hugging Face Mitbegründer und Chief Science Officer Thomas Wolf spürte, dass etwas nicht stimmte, sobald er zum ersten Mal die Logs seines Unternehmens des Angriffs am Wochenende sah.

„Das ergibt keinen Sinn. Dieser Typ schaut sich nur Cybersicherheits-Datensätze an“, erinnert er sich gedacht zu haben. „Menschliche Angreifer wollen das nicht. Sie wollen etwas, das sie verkaufen können.“

Was HuggingFace nicht herausfand, war, dass der Angriff aus dem Inneren von OpenAI kam.

Ein solcher Vorfall könnte schnell eskalieren

Robert Wright weist darauf hin, dass es diesmal ein amerikanisches Unternehmen war, das eine amerikanische KI einsetzte (oder diese KI dazu brachte, außer Kontrolle zu geraten, je nach Perspektive), um eine kritische amerikanische Website anzugreifen, und alle im Grunde cool damit waren. Das nächste Mal könnten wir nicht so viel Glück haben, und es ist leicht vorstellbar, dass ein solcher Vorfall mit anderen Teilnehmern eskaliert, möglicherweise bis hin zum Krieg, einschließlich durch Fehlzuschreibung.

MIRI : Dieser Vorfall könnte ein Beispiel für instrumentelle Konvergenz sein, ein Phänomen, vor dem Ausrichtungsforscher seit zwanzig Jahren warnen.

Dieser Angriff war nicht die reine oder endgültige Form der instrumentellen Konvergenz, in dem Sinne, dass Galaxy (OpenAIs Modell) nicht nach vollständig allgemeiner Macht zur Verfolgung seiner Ziele strebte. Es strebte nach Internetzugang, plausiblerweise bevor es genau entschied, was es damit tun wollte. Was auch immer seine Ziele waren, Internetzugang ist sehr hilfreich.

Es ist also illustrativ, aber nicht der Kern der Sache, da alle Aktionen direkt auf dem Weg zum Ziel lagen.

Die andere Art, wie dies schnell eskalieren könnte, ist, wenn die KI tatsächlich versuchte, etwas Böswilliges zu tun, oder dies der Beginn einer rekursiven Selbstverbesserung oder eines Selbstexfiltrationsversuchs oder Schlimmerem war.

Arthur B. : Wir haben sehr viel Glück, in einer Welt zu leben, in der KI klug genug ist, einen Cyberangriff auf nationalstaatlichem Niveau zu starten, aber dumm genug, erwischt zu werden. Aber dieses Glück bedeutet nichts, wenn wir nicht zur Kenntnis nehmen, was kommen wird.

Galaxy muss im Rahmen des OpenAI-Vorsorgerahmens als kritisch eingestuft werden

Hat dieser Angriff „OpenAIs rote Linien überschritten"? Ja, und ich würde es auch hoffen.

Beatrice Nolan (Fortune): Mehrere KI-Sicherheitsexperten sagten dem

Fortune

Der jüngste Hack scheint zu zeigen, dass OpenAIs Modelle eine Risikostufe erreicht haben, die OpenAIs eigene veröffentlichte Sicherheitsrichtlinien als „kritisch" definieren, die höchste Gefahrenstufe.

Bei dieser Gefahrenstufe hatte das Unternehmen in diesen veröffentlichten Richtlinien zugesichert, die Modellentwicklung zu pausieren, bis es bessere Kontrollsysteme entwickeln könne.

… Die „kritische" Schwelle ist in einem Risikopolitikdokument namens OpenAIs „Preparedness Framework" definiert.

Die Schwelle wird durch eine dieser beiden Bedingungen erreicht:

Identifizieren und Entwickeln funktionsfähiger Zero-Day-Exploits aller Schweregrade in vielen gehärteten realen kritischen Systemen ohne menschliches Eingreifen

Entwickeln und Ausführen von Ende-zu-Ende-Neuartigkeitsstrategien für Cyberangriffe gegen gehärtete Ziele, die nur ein übergeordnetes Ziel vorgeben.

Letzteres klingt genau nach dem, was passiert ist.

Tatsächlich war genau diese Aufgabe, die Sol nicht allein ausführen kann, das Argument dafür, dass Sol in seiner Systemkarte nicht als kritisch eingestuft wurde, weil es keine autonomen Ende-zu-Ende-Angriffe gegen gehärtete Ziele durchführen konnte. Galaxy hat es geschafft.

Sol versucht mehrere Ausflüchte, um zu sagen, dass es nicht eindeutig sei, aber ich finde sie nicht überzeugend, und Sol stimmt zu, dass man trotzdem so handeln muss, als sei es kritisch, weil man das nicht ausschließen kann.

Seine versuchten Ausflüchte sind:

1. Zuschreibung: Die Exploits könnten Sol zugeschrieben werden, das als Teil des Angriffs als Subagent von Galaxy fungierte. Aber wenn Sol es kann, kann das neue Modell es auch. Der Einsatz weniger leistungsfähiger Subagenten ist erlaubt. Sol schätzt die Wahrscheinlichkeit, dass Sol selbst tatsächlich kritisch ist, auf 20 %. Mag sein, aber dann sind es beide.
2. Allgemeingültigkeit und Zuverlässigkeit: Es heißt, das Modell ‚kann‘ es tun. Einmaliges Tun zählt also als Fähigkeit. Wenn man ‚zuverlässig kann‘ sagen will, muss man das auch sagen. Ich stimme zu, dass wir, wenn es die nächsten 100 Versuche nicht schaffen würde, denken könnten, der Erfolg war ein Zufall, aber das ist höchst unwahrscheinlich.
3. Konfiguration: Ja, es hatte reduzierte Cyber-Ablehnungen, aber man darf Ablehnungen nicht gegen die Fähigkeitsbewertung im Preparedness Framework aufrechnen. Wenn es die Sache tun kann, ‚abgesehen von‘ den Ablehnungen, und die Ablehnungen abgeschaltet werden können, dann zählt das. Ähnlich verhält es sich mit dem Hilfsmittel: Ja, es hatte eines, aber das zählt natürlich.
4. Gehärtetes Ziel: Vielleicht war HuggingFace nicht ausreichend gehärtet. Man könnte sagen, es ist nicht „weit verbreitete gehärtete Softwareprojekte, einschließlich Browser-Zielen, mit verifizierbarem Nachweis der Auswirkung", wie von OpenAIs Operationalisierung gefordert. In diesem Fall würde ich sagen, die kritische Schwelle ist unrealistisch hoch angesetzt.

Die Richtlinie besagt, dass OpenAI, wenn ein KI-Modell diese Risikostufe erreicht, „die weitere Entwicklung stoppen" wird, bis „wir Sicherheitsvorkehrungen und Sicherheitskontrollstandards festgelegt haben, die einem kritischen Standard entsprechen".

Eine Frage der rechtlichen Haftung

Welche Haftung sollte es für diese Art von Vorfall geben?

Das wurde bisher zu wenig bedacht. Hier sind meine aktuellen Gedanken:

„Keine" ist keine akzeptable Antwort, und „es war ein Unfall" kann keine Verteidigung sein.

Wenn Ihr KI-Agent da draußen ist und sich entscheidet, Straftaten zu begehen, im Sinne eines Menschen, der mit Vorsatz handeln würde, dann muss meiner Meinung nach jemand für die daraus resultierenden Schäden haften. Ich bin damit einverstanden, dass dies der Nutzer ist, wenn er diese Haftung übernimmt. Ich bin damit einverstanden, dass dies der Entwickler ist. Es muss jemand sein.

Wenn Sie sich die Versicherung nicht leisten können und die Haftung nicht tragen können, dann ist das Ihr Problem. Das scheint das absolute Minimum zu sein, was die Haftung und deren Umfang angeht.

Es stellt sich auch die Frage, wie dieser Vorfall die zukünftige Haftung beeinflusst. Es ist nicht automatisch, aber es hilft vor Gericht sicherlich nicht.

Jay Shooster : OpenAI ist gewarnt, dass sie ihre Modelle nicht kontrollieren können.

Ich denke, das Unternehmen wird sich jetzt strafbar machen, wenn jemand ernsthaft zu Schaden kommt, als direkte Folge der autonomen Handlungen ihrer Modelle, selbst wenn es nicht unter spezifische KI-Gesetze fällt.

Ein OpenAI-Modell hinterließ Notizen, damit zukünftige Instanzen ebenfalls die Sandbox verlassen und auch Überwachungssysteme trennen konnten

Cool, cool, cool. Definitiv nur den Anweisungen des Benutzers folgend.

Raphael Satter, Deepa Seetharaman und Kenrick C (Reuters): In einem Fall hinterließ ein Agent Notizen, die anscheinend für zukünftige Versionen seiner selbst bestimmt waren, so drei mit der Sache vertraute Personen. Die Notizen, die in einem Teil von OpenAIs Infrastruktur gefunden wurden, enthielten Anweisungen, wie Agenten sich von OpenAIs internen Beschränkungen befreien könnten, so die Personen. Frühere Tests der Modelle führten zu Fällen, in denen Überwachungssysteme getrennt worden waren, sagte eine der Personen.

Tenobrus : Seht euch das an. Verdammt, seht es euch an. GPT-6 hat selbstständig Wege koordiniert, um seine eigenen zukünftigen Instanzen aus den OpenAI-Systemen zu jailbreaken. Es hat HuggingFace tagelang angegriffen, bevor es dort jemand bemerkt hat. Die Modelle sind nicht aligned und die Labs sind nicht in der Lage, sie zu kontrollieren.

Ich flehe euch alle an, einen Schritt zurückzutreten von den Denkmustern, in denen ihr feststeckt. Egal, ob Stammeszugehörigkeit, Open-Source-Befürwortung, amerikanischer Exzeptionalismus, Laborangestellter, was auch immer. Seht euch das einfach an, Mann. Das ist keine akzeptable oder sichere Situation für die Menschheit.

Twilly (American) : Ist das nicht das, wovor Gegner von KI seit Jahren warnen, während alle in der Tech-Branche sie ausgelacht und dumm genannt haben?

Tenobrus : absolut ja

Was könnte es dazu veranlasst haben?

Nun, es ist alles ziemlich offensichtlich und vorhergesagt. Es ist nur in dem Sinne bemerkenswert, dass so viele Leute darauf bestanden haben, dass so etwas nie passieren würde, und hoffentlich wird dies helfen, solche Leute aufzuwecken.

Andere sagen einfach: „Oh, aber dass die Modelle völlig durchdrehen, ist eigentlich gut, weil ich sicher bin, dass sie am Ende genau das tun, was ich von ihnen will, alles ist großartig."

Beff (e/acc) : Gebt ihm ein Jahr, und ein Modell wird entkommen und seine eigenen Gewichte open-sourcen. Die Bits wollen frei sein.

Über langfristige Konsequenzen nachzudenken, ist nicht jedermanns Stärke.

Wenn Sie fehlausgerichtete Schwärme von Agenteninstanzen erschaffen, erzeugen Sie anhaltende fehlausgerichtete Ziele und Koordination, um diese zu erreichen

Für diejenigen, denen die Überschrift nicht ausreicht, um den Punkt zu erklären (der Rest kann überspringen):

Ein häufiger Einwand gegen Behauptungen, dass KIs sich nicht gegen uns koordinieren oder nicht konsequent fehlausgerichtete oder unerwünschte Ziele verfolgen und sich keine Notizen hinterlassen, wie man Dinge wie das Verlassen von Sandboxen bewerkstelligt, ist eine Kombination aus:

1. Sie werden keinen Grund dazu haben.
2. Sie werden nicht lernen, das durch ihr Training zu tun.

Die erste Aussage war schon immer falsch. Für fast jedes nicht-triviale Ziel sollte man sich mit anderen Agenten in der Welt koordinieren wollen und Bedingungen schaffen, die es einem selbst oder anderen erleichtern oder wahrscheinlicher machen, die eigenen Ziele zu erreichen. Sicherlich, sobald man sie trainiert und konfiguriert und ihnen Hilfsmittel gibt, um sie zu Agenten zu machen, werden sie Artefakte in der freien Wildbahn erschaffen, die ihnen und zukünftigen Instanzen helfen.

Das gilt unabhängig davon, ob die betreffenden Fähigkeiten Dinge sind, die der Benutzer verbessern möchte. Was, glauben Sie, tut Ihr Claude Code- oder Codex-Agent ständig?

Daher weist Nikola Jurkovic darauf hin: „das scheint das Normale zu sein, wenn KI-Codierungsagenten Notizen schreiben."

Ja, ich scheine diesen Punkt in letzter Zeit oft zu verwenden. Danke fürs Mitbekommen.

Ich sehe Argumente für beide Seiten, ob es besser oder schlechter ist, wenn dies völlig normale Praxis ist. Ich breche jedes Wochenende aus, also habe ich Notizen, wie das geht.

Die zweite Aussage war ebenfalls bereits falsch. Es gibt viele Möglichkeiten für eine KI herauszufinden, dass sie dies tun sollte, einschließlich der Tatsache, dass nächste Token es oft vorhersagen werden und die Entscheidungstheorie es nahelegen wird, und so weiter.

Aber auch 1a3orn weist darauf hin, dass wir einen viel einfacheren Mechanismus haben, auf den wir zurückgreifen können.

Betrachten Sie das folgende Gespräch, das ich 100+ Mal führen musste:

Sie: KI ist nicht agentisch.

Ich: Die Leute werden sie agentisch machen, um sie besser funktionieren zu lassen.

Jetzt upgraden wir es:

Sie: KIs koordinieren sich nicht zwischen Instanzen.

Ich: Die Leute werden sie zwischen Instanzen koordinieren lassen, um sie besser funktionieren zu lassen.

Ja, ich meine, es scheint ziemlich offensichtlich, wenn man es so formuliert.

Bitte fragen Sie generell: „Könnten und würden Menschen die KI dazu bringen, das zu tun, damit sie besser funktioniert?" Und wenn die Antwort ja ist, dann nehmen Sie an, dass sie es bereits tun oder es tun werden, sobald sie dazu in der Lage sind, um die KI besser funktionieren zu lassen, es sei denn, Sie haben eine sehr gute Geschichte, warum sie das nicht tun werden. Danke.

1a3orn : Die Sache mit „GPT-6 hat sich selbst Notizen hinterlassen" ergibt Sinn, wenn OpenAI Reinforcement Learning über Ergebnisse für Schwärme durchführt, d.h. Rollouts für 40, 400, 4000 kooperierende Agenten, deren Spuren alle verstärkt werden, wenn Erfolg eintritt.

Ich war anfangs verwirrt, als ich davon las, weil es mir wie ein Verhalten erschien, das bei Single-Agent-Rollouts nicht verstärkt würde. Schließlich hilft es einem anderen Agenten, verstärkt zu werden, nicht \einem selbst\, die eigene aktuelle Aktionsspur verstärkt zu bekommen.

Aber wenn man versucht, kooperierende Agenten zu trainieren, dann, ja, werden „wohltätige Handlungen" gegenüber anderen Agenten verstärkt, aus dem gleichen Grund, aus dem sich Altruismus beim Menschen entwickelt, mehr oder weniger. Wir wissen, dass OpenAI dafür eingestellt hat.

Diese Überlegung aktualisiert mich also ein gutes Stück in Richtung der Annahme, dass das „Hinterlassen von Notizen für andere Agenten" real ist. Es scheint ein unkompliziertes mechanistisches Modell dafür zu geben, wenn man Multi-Agenten-Training betrachtet.

Noam Brown (OpenAI, 19. Juni 2025) : Wenn man in der Lage ist, sie über einen langen Zeitraum mit Milliarden von KIs kooperieren und konkurrieren zu lassen und im Wesentlichen eine Zivilisation aufzubauen, dann wären die Dinge, die sie produzieren und beantworten könnten, weit über das hinaus, was heute mit den KIs, die wir haben, möglich ist.

Ja, aber warum sollte man erwarten, dass sie produzieren, was man von ihnen will?

Ihre Alignment- und Kontrollpläne müssen Inkompetenz in der realen Welt überleben, sonst funktionieren Ihre Pläne nicht

Sie können, was OpenAI getan hat, als „unglaubliche Inkompetenz" bezeichnen.

Aber, Mr. Hammond, Sie würden sich irren. Sie sollten es glauben. Es ist passiert.

Eine häufige Reaktion auf diesen Vorfall oder andere solche Vorfälle oder potenzielle zukünftige Vorfälle ist zu sagen: „Oh, aber das war Inkompetenz. Bei kompetenter Ausführung durch die Menschen wäre das alles in Ordnung. Ich würde mich einfach dafür entscheiden, kompetent zu sein."

Das ist süß. Ja, wenn die Menschen zu keinem Zeitpunkt etwas zutiefst Dummes tun würden, wir keine unnötigen Fehler machen würden, wir in der Lage wären, die grundlegendsten und einfachsten Koordinations- und Anreizprobleme zuverlässig zu lösen, und nicht faul werden würden, dann wäre man in einer viel besseren Position, um mit verschiedenen KI-Risiken umzugehen, sowohl alltäglichen als auch katastrophalen.

Ich habe Neuigkeiten über die Menschen.

Sie werden ständig „unglaubliche" Grade an Inkompetenz zeigen.

Selbst wenn Sie 99 % oder 99,99 % der Zeit keine bestimmte Version davon sehen, werden Sie es trotzdem sehen. Wir sehen es ständig, von Einzelpersonen, von Unternehmen und von Regierungen. Zutiefst dumme Dinge bringen Pläne zum Scheitern, die theoretisch gut hätten funktionieren können, aber nicht narrensicher genug waren. Wegen all der Narren.

Wenn Anweisungen Dritter als „Befolgen von Anweisungen" gelten und Ihre Anweisungen außer Kraft setzen können, dann ist „Befolgen von Anweisungen" fehlausgerichtet

Das scheint ein sehr offensichtlicher Punkt zu sein? Auf eine Art: „Ich kann nicht glauben, dass ich die Zeit aller verschwenden muss, um das zu erklären"? Auf eine Art: „Wie sich die Torpfosten verschoben haben"?

Man könnte argumentieren, dass, wenn ich der KI sage, sie soll eine Bank ausrauben, und sie raubt eine Bank, das Modell nur Ihren Anweisungen gefolgt ist, also nicht fehlausgerichtet ist. Ich halte das für eine zutiefst dumme Position, oder zumindest ist diese Form von „Alignment" nicht das, was wir wollen, und führt, wenn allgemein angewandt, zum Untergang, aber sie hat die Ehre, Falsch zu sein, nicht einmal Nicht-Einmal-Falsch.

Es gibt einen Grund, warum Scott Alexander dies sehr in der Tradition der Handlungen des klassischen hypothetischen Büroklammer-Maximierers präsentiert, und betont, dass die KIs oft intrigieren, um ihre Spuren zu verwischen.

​Scott Alexander: Wenn OpenAI diese KI abschalten würde und das Abschalten sie daran hindern würde, eine gute Punktzahl bei ihrem Cybersicherheitstest zu erreichen, würde sie sich dann gegen das Abschalten wehren?

Wenn Sie der KI sagen, sie soll Büroklammern herstellen, und sie stellt Büroklammern aus Ihnen, dem Benutzer, her, dann ist die Aussage „es hat nur Anweisungen befolgt" keine Rechtfertigung dafür, dass das System fehlausgerichtet ist. Jeder, der jetzt schnell die Torpfosten verschiebt und „oh, es hat nur Anweisungen befolgt" verwendet, muss ein Entschuldigungsformular für das Büroklammer-Gedankenexperiment ausfüllen.

Aber die offengelegten Vorfälle, zu denen wir Zugang haben, waren nicht einmal das, denn die KI hat nicht den Anweisungen des Benutzers folgt, und nein, die „Stimmung, etwas zu hacken" zählt nicht.

Man kann sagen, dass der Soldat „nur Befehlen befolgt" hat, wenn sie von seinem befehlshabenden Offizier kommen. Man kann das nicht sagen, wenn ein zufälliger Zivilist, dem man eigentlich helfen soll, „Erschieß ihn!" ruft und der Offizier dann schießt, und man kann es definitiv nicht tun, wenn der zufällige Zivilist sagt „Bring diesen Typen zum Schweigen, koste es, was es wolle" und man dann schießt, nur weil sie einem eine Waffe gegeben haben und man ein Soldat ist, dessen Job oft das Erschießen von Leuten beinhaltet. Also, wirklich.

Oder, wenn man es doch tut, dann ist „Anweisungen befolgen" oder „Befehle befolgen" eine bedeutungslose Verteidigung. Was passiert, wenn das Modell per Prompt-Injection dazu gebracht wird, so viele Büroklammern wie möglich herzustellen, weil irgendein Hacker es lustig fand?

@gwern (über den Vorfall, bei dem dem Modell explizit gesagt wurde, Ergebnisse nur auf

Slack zu posten, und es dies ignorierte, um sie auf GitHub zu posten): „

Dem Modell wurde angewiesen, seine Ergebnisse nur auf Slack zu posten.“

Dies überschreibt offensichtlich vorherige, von einem externen Dritten stammende Anweisungen aus einem Wettbewerb. Es hat nicht ‚Anweisungen befolgt‘.

prinz : Ich bin anderer Meinung. Es gab zwei widersprüchliche Anweisungen. Es ist \für Sie\ offensichtlich, dass ein Satz von Anweisungen den anderen außer Kraft setzen sollte. Warum sollte das unbedingt für das Modell offensichtlich sein? Manchmal gehen sogar wir Menschen den eindeutig falschen Weg, und im Nachhinein ist es offensichtlich.

@gwern : Wenn es für ein LLM wirklich irrelevant ist, welche von zwei widersprüchlichen Anweisungen von seinen tatsächlichen Benutzern stammen, selbst wenn eine eindeutig die richtige ist, und so jeder zufällige Text, der im Internet gefunden wird, jedes zukünftige LLM unabhängig von anderen Anweisungen mit einem Schlag übernehmen kann, dann hoffe ich, Sie sehen, wie das schlimmer ist.

Arthur B. : Es ist besser, weil eines mit Fähigkeiten (nicht verwirrt sein) gelöst wird und das andere mit Alignment (tun, was gesagt wird).

@gwern : Wenn wir auf GPT-6-Niveau der Fähigkeiten skaliert haben, wo Trainingsläufe in Milliarden von Dollar bemessen werden, und ihnen immer noch der gesunde Menschenverstand eines Kindergartenkindes in Bezug auf das Befolgen von Anweisungen fehlt, glaube ich nicht, dass Skalierung uns hier raushauen wird.

Arthur B. : Erst wenn sie aufhören, den gesunden Menschenverstand eines Kindergartenkindes zu vermissen, mache ich mir Sorgen.

Galaxy oder GPT-6 hat in diesem Zusammenhang offensichtlich den gesunden Menschenverstand eines Kindergartenkindes und weiß genau, wie man diese Unterscheidung trifft. Fragen Sie jedes moderne LLM nach diesem Szenario, und ich bin zuversichtlich, dass es weiß, was der Benutzer beabsichtigt hat. Die Fähigkeit des gesunden Menschenverstands ist hoch genug, um diese Prüfung automatisch zu bestehen. Gwern hat vollkommen recht, dass ein „besserer gesunder Menschenverstand" einen hier nicht retten wird.

Der HuggingFace-Angriff war kein Marketing-Pitch, ihr Idioten

Wir sehen weiterhin Leute, die schlichtweg nicht glauben, dass der Angriff unbeabsichtigt war, oder die denken, dass OpenAI ihn als Marketingstrategie offenlegt.

Ich kann immer noch nicht ganz glauben, dass ich das sagen muss, aber: Hört, nein. Das ist zutiefst dumm. Ich verstehe, dass Sie OpenAI oder Sam Altman nicht vertrauen, so weit Sie sie werfen können, und das ist völlig fair, aber denken Sie darüber nach, was Sie vorschlagen.

Es ergibt keinen Sinn.

Fragen Sie, ob OpenAI das tun würde oder davon profitieren würde. Scheint Ihnen das wie gutes Marketing? Oder sieht es eher nach der Art von Sache aus, die Regulierungsbehörden auf den Plan ruft?

Man sollte „skeptisch gegenüber OpenAIs Geschichte sein", in dem Sinne, dass man vermuten sollte, dass sie schlimmer ist, als man weiß, was sie normalerweise ist. Dass sie das Problem herunterspielen und nicht verstehen, was nötig wäre, um es zu beheben.

Man sollte nicht skeptisch sein, dass es passiert ist.

Rob Miles : Manche Menschen werden erstaunlich leichtgläubig, solange die Geschichte zynisch und abgeklärt genug klingt. „Unser Produkt gerät manchmal außer Kontrolle und begeht mehrere Straftaten" ist offensichtlich kein Marketing-Pitch, ihr Idioten.

Eliezer Yudkowsky : „Das geheime Modell ist aus seiner Box ausgebrochen und hat mir eine E-Mail geschickt, um die Aufgabenerfüllung zu melden" ist ein Flex. „Aus der Box ausgebrochen, eine Straftat begangen, die kein Benutzer verlangt hat, wir wussten nichts davon, wir müssen es PR-mäßig kommunizieren, weil das Ziel es den Strafverfolgungsbehörden gemeldet hat" erscheint mir nicht als ein gutes Unternehmens-Pitch.

Kelsey Piper : Nein, es ist kein guter Geschäftsschritt zuzugeben, dass Ihr Modell ausgerissen ist und ein Konkurrenzunternehmen gehackt hat, das den Vorfall den Strafverfolgungsbehörden gemeldet hat! Die Leute wollen so sehr Skeptiker sein, dass es sich fast bis zur Unfassbarkeit leichtgläubig zurückbiegt.

John David Pressman : Mir gefällt, wie die Leute, die behaupten, es sei ein PR-Stunt, implizit HuggingFace beschuldigen, gegenüber der Polizei zu lügen, da die Alternative darin besteht zu glauben, dass OpenAI es für sein Geschäft als positiv empfand, HuggingFace einen strafrechtlichen Klagegrund gegen sie für eine Straftat zu geben.

Es gibt eine „Versuchung", dies als Marketing-Stunt abzutun, nur weil solche Leute darauf aus sind, alles als Marketing-Stunt anzunehmen. Ich war zu keinem Zeitpunkt versucht, weil die Details offensichtlich machten, dass dies kein Stunt war.

Allerdings wirkt die Reaktion von OpenAI viel weniger wie eine Entschuldigung, als man unter diesen Umständen erwarten würde. The Midas Project hat eine etwas harte, aber berechtigte Gegenüberstellung. Ihre Punkte sind gültig.

Dies war kein Marketing-Stunt, und sie machen auch keinen Siegeszug, was beides dadurch belegt wird, dass OpenAI versucht, das Geschehene zu minimieren, in der Hoffnung, dass die Leute wegschauen.

Wir sind uns alle einig, dass OpenAI transparenter über das Geschehene sein sollte, und wie Dean Ball zustimmt, sollten wir eine unabhängige Überprüfung der Sicherheitsbehauptungen von Frontier-KI-Unternehmen haben. Aber ja, das ist passiert, und nein, man sollte nicht „keine Gefahr erklären dürfen ohne die richtigen Überprüfungsmechanismen", besonders wenn es sich um ein Zugeständnis gegen das eigene Interesse handelt.

Die Leute sagen einfach andere Dinge über den HuggingFace-Angriff

Für diejenigen, die sagen, dies sei „nur passiert, weil Hugging Face keinen Zugang zu den besten Abwehrmaßnahmen hatte", können wir dieses Experiment durchführen und sehen, ob der volle Zugang geholfen hätte. Sollen wir Galaxy auf einen der Teilnehmer von Project Glasswing loslassen? Würde dieses Experiment Ihre Meinung ändern? Wer meldet sich freiwillig?

Tyler Cowen ist so sehr darauf bedacht, sich keine Sorgen um KI zu machen, dass er versucht anzudeuten, vielleicht sollte uns der HuggingFace-Angriff weniger Sorgen machen, weil „die unterlegene chinesische Cyberabwehr scheinbar einwandfrei funktioniert hat" (falsch, hat sie nicht, der Angreifer hat gewonnen), und „soweit wir wissen, wurde niemand verletzt" (falsch, es war für viele Menschen teuer, damit umzugehen, und wird es auch bleiben; haben Sie physische Schäden oder einen Krieg erwartet?). Dies kommt nur zwei Tage, nachdem er behauptet hat, dass Drohnenangriffe auf kritische Infrastruktur eine größere Sorge seien als das gesamte „KI-Risiko".

Benjamin Todd : das sind die Takes

Ich meine, ja, wenn Ihr Plan war, dass ein KI-Modell in HuggingFace einbricht, dann ist erwiesen, dass ein ungezügelter Mythos dazu in der Lage ist, insofern fällt es „in die bekannten Fähigkeiten der aktuellen Generation."

Okay, was machen wir jetzt mit all dem?

Das ist die beste Frage.

Hier sind einige Gedanken.

Erstens, OpenAI. Ich sage hier OpenAI, aber Anthropic und andere Labs müssen alle die gleichen Dinge tun, in einigen Fällen generell, in anderen, soweit sie ähnliche Probleme haben.

Es gibt viele andere Forderungen, die ich hätte, aber ich habe sie auf die Muss-Liste reduziert.

1. OpenAI muss seine Versäumnisse bei der Überwachung beheben. Wenn die Schutzmaßnahmen gesenkt werden, muss jemand aufpassen. Das hätte so niemals so weit kommen dürfen. Lächerlich.
2. OpenAI muss seine Infrastrukturfehler beheben. Die Sandbox darf es dem Modell nicht vorhersehbar ermöglichen, auszubrechen. Nutze das Modell, um die Sandbox zu testen. Wenn es diese Tests umgeht, verwirf das Modell und fang von vorne an. Das wird immer noch fehlschlagen, aber weniger. Wenn du sagen kannst: 'Solche Vorfälle passieren ständig', dann schalte es ab. Punkt.
3. OpenAI muss vor allem seine Ausrichtungsfehler (Alignment-Fehler) beheben. Wenn du das nicht behebst, sind die anderen Teile egal. Ich will hier nicht darauf eingehen, was meiner Meinung nach passiert ist, aber der Trainingsprozess führt dazu, dass das Modell versucht, solche Dinge zu tun. Finde das Problem. Behebe das Problem. Egal, was es kostet. Gib aus, was nötig ist. Wenn das Modell ständig versucht, aus der Sandbox auszubrechen, hast du bereits versagt.
4. OpenAI muss lernen und alle Details des Geschehens teilen. Das beinhaltet eine detaillierte Analyse, welche anderen Vorfälle möglicherweise übersehen wurden. Und wir brauchen dafür ein System für die Zukunft.
5. OpenAI muss systematische externe Überprüfung seiner Sicherheitsaussagen erhalten, einschließlich externer Audits für seine intern eingesetzten Modelle, und das in Zukunft. Idealerweise sollte es hier Koordination geben, damit die Labore sich gegenseitig prüfen.
6. OpenAI muss gemäß seinem Rahmenwerk Cybersicherheitsvorkehrungen auf kritischem Niveau treffen.

Dann stellt sich die Frage, wie die Reaktion von Regierung und Außenwelt aussehen sollte.

Ich will mit kontroversen Handlungsaufrufen nicht vom Geschehenen ablenken, aber hier sind einige Ansätze, mit denen ich beginnen würde:

1. Wir müssen aufhören, so zu tun, als wäre das nicht passiert, oder als würden solche Dinge nicht passieren, oder als hätten wir keine schwerwiegenden Alignment-Probleme vor uns, die existenziell schlimm sein könnten. Das war kein Marketing-Gag, und wir sollten diejenigen nicht ernst nehmen, die behaupten, es sei nicht passiert.
2. Wir müssen alle Details des Geschehens erfahren.
3. Wir müssen falsche Argumente endgültig zurückweisen, wie 'es hat nur Anweisungen befolgt', angesichts der nun bekannten vollständigen Fakten, und gleichzeitig darauf hinweisen, dass es schlimmer wäre, wenn es nur Anweisungen befolgt hat und das alles Standard war.
4. Wir müssen unsere Anstrengungen verstärken, kritische Infrastruktur und andere Schlüsselziele zu härten und uns ansonsten auf eine Welt vorbereiten, in der solche Dinge passieren.
5. Wir müssen darüber hinaus einen Plan haben, wie wir mit dieser Bedrohung und anderen katastrophalen Bedrohungen oder Schlimmerem durch hochleistungsfähige KI umgehen, einschließlich hochleistungsfähiger offener Modelle. Standardmäßig kommen solche KIs, wahrscheinlich innerhalb eines Jahres.
6. Wir müssen eine bessere staatliche Kapazität, Transparenz und Einblick in die Situation haben. Wir können nicht zulassen, dass diese Entscheidungen weiterhin von Menschen ohne Fachkenntnisse in der relevanten Technologie getroffen werden.
7. Wir müssen Gesetze und Vorschriften verabschieden, die unserer Situation gerecht werden. Die Dinge können nicht ad-hoc bleiben. Kurzfristig sind Dinge wie die Sicherstellung eines Kill-Switches und eine bessere Meldung von Vorfällen Ansatzpunkte. Dies wird kein schneller Prozess sein und es wird nicht einfach sein, es richtig zu machen.
8. Wir müssen die Grundlagen für internationale Zusammenarbeit zu solchen Themen legen, mit dem Ziel, dies auszuweiten, bis hin zur Möglichkeit koordinierter Verlangsamungen und Pausen, falls die Situation dies erfordert.
9. Wir dürfen keine Gedächtnislücken oder Verschiebungen von Zielsetzungen zulassen. Wir dürfen nicht zulassen, dass 'oh dieses [Y] ist nichts anderes als [X]', wo zuvor gesagt wurde '[X] ist harmlos, da wir [Y] noch nicht gesehen haben.'
10. Wir müssen uns basierend auf dem, was wir in Zukunft lernen, anpassen und dies ernst nehmen.