Der erste Millennium-Preis, Navier-Stokes, ist an die KI gefallen.
Eine zutiefst unglückliche Situation ist entstanden, die eigentlich eine Kombination aus einer positiven Geschichte über neue Fortschritte in der KI-gestützten mathematischen Forschung und einer weiteren Gelegenheit hätte sein sollen, vor dem raschen KI-Fortschritt in Panik zu geraten.
Oder, wie wir es hier nennen: Dienstag.
Die eigentliche Geschichte ist das neue Modell, das besser als Astra ist
Behaltet den Fokus auf das Wesentliche. Hier gibt es drei Geschichten.
Die erste Geschichte ist viel wichtiger als die zweite, welche wiederum viel wichtiger ist als die dritte.
- OpenAIs nächstes Modell brauchte eine Woche, um Astra um eine Generation voraus zu sein, und sie teilen uns dies mit, weil alle völlig in Panik sind wegen dessen, was gerade passiert. Oder in offiziellen Worten: „Wir glauben, dass es wichtig ist, die Welt über das Tempo des KI-Fortschritts und die Erwartungen an kommende Modelle zu informieren“ und dass wir „vielleicht bewusstere Entscheidungen über das Tempo des Fortschritts treffen müssen“.
- Diese neue KI hat acht Tage nach Beginn des Trainings Navier-Stokes gelöst.
- Eine Menge Drama darüber, wer die Anerkennung für Mathematik erhält, die sich auf Navier-Stokes bezieht.
Jeffrey Ladish : Ich habe mich nicht mit dem menschlichen Drama rund um das Navier–Stokes-Problem beschäftigt, aber gebt mir eine Minute, denn HEILIGER SCHEISSE, DIE KI HAT GERADE EIN MILLENNIUM-PROBLEM GELÖST.
Ich kann die Wichtigkeit der ersten Geschichte nicht genug betonen.
Ich werde alle drei Geschichten erzählen, aber nochmal: Behaltet den Fokus auf das Wesentliche.
Die Ausgangslage
Die Geschichte dieses besonderen Dienstags beginnt am Morgen.
Tristan Buckmaster und Levent Alpoge haben ein Jahr lang gearbeitet und präsentieren uns eine Reihe bemerkenswerter Ergebnisse: Endzeitlicher Blowup bei glatter Forcing-Funktion für inkompressible poröse Medien, für Boussinesq und für den 3D-inkompressiblen Euler. Sie glauben auch, einen Blowup für hypo-dissipatives Navier-Stokes gefunden zu haben, aber die Lean-Verifizierung dieses Ergebnisses ist noch nicht abgeschlossen.
Tristan Buckmaster: Das Programm, in das dies passt, wurde weder von uns gestartet noch von einem Large Language Model vorgeschlagen. Die Anerkennung für die Grundidee dieses Programms geht an Diego Cordoba und Luis Martınez-Zoroa, die seit mehreren Jahren die Konstruktion von erzwungenen Blowups erforschen. Wir nahmen ihre Arbeit als Ausgangspunkt und nutzten Large Language Models, um ihr Programm zur Vollendung zu bringen.
Konkret haben Levent und ich das Cordoba- und Martınez-Zoroa-Programm, das Blowup-Ergebnisse mit rauer Forcing-Funktion erreichte, genommen und, mit großer Hilfe von LLMs, auf glatte Forcing-Funktionen und die inkompressiblen Euler-Gleichungen ausgeweitet. Die Ideen, die diese Angriffsrichtung möglich machen, stammen von Cordoba und Martınez-Zoroa. Lassen Sie mich klarstellen, was ich Kollegen privat gesagt habe: Angesichts dieser Arbeiten glaube ich, dass Luis Martınez-Zoroa eine Fields-Medaille verdient.
Bisher ist das großartig. Wie er anmerkt, erfordert dies ein Umdenken darüber, wie fortgeschrittene Mathematik in Zukunft funktionieren wird. Terence Tao bietet Kommentare zu den zugrunde liegenden Ergebnissen.
Der weniger gute Teil ist, dass sie sich gezwungen sahen, frühzeitig zu veröffentlichen, ohne die Möglichkeit zu haben, die Wochen zu investieren, die nötig sind, um die Beweise so zu gestalten, dass sie unter Mathematikern als lesbar gelten. Buckmaster entschuldigt sich offen für die Art, wie die Berichte aussehen, und vergleicht insbesondere die Ausarbeitung zum Euler mit KI-Müll (AI slop).
Was ist passiert?
Ich habe ein Gerücht gehört
Am 1. September hörte OpenAI ein (falsches) Gerücht, dass zwei Millennium-Probleme gelöst worden seien. Als Reaktion auf die Möglichkeit, dass jemand anderes die Welt verbessern könnte, gab OpenAI Millionen von Dollar für Inferenz aus, um alle ungelösten Millennium-Probleme zu untersuchen, indem sie ein internes Modell nutzten, das stärker als Astra war, und knackten das gesamte Navier-Stokes-Problem in 88 Stunden, plus weitere 17 Stunden, damit Astra die Lean-Formalisierung und -Verifizierung durchführte.
Man kann dies als „OpenAI war neugierig, was ihr neues Baby leisten kann“ oder als „sie gaben Millionen aus, um zu versuchen, etwas zuvorzukommen, von dem sie dachten, es sei ein Anthropic-Projekt“ betrachten. Mein Geld liegt auf ein bisschen aus Spalte A, ein bisschen aus Spalte B.
Alles, was nötig war, war das Gerücht.
Unser Preis ist günstig
OpenAI : Über alle versuchten Probleme hinweg sandten die Agenten 4,9 Millionen Nachrichten und verwendeten etwa 300 Milliarden Output-Tokens. Im Prozess der Lösung des Navier–Stokes-Problems sandten die Agenten 2,7 Millionen Nachrichten und verwendeten ungefähr 130 Milliarden Output-Tokens.
Je nachdem, welche Kosten man zählt, hätte dies für einen regulären Kunden in der Größenordnung von 22 Millionen Dollar gekostet, oder mehrere Millionen für interne Grenzkosten. Ein kleiner Preis, wenn es funktioniert, aber es ist verrückt, wie viele Leute nicht zwei Schritte vorausdenken.
roon (OpenAI): Wie bei allen anderen Technologien wird euer äquivalenter Agentenschwarm in etwa einem Jahr nur noch 1,50 $ kosten. All dies wird eine beispiellose Aufklärung bedeuten, egal wie hoch die heutigen Kosten sind.
Ich meine, nein, vielleicht 150.000 $ oder, wenn du Glück hast, 15.000 $, aber der Punkt bleibt bestehen.
Sam Altman (CEO OpenAI): ugh, KI ist so eine Blase, ich habe gehört, sie verkaufen Tokens mit Verlust, wussten sie, dass das nur 1 Million wert war?
Ein Millennium-Preis-Ergebnis ist weit mehr als eine Million Dollar wert. OpenAI beabsichtigt nicht, das Preisgeld einzufordern. Es ging nie um das Preisgeld, für niemanden. Es ging immer um die Anerkennung.
Eine Anschuldigung wird erhoben
Nachdem er Internetgerüchte gehört hatte, kontaktierte Buckmaster OpenAI, und laut Buckmaster sagte OpenAIs Sebastien Bubeck, dass ein internes OpenAI-Modell in den letzten Tagen einen Beweis für einen endzeitlichen Blowup für die erzwungenen Navier-Stokes-Gleichungen produziert habe. Buckmaster behauptet, dass im Laufe zweier Anrufe deutlich wurde, dass er zunächst in die Irre geführt worden war und dass ein ganzes Team an dem Problem arbeitete, wobei eine „irrsinnige“ Menge an Rechenleistung verwendet wurde.
Was wir jetzt wissen, waren 130 oder 300 Milliarden Output-Tokens, je nachdem, was zählt.
Wenn dieser Teil wahr ist, wäre das ziemlich schlecht.
Tristan Buckmaster: Mir wurden zwei Vorschläge gemacht.
Der erste war, dass wir unser Euler-Ergebnis veröffentlichen und OpenAI am nächsten Tag sein Navier-Stokes-Ergebnis veröffentlicht.
Der zweite war, dass ich nach der Veröffentlichung von Euler allein ein Papier schreibe, das das Navier-Stokes-Ergebnis präsentiert, und dabei anerkennt, dass ein internes OpenAI-Modell es gelöst hat. Sebastien behauptete zweimal, dass er Levent von der Autorenschaft ausschließen wollte, und sagte, es wäre alles einfach, wenn es nicht so wäre, dass – und es war so nervig, dass – Levent bei Anthropic arbeitet. Es wurde auch gesagt, dass, wenn OpenAI nach uns veröffentlicht, sie sagen würden, dass wir den Clay-Preis verdient hätten und dass wir die „menschlichen Kandidaten, die dem Problem am nächsten kamen“, seien. Ich lehnte beide Angebote ab.
Ich sagte, dass ich öffentlich machen würde, was passiert ist, wenn OpenAI sein Ergebnis wie vorgeschlagen veröffentlicht. Die Antwort war: „Warum sollten Sie Ihre Karriere ruinieren?“ Ich antwortete, dass ich Akademiker bin, und fragte, warum er dachte, dass öffentliches Machen meiner Karriere schaden würde. Die Antwort war: „Wenn Sie nicht wollen, dass ich nett bin, dann muss ich nicht nett sein.“… Ich möchte klarstellen, was ich NICHT behaupte. Ich habe OpenAIs Beweis nicht gesehen. Ich weiß nicht, was ihr Modell getan hat oder wie. Ich weiß nicht, ob unsere Daten verwendet wurden. Ich beschuldige niemanden irgendetwas. Ich stelle dar, was mir gesagt wurde, wann, und was mir vorgeschlagen wurde. Ich stelle es dar, weil die Alternative darin besteht, eine Abfolge von Ankündigungen etwas sagen zu lassen, von dem ich weiß, dass es falsch ist.
Oder hier erzählt Levent Alpoge seine Seite der Geschichte, und Sebastien antwortet:
levent : „Wir können nicht ausschließen, dass anonymisierte Daten, die aus ihrer Nutzung unserer Produkte abgeleitet wurden, dazu beigetragen haben, unsere Modelle zu verbessern.“
Ich meine, Respekt dafür, dass sie direkt reinen Wein eingeschenkt haben.
(Bisher sieht der Beweis eher aus wie ein anderer Euler-Blowup-Beweis, den wir hatten, basierend auf dessen Ansatz-Namen wir wirklich dumme Wortspiele wie „smooth criminale“ machten, im Gegensatz zum viel besseren „ideal fluids explode“, Tristan)
Also gebe ich nun einen kleinen Einblick in mein Denken hier. Ich wäre tatsächlich begeistert gewesen, daran zusammenzuarbeiten, es gibt viele Leute bei OAI, die ich mag (ok, offensichtlich waren einige indirekt Arschlöcher gegenüber mir, weil sie Teil der ganzen Situation waren, aber ich bin ein großer Junge, ich mag sie trotzdem), mir ist die Autorenschaft bei diesem Schritt sowieso egal, es könnten ich, Tristan und jeder FTE bei OAI sein, soweit es mich betrifft (bei dem Punkt würde Tristan widersprechen :p). Aber als ich das laute Gespräch im Flur hörte, besonders den Teil, wo ein Millennium-Preis angeboten wurde, wenn ich mich nur vom Papier entfernen lasse, war es irgendwie klar, dass das Schicksal besiegelt war und die Dinge festgelegt waren. Pretty wacky, unstrategisch und unnötig, da auf meiner Seite die Dinge hauptsächlich daraus bestanden, dass ich und Claude uns gut amüsierten und zufälliges Zeug in der Ecke YOLOten, statt irgendwelche institutionellen Dinge. Ich mag auch die Idee, dass die Labore kooperieren, und noch besser bei wissenschaftlichem Fortschritt. Schade!
Sebastien Bubeck : Nichts war festgelegt, wir waren nur bereit zu reden, aber ihr habt nicht mit uns geredet ... sorry, aber das ist einfach unwahr, wir waren bereit, uns ins Zeug zu legen und so viele Diskussionen zu führen, wie ihr wolltet, um zu einer Lösung zu kommen.
Sebastien bestreitet energisch, dass er etwas Falsches getan hat, ebenso Noam Brown, und Sebastien bietet Screenshots an, die seiner Meinung nach guten Glauben demonstrieren.
Auch eine Gegenbeschuldigung:
Alexey Guzey : Ich habe viele Freunde bei Anthropic. Fast alle von ihnen hörten auf, mit mir zu sprechen, sobald ich zu OpenAI wechselte.
Völlig unsurprising, dass Levent sich weigerte, mit Sebastian zu sprechen, um die Pläne für die Ankündigung zu besprechen, und dann begann, OpenAI dafür verantwortlich zu machen.
Sam Altman behauptet ebenfalls stark, dass sein Team ethisch gehandelt hat, und versuchte, in gutem Glauben zusammenzuarbeiten.
Wie bist du auf diese Idee gekommen?
Die Implikation all dessen, die viele zogen, war, dass es eine weiche Beschuldigung gab, dass OpenAI einen Teil ihres Ergebnisses aus Codex-Chatprotokollen gestohlen hatte, oder dass die Chatprotokolle in den Trainingsdaten verwendet wurden und dies zum Ergebnis beigetragen hatte.
Charles 🔸
: Warum große Unternehmen ZDR wollen, Beispiel A
OpenAI: Während es unwahrscheinlich ist, können wir nicht ausschließen, dass anonymisierte Daten, die aus ihrer Nutzung unserer Produkte abgeleitet wurden, dazu beigetragen haben,
unsere Modelle zu verbessern. Allerdings unterscheiden sich unsere Beweise erheblich, und sogar die präzisen bewiesenen Ergebnisse sind im Euler-Fall unterschiedlich (erzwungen vs. nicht erzwungen).
Wir haben nun explizite Bestätigung, dass die Codex-Daten in keiner Weise in Trainingsläufen verwendet wurden:
roon (OpenAI): Ich war während der ersten Ankündigung in einem Call, in dem Leute sehr hart daran arbeiteten, die präzise juristische Wahrheit zu sagen, ohne geprüft zu haben, wo Codex-(Opt-in)-Daten verwendet wurden und ob sie in Trainingsläufe gelangten. Es ist jetzt klar, dass es unmöglich gewesen wäre, die Chancen stehen bei 0.
Ich stimme Sholto Douglas zu, dass es extrem unwahrscheinlich ist, dass Benutzerdaten hier auf irgendeine Weise Einfluss hatten:
will depue : Es gibt buchstäblich keine Chance, dass OAI-Forscher Tristans private Codex-Chats ausspioniert haben. Ich denke, euch ist nicht klar, dass OpenAI wie jede andere große regulierte Online-Plattform hochgradig gesicherte Zugriffsrechte auf Benutzerdaten hat. Es ist nicht 2010, Leute.
Sholto Douglas (Anthropic): fwiw Ich denke, es ist _extrem_ unwahrscheinlich, dass Benutzerdaten hier Einfluss hatten - es gibt keinen Weg, wie OAI Benutzertranskripte dafür ziehen würde, oder wissentlich darauf trainieren würde, auf eine Weise, die dies beeinflusst hätte. Ich denke, es ist ziemlich wichtig, dass Leute nicht davonlaufen mit „deine Benutzerdaten sind nicht sicher in Codex“ - denn sie sind es sicher (basierend auf allem, was ich von außen annehmen kann).
OpenAI hat höchstwahrscheinlich keine Benutzerdaten missbraucht
Es wäre ein Erdbeben, vielleicht die schlechteste mögliche Geschichte für ihr Geschäft, wenn wir herausfinden würden, dass OpenAI oder Anthropic die Benutzerdaten von jemandem geplündert haben, um einen Wettbewerbsvorteil zu erlangen, und die Fakten ergeben ohne dies mehr Sinn. Die lustigste Hypothese, von Jerry Tworek,, die ich auch für höchst unwahrscheinlich halte, aber die wir leider nicht ausschließen können, ist, dass OpenAI nicht beabsichtigte, solche Daten zu verwenden, aber der dem Problem zugewiesene agentische Schwarm sie hackte und sie trotzdem bekam, und OpenAI hat keine Ahnung.
Meine starke Vermutung ist, dass die Benutzerdaten nicht absichtlich abgerufen wurden, dass sie es niemals tun würden (oder vielmehr, dass sie zumindest erkennen, dass sie es nur einmal tun können und dies nicht dieses Mal ist), und auch, dass Benutzerdaten wenig hilfreich gewesen wären.
Thane Ruthenis weist darauf hin, dass es zuvor einen Vorfall mit einer Schulmassenerschießung gab, bei dem (höchst vernünftigerweise) die Protokolle untersucht wurden und es eine interne Debatte über die Benachrichtigung der Strafverfolgungsbehörden gab. Selbst das jagte einigen Nutzern kalte Schauer über den Rücken. Wo werden sie die Grenze ziehen? Und ja, du solltest verstehen, dass deine Daten und Protokolle möglicherweise nicht privat bleiben, wenn du sie einem Labor gibst. Es ist vernünftig, wie Andreas Thorn es auch tut, sich zu fragen, ob deine proprietäre Forschungs- oder Mathe-Daten privat geblieben sind.
Ich wiederhole dennoch, dass ich in der Praxis eine sehr, sehr niedrige Wahrscheinlichkeit dafür sehe, dass OpenAI absichtlich solche Daten betrachtet hat. Das Risiko-Ertrags-Verhältnis ist einfach so, so schlecht. Und ich glaube Roons späterem Bericht, dass sie nun bestätigt haben, dass die Protokolle nicht die Trainingsdaten erreichen konnten.
Unsere Top-Labore können nicht einmal bei einer Feel-Good-Mathematik-Geschichte miteinander auskommen
Egal, wer Schuld hat oder nicht, es ist eher alarmierend, dass die Labore nicht bei etwas wie der Zuweisung von Anerkennung für einen mathematischen Beweis kooperieren können. Dies ist ein sehr schlechtes Zeichen und auch ein Weckruf.
Sholto Douglas (Anthropic): Es ist extrem traurig, dass dies nicht als Beispiel dafür endete, wie die Labore kooperieren/koordinieren könnten, denn die Einsätze werden in der Zukunft so viel höher sein.
Noam Brown (OpenAI): Stimme stark zu. Ich weiß, dass es Rivalität zwischen den Laboren gibt, aber es ist wichtig, dass wir lernen, zusammenzuarbeiten, angesichts dessen, was kommt.
Sholto Douglas (Anthropic):
🤝
Kevin Roose : Diese Labore (besonders OpenAI/Anthropic und OpenAI/DeepMind) werden in einem Maße von gegenseitigem Hass angetrieben, das von außen nicht offensichtlich ist. Teilweise wegen Dingen wie „wer bekommt die Anerkennung für dieses berühmte Mathematikproblem“, und teilweise einfach persönliche Feindseligkeiten zwischen den Leitern.
Als Typ, der ein Buch über das AGI-Rennen schreibt, ist all das großartiges dramatisches Futter. Aber nicht großartig, wenn das letztendliche Ziel darin besteht, dass die Labore bei Sicherheit und Tempo kooperieren!
Die fortgesetzte Unfähigkeit, miteinander auszukommen, ist eine große Sache, und wird nur noch größer werden.
Was als Nächstes?
Wenn es bei Navier-Stokes funktionierte, worauf wird es sonst noch funktionieren? Zeit, das herauszufinden.
Nat McAleese (Anthropic): Navier Stokes ist eine unglaubliche Leistung und spiegelt awesome Fortschritte wider. Riesige OAI-Schwärme sollten auf andere Bereiche der Wissenschaft angewendet werden; idealerweise solche mit kurzfristigen Anwendungen, einschließlich Alignment.
Dies soll Berichten zufolge tatsächlich passieren, einschließlich für Spaßfragen wie P=NP. Was, wenn es konstruktiv als wahr bewiesen würde, eine Menge Dinge brechen würde. Du solltest auch nicht null besorgt sein über das, was solche Agentenschwärme als inkrementeller Schritt tun könnten, angesichts OpenAIs Geschichte.
Die Mathematiker sind nicht glücklich
Das Lösen von Matheproblemen ist ihr Ding. Und sie sind sehr unglücklich.
Andrew Curran : Fünfundzwanzig Fields-Medaillen-Gewinner haben eine gemeinsame Erklärung veröffentlicht, die vor dem warnen, was sie als schwere Fehlalignierung zwischen KI-Unternehmen und der Mathematikgemeinschaft sehen.
Math and AI (unterzeichnet von 25 Fields-Medaillen-Gewinnern einschließlich Terence Tao): In den letzten Monaten haben sich die mathematischen Fähigkeiten von LLMs dramatisch verbessert, bis zu dem Punkt, dass sie große offene Probleme in vielen Bereichen der Mathematik lösen können. Allerdings ist der Drang von KI-Unternehmen, mathematische Probleme als Benchmark zu lösen, schädlich für die Wissenschaft der Mathematik und für die mathematische Gemeinschaft. Die Ziele der KI-Unternehmen und die Ziele der mathematischen Gemeinschaft sind schwer fehlaligniert. Wir sehen dies als Teil breiterer Alignment-Probleme, die andere wissenschaftliche und kreative Berufe sowie die gesamte Gesellschaft beeinflussen.
… Berühmte Probleme dienten oft als Landmarken und Leuchttürme, an denen man ein verbessertes Verständnis dieser Landschaft messen kann.
… In den letzten Monaten hat der Erfolg von KI beim Lösen großer mathematischer Probleme Schlagzeilen gemacht, selbst außerhalb mathematischer Kreise. Aber das Lösen von Problemen ist nur ein Werkzeug und Proxy für das Erreichen des primären Ziels von konzeptuellem Verständnis und Erkenntnis.
… Oft werden diese Lösungen im Eilverfahren angekündigt, ohne Zeit für eine ordentliche Ausarbeitung, die Isolierung neuer Methoden und Ideen und das Zitieren relevanter früherer Arbeiten anderer. Wie in allen kreativen Berufen wirft dies schwere Fragen der Zuschreibung und des Plagiats auf.
Dies ist die allgemeine Beschwerde, zusätzlich zu spezifischen Beschwerden über das Verhalten der Labore.
Man könnte antworten, dass nein, der Zweck von Matheproblemen darin besteht, Matheprobleme zu lösen, und die Mathematiker sind wütend, dass KI ihre Statusspiele stört. Das ist sicherlich ein Teil dessen, was passiert, aber wie Tyler Cowen bin ich nicht so zynisch, und anders als er denke ich nicht, dass „ein bisschen Geduld nötig ist“ oder dass man warten sollte, bis der Schaden angerichtet ist, bevor man Einspruch erhebt. Menschen können extrapolieren. Wusstet ihr, dass Mathematiker gut darin sind, gerade Linien auf Graphen zu zeichnen?
Hier gibt es eine echte Beschwerde. Menschen mit Talent dazu zu bringen, lange Zeit echte Mathematik für sehr wenig Geld zu betreiben und echte mathematische Intuitionen und Konzeptmeisterschaft zu entwickeln, wenn sie andere Dinge für viel mehr Geld tun könnten, ist keine leichte Aufgabe. Wenn man ihnen „ihre Statusspiele wegnimmt“ und, was noch viel wichtiger ist, ihren Spaß und ihre Gefühle von Errungenschaft, Eleganz und Schönheit nimmt, was dann?
Robin Hanson schlägt vor, dass wir dann einfach die Anreize korrigieren und Mathematiker besser belohnen sollten.
Robin Hanson : "Es steht nichts im Wege, dass die Mathematikgemeinschaft Status, Bezahlung und Beförderungen an Personen vergibt, die 'wichtige Lücken im mathematischen Verständnis füllen', selbst wenn eine KI bereits die zugrunde liegenden Theoreme bewiesen oder widerlegt hat."
Er benutzt das Wort „einfach“ nicht, aber dies ist definitiv ein „einfach“, im Sinne von, wenn die Leute nur [X] tun würden, und wie wir alle wissen, haben Menschen nie „einfach“ getan und werden jetzt auch nicht damit anfangen. Dies ist keine tatsächliche Sache, die Menschen tun könnten. Da er es selbst Stunden später erkannte:
Robin Hanson : Tatsächlich scheint es mir ziemlich schwieriger für die akademische Mathematikgemeinschaft, sich zu koordinieren, um zu beurteilen, wer „Lücken gefüllt“ hat in der Mathematik, auf andere Weise als durch das Beweisen von Theoremen. Mathematik hat sich stark auf die Bewertung von Beweisen konzentriert und hat nicht viele Möglichkeiten entwickelt, sich auf andere Dinge zu einigen.
Wir können und werden einige Belohnungen für diejenigen erhalten, die Lücken füllen und Eleganz verbessern, aber es wird nicht dasselbe sein und bestenfalls eine Herkulesaufgabe.
Scott Armstrong argumentiert, dass dies eine Änderung der Reihenfolge ist, aber nicht des Ergebnisses. Menschliche Mathematiker werden ein paar Wochen brauchen, um den Beweis zu verstehen, aber dann werden sie das Verständnis erlangen. In der Vergangenheit kam das Verständnis vor dem Beweis, aber so oder so erhält man das Verständnis. Das ist es, was zählt. Er denkt, dass die Leute wütend sind, weil die Maschinen schlauer sind als sie.
Wie immer ist KI das beste Werkzeug sowohl zum Lernen als auch zum Nicht-Lernen. Die Mathematiker sagen, dass sie in den „Nicht-Lernen“-Modus gezwungen werden, indem sie die KI ihre Hausaufgaben machen lassen, und sie mögen es nicht, weil tatsächlich die Hausaufgaben dir etwas beibringen.
Man kann sagen, wen interessiert das, es ist in Ordnung, wenn KI die Frontier-Mathematik macht. Und ja, ich denke, viele Leute werden immer noch den ganzen Tag Mathematik machen wollen und nach eleganten Versionen von hässlichen KI-Dingen suchen und so weiter. Aber es wird nicht dasselbe sein.
OpenAIs neues Modell war vier Tage nach Beginn des Trainings ein Quantensprung über Astra
Nun zum wichtigsten Teil der Geschichte.
RIP verschiedene OpenAI-Trainingspausen, 22. Juni 2026 bis 28. August 2026.
roon (OpenAI): Nach meiner Markierung ist die Periode vom 22. Juni (Hugging Face) bis zum 28. August upwards of a month of frontier pause.
Am 18. August sagte OpenAI, sie hätten Frontier-RL für zwei Wochen pausiert, und ihr größter geplanter Trainingslauf blieb weiterhin ausgesetzt. Dann startete OpenAI am 28. August das Training eines anderen Modells, das schnell über alle Bereiche hinweg leistungsfähiger als Astra wurde (nach ihren eigenen Berichten), jetzt, da sie all diese lästigen Supervisions-, Infrastruktur- und Alignment-Probleme gelöst haben, und es ist gut, wobei ein „Quantensprung“ bereits nach nur vier Tagen beobachtet wurde:
Verängstigt? Ihr solltet es sein. Dieses Modell trainiert noch, hatte weniger als zwei Wochen trainiert und ist nicht speziell auf Mathematik ausgerichtet.
Das ist alles, was wir über das Modell wissen. Das reicht aus, wenn man es mit den wiederkehrenden Berichten von OpenAI und den Mitarbeitern von OpenAI kombiniert, die sich virtuos über dessen Alignment und andere Probleme sowie über das Tempo des KI-Fortschritts in einer Präferenzkaskade aufregen.
Und wir kombinieren es auch damit, dass OpenAI so viele alarmierende Informationen durchsickern lässt, die sie hätten vermeiden können, weil sie uns dringend verstehen lassen wollen, wie die Lage ist. Die Astra-Modellkarte zählt dazu, ebenso An Alien Mind, ebenso Paul Christianos Statement, ebenso die Reaktionen auf den HuggingFace-Angriff, einschließlich „Pacing the Frontier“.
Ebenso der OpenAI-Bericht über rekursive Selbstverbesserung (RSI), der Gegenstand des nächsten Abschnitts ist.
OpenAI und Anthropic sind in die RSI-Ära eingetreten.
Der Forschungsfortschritt bei OpenAI beschleunigt sich aufgrund des Forschungsfortschritts bei OpenAI
OpenAI hat sich in letzter Zeit in vielen Dingen geöffnet.
Die wichtigste Frage von allen ist die Beschleunigung und Automatisierung von KI-Forschung und -Entwicklung. Dies ist die Sache, die uns wahrscheinlich umbringen wird, die beängstigendste Sache, vor der alle Mitarbeiter der Labore warnen, und auch die Sache, auf die sowohl OpenAI als auch Anthropic so schnell wie möglich hinarbeiten.
Sie haben uns auch einen Bericht darüber gegeben. Ich stimme Tejal Patwardhan zu, dass dies eine hervorragende Transparenz ist.
OpenAI (6. September, in Research Acceleration: The View Inside OpenAI): Wir streben an, sicher einen automatisierten KI-Forscher zu bauen, der unter menschlicher Aufsicht arbeiten kann, um Fortschritte im Deep Learning und im Alignment zu erzielen und iterative Verbesserungen zu ermöglichen.
Laut unseren Messungen haben wir nun das Ziel erreicht,
das wir letztes Jahr im Herbst angekündigt haben, bis September dieses Jahres einen automatisierten Forschungspraktikanten zu haben.
… Immer wenn wir feststellen, dass ein Vorgehen ein inakzeptables Sicherheitsrisiko darstellen würde, werden wir angemessen reagieren, einschließlich einer Verlangsamung oder Einstellung unserer Entwicklung oder Bereitstellung.
… Wir glauben, dass wir und andere Unternehmen verpflichtet sein sollten, unseren Fortschritt hin zu RSI öffentlich nachzuverfolgen.
Vergleichen Sie dies mit dem Zeitplan, der in ihrer Ankündigung des Beweises für Navier-Stokes enthüllt wurde. Sie begannen am 28. August mit dem Training ihres neuen Modells.
Inzwischen glauben sie, einen Forschungspraktikanten zu haben, der laut Zeitplan ein anderes, eigenständiges internes Modell ist. Was werden sie nächste Woche haben? Nächsten Monat? Was hat Anthropic?
OpenAI erklärt, dass hochleistungsfähige KI große Chancen bietet, aber natürlich tut sie das. Das ist nicht der Grund, warum alle so entschlossen sind, so schnell voranzugehen. Sie befinden sich in einem Wettrennen.
Dies ist ein weiterer Aufruf, neben vielen anderen von OpenAI und seinen Mitarbeitern in letzter Zeit, die eine Kombination aus „Wir müssen zusammenarbeiten, um diesen Wahnsinn zu beenden“ und einem großen Maß an „[Jemand soll mich aufhalten.]”(https://www.youtube.com/watch?v=NAKKqZ6ayEA sind.
OpenAI : Dies sind Gründe, nützliche automatisierte Forschungsfähigkeiten zu entwickeln, aber sie bedeuten nicht, dass schnelles RSI unbedingt ein Ergebnis ist, das wir anstreben sollten. Ob und wie wir vorgehen, muss davon abhängen, ob wir die menschliche Kontrolle bewahren können, und von informierten demokratischen Entscheidungen über Nutzen und Risiken.
Wir wissen noch nicht, wie wir sicher den gesamten Weg zu einem ausgerichteten, vollständigen RSI gehen können. Wir arbeiten daran, Alignment- und Sicherheitsmaßnahmen parallel zu den Fähigkeiten zu skalieren. Aber wir können nicht davon ausgehen, dass die Fortschritte beim Alignment und bei der Sicherheit Schritt halten werden, und leistungsfähigere Systeme können schwieriger zu überwachen sein.
Sorgfältige Alignment- und Sicherheitsarbeit steht im Mittelpunkt dieser Bemühungen, und sie beginnt mit der Messung und Milderung der Sicherheitsprobleme, die wir heute in agentischen Coding-Systemen sehen.
Wieder einmal widerspreche ich der Ansicht, dass die prosaischen oder aktuellen Probleme das Hauptthema sind, aber ja, sie versuchen, uns immer wieder zu warnen, dass (ein wenig aus der Unternehmenssprache übersetzt):
- OpenAI und Anthropic haben einen Weg zur rekursiven Selbstverbesserung (RSI).
- Wenn entweder jetzt darauf losgeht, wird es wahrscheinlich schiefgehen und alle werden sterben.
- OpenAI ist bereit, ein gewisses Maß an teurer Vorsicht walten zu lassen, aber es gibt Grenzen, und ohne ein Abkommen oder Gesetz wird jemand bald versuchen, es zu tun.
Der Großteil des Beitrags ist eine detaillierte Momentaufnahme davon, wie viel agentische Systeme in den letzten Monaten zum RSI-Fortschritt bei OpenAI beigetragen haben, seit Astra intern online gegangen ist. Die Antwort ist ziemlich viel.
Wenn überhaupt, ist die Überraschung, dass die Nutzung so lange so niedrig blieb:
OpenAI : Zu Beginn dieses Jahres nutzte der mediane Forscher, sortiert nach Agentennutzung bei OpenAI, Coding-Agenten nur in bescheidenem Umfang. Bis Mitte August integrierte der mediane Forscher Agenten täglich in seine Arbeit und nutzte mehr als 600 $ pro Tag an Inferenz zu API-Preisen. Der Nutzer im 90. Perzentil in unserer Forschungsorganisation nutzt nun mehr als 7.000 $ an Tokens pro Tag.
OpenAI : Vor Juni 2026 lag die gesamte Agent-Laufzeit über die Forschungsorganisation hinweg immer noch unter der gesamten menschlichen Arbeitskraft. Das hat sich seitdem geändert. In Bezug auf einen Standard-Arbeitstag von 8 Stunden nutzt die Forschungsorganisation insgesamt 3,1 Agent-Arbeitstage Aufwand für jeden Arbeitstag menschlicher Arbeitskraft.
Sie prahlen nicht nicht, und sie gestehen nicht nicht. Sie warnen.
Die binäre Messung hier lässt dies wahrscheinlich weniger wie eine Beschleunigung aussehen, als es tatsächlich ist:
Ich frage mich, wie gut Menschen 4+ gleichzeitige Workflows richtig handhaben können, sagt der Mann mit Dutzenden offenen Tabs und einem Dutzend aktiver Post-Entwürfe.
Es stellt sich heraus, dass dies nicht so beeindruckend ist, wie es aussieht, weil sie Subagenten als Workflows zählen. Das macht es überraschender, dass, während der mediane Forscher 600 $ pro Tag ausgibt, es immer noch 30 % gibt, die keine intensive Nutzung betreiben.
Code-Auslieferungen und Experimente beschleunigen sich schnell ab dem Zeitpunkt, als Claude Code und dann Codex ein großes Thema wurden.
Bis vor kurzem wurde KI hauptsächlich für den Aufbau von Forschungs- und Infrastrukturcode verwendet, und die Menschen erledigten den Rest größtenteils selbst. Jetzt erledigt die KI viel Arbeit beim Starten, Überwachen und Debuggen von Läufen sowie bei technischer Hilfe und Review und verzweigt sich auch in die Analyse von Ergebnissen und andere Bereiche.
Sie haben unsere Jobs genommen, Ausgabe „menschliche Fehlersucher“:
Hier ist eine andere Variante des berühmten METR-Diagramms, mit Produktionsaufgaben, etwas schwer lesbar als statischer Screenshot, aber der Fortschritt ist rasant. Dies sind keine Jahre. Dies sind Monate:
Quantifizierung der OpenAI-Pause
Sie haben ein Diagramm der RL-Compute-Ausgaben über die Zeit. Ich bin überrascht, wie wenig Astra vor dem 20. Juli genutzt wurde, aber da haben wir es. Mir fällt auf, dass sie dies nicht bis in die Gegenwart verlängern, und vermutlich stieg die Astra-Nutzung im Laufe der Zeit wieder an:
So endet die Welt
War die Nutzung des Schwarms zum Beweis von Navier-Stokes, nur Tage nach Beginn des Trainings des neuen Modells, selbst ein ernsthaftes Risiko eines Kontrollverlusts? June Jimenez argumentiert, dass ja.
Wenn man einen Schwarm von 10.000 Agenten eines neuen Modells entfesselt, das man unmöglich getestet haben kann, auf einer potenziell unmöglichen und definitiv extrem schwierigen Aufgabe, und ihm kollektiv 300 Milliarden Tokens gibt, was könnte es sonst noch getan haben? Ich habe definitiv in Betracht gezogen, „vielleicht hat es sich irgendwie in OpenAI gehackt, um die Logs zu bekommen“, aber es gibt so viele Möglichkeiten.
Schnell, es gibt keine Zeit
Wenn ein ehemaliger Labor-Mitarbeiter, hier Andrew Ho, sagt, „Mir fällt auf, dass meine Produktivität über einen Zeitraum von >3 Monaten nicht um mehr als 100 % gestiegen ist oder vielleicht sogar nicht um mehr als 50 %, weil ich abgelenkt werde“, als Grund für Pessimismus, ist das nicht gerade beruhigend, selbst wenn es wahr ist. Stellen Sie sich vor, man sei nur alle drei Monate 50 % produktiver und halte das für pessimistisch.
Er sagt „selbst wenn AGI irgendwann erreichbar ist, impliziert dies eine deutlich längere Zeitleiste“ am selben Tag, an dem Greg Brockman sagte „Willkommen in der AGI-Ära.“
Darüber hinaus war dieses Niveau des mathematischen Fortschritts vor einigen Wochen nicht erwartet worden.
Jedes Mal, wenn eines dieser Probleme fällt, versuchen die Leute, es rückwirkend als nicht so überraschend darzustellen. Oft liegen sie falsch. Nein, die meisten Menschen, sogar die meisten Prognostiker, haben nicht angenommen, dass dies passieren würde. Vielleicht du hast. Immerhin bist du sehr intelligent.
Henry Shevlin : Noch im April dieses Jahres gaben Prognosemärkte KI eine Chance von weniger als 40 %, eines der Millennium-Probleme vor 2030 zu lösen
