Hallo, KI-Enthusiasten!
OpenAI hat es diese Woche offiziell gemacht: Willkommen im Zeitalter der AGI.
GPT-6 Astra ist da, und OpenAI verkauft es als einen Generationensprung – große Fortschritte bei der Computernutzung, beim Programmieren, bei der Recherche und bei der Art von langer, unordentlicher Arbeit, die früher einen Menschen brauchte, der sie die ganze Zeit betreute.
Ich nehme das Marketing für einen Moment für bare Münze, denn es wirft eine Frage auf, die die Branche stillschweigend umgangen hat: Wie messen wir dieses Ding eigentlich?
Seit einigen Jahren läuft KI nach Benchmarks. Jeder Launch kommt mit einer Tabelle, die beweist, dass das neue Modell hier 3 % besser ist, dort 7 % besser und auf mysteriöse Weise 12 % intelligenter, gemäß einem Benchmark, den es letzten Frühling noch nicht gab. Wir ordnen sie ein, farbkodieren sie, stapeln sie in Ranglisten und krönen einen Gewinner. Das hat gut genug funktioniert, als Modelle im Grunde nur Fragen beantworteten. Es funktioniert nicht mehr, sobald Modelle anfangen, Dinge zu tun.
Hier ist das Kernproblem: Ein Benchmark ist nur eine Fragensammlung. Du gibst dem Modell ein Problem, es liefert eine Antwort, du überprüfst die Antwort anhand eines Schlüssels. Selbst die ausgefallenen Computer-Use-Benchmarks sind im Kern ein Haufen vorgefertigter Aufgaben, die in vorgefertigten Umgebungen ausgeführt werden. Das ist echt nützlich. Es ist aber auch ganz anders, als wenn man einen Agenten auf einem echten Rechner loslässt und ihm sagt, er solle etwas erledigen.
Das echte Leben kommt nicht mit einer Benchmark-Datei. Nichts auf deinem Desktop sagt dir genau, wie „erledigt" aussieht.
Ein echter Computer ist ein Browser, der mitten in der Aufgabe abstürzt, eine Website, die gestern still und leise ihr Design geändert hat, eine Tabelle mit drei widersprüchlichen Versionen, eine Berechtigung, die niemand erwähnt hat, ein PDF, das sechs Ordner tief vergraben ist, eine API, die bei der ungünstigsten Anfrage aussteigt, und ein Mensch, der sagt: „Kannst du dich einfach darum kümmern?" und dann weggeht, ohne zu definieren, was „darum" ist.
Der Agent muss es selbst herausfinden. Und der Teil, den niemand gut benchmarken kann: Er muss sich erholen, wenn der erste Versuch fehlschlägt. Das ist eine völlig andere Fähigkeit, als die richtige Antwort zu bekommen.
Deshalb sind die Berichte, dass OpenAI Zehntausende von Consumer-Macs für Reinforcement Learning und Computer-Use-Training gekauft hat, aufschlussreicher, als sie scheinen. Die genauen Zahlen wurden berichtet, nicht geprüft – aber die Richtung ist unverkennbar. Die führenden Labore wollen ihre Modelle auf echten Rechnern haben, nicht in einem Chat-Fenster gefangen. Und das sprengt still und leise das gesamte Benchmark-Spiel.
Stell dir zwei Agenten vor, denselben Computer, dieselbe vage Aufgabenstellung:
Recherchiere diesen Markt, wähle drei vielversprechende Unternehmen aus, erstelle einen finanziellen Vergleich und bereite eine Präsentation für das Investitionskomitee vor.
Es gibt nicht den einen richtigen Weg, das zu tun. Es gibt hundert. Ein Agent surft zwei Stunden lang. Ein anderer schreibt ein Skript. Ein dritter stößt auf halbem Weg auf eine bessere Datenquelle und verwirft seinen ursprünglichen Plan. Ein vierter macht einen Fehler, bemerkt ihn und behebt ihn. Ein fünfter liefert dir eine wunderschöne Präsentation, die auf völlig falschen Zahlen basiert.
Also, wer hat gewonnen? Der Benchmark-Autor kann die Antwort nicht vorher schreiben, weil es keine gibt.
Und hier wird es richtig unangenehm. Der schwierigste Teil der Bewertung eines Agenten ist vielleicht nicht mehr war die Antwort richtig. Es ist war das überhaupt irgendwie nützlich. Das klingt nach Haarspalterei. Ist es aber nicht.
Nimm einen Agenten, der 95 % eines Computer-Use-Benchmarks schafft, und setze ihn dann für eine Woche in einem echten Unternehmen ein. Er erstellt die falsche Ordnerstruktur, überschreibt eine Live-Tabelle, verbringt sechs Stunden mit einer Sackgasse, zitiert selbstbewusst eine Statistik von 2023 und bleibt an einer Berechtigungswand hängen, nach der er nie zu fragen denkt. Jede Benchmark-Aufgabe: perfekt. Niemand würde ihn eine zweite Woche behalten.
Nimm jetzt einen Agenten, der nur 85 % erreicht – aber weiß, wann er verwirrt ist, die eine Frage stellt, die ihn entblockt, die Richtung ändert, wenn etwas kaputtgeht, und leise Arbeit abliefert, die du tatsächlich nutzen kannst. Welcher ist intelligenter? Die Rangliste hat keine Ahnung. Ehrlich gesagt, wir auch nicht.
Deshalb denke ich, dass unabhängige Benchmarks gegen eine Wand laufen. Nicht, weil die Forscher nachlässig sind – sie entwickeln härtere, realistischere Tests als je zuvor. Das Problem ist, dass die Realität ständig größer wird als der Test. Du kannst den Benchmark länger machen, mehr Tools, mehr Websites, mehr Apps, mehr Schritte, mehr Zufälligkeit hinzufügen. Es spielt keine Rolle. Du baust immer noch ein Spiel mit Regeln, und sobald ein Modell lernt, das Spiel zu spielen, bist du wieder am Anfang.
Also werden wir die Ergebnisse bekommen. 91,4 %. 94,7 %. 97,2 %. 98,1 %. Die Leute werden diskutieren, ob Modell A Modell B schlägt. Jemand wird eine weitere Rangliste starten. Jemand anderes wird eine Rangliste der Ranglisten starten. Und die ganze Zeit sitzt das Modell auf einem echten Computer und tut Dinge, die keine dieser Zahlen beschreiben kann.
Das ist das Benchmark-Paradoxon: Je näher KI an allgemeine Intelligenz herankommt, desto weniger sagt dir eine Sammlung vorgefertigter Fragen darüber.
Was ersetzt es also? Ich glaube nicht, dass die Antwort „ein besserer Benchmark" ist. Ich denke, es ist etwas grundlegend Anderes. Hör auf, dem Agenten eine Frage zu geben, und gib ihm ein Ziel. Hör auf, ihm eine saubere Sandkiste zu geben, und gib ihm eine unordentliche. Hör auf zu bewerten, ob er die erwarteten Schritte befolgt hat, und bewerte, ob er das Ergebnis erzielt hat. Hör auf, denselben öffentlichen Test immer wieder zu wiederholen, und wirf ihn in Umgebungen, die sich ständig ändern, mit privaten Aufgaben, die er noch nie gesehen hat.
Und hör auf, nur zu fragen, ob er erfolgreich war. Frage, wie zuverlässig er erfolgreich ist, was es gekostet hat, wie lange es gedauert hat, wie oft er einen Menschen brauchte, wie sicher er sich verhalten hat und ob die Arbeit den Kontakt mit der Realität überstanden hat.
Einfach ausgedrückt: Die nächste Generation der KI-Bewertung sollte weniger wie eine Prüfung und mehr wie ein Praktikum aussehen.
Frag das Modell nicht:
Hat es den Test bestanden?
Gib ihm einen Laptop, einen Account, ein Budget, ein Ziel und eine Woche. Dann schau zu, was es tut. Das würde dir viel mehr über seine Intelligenz verraten – und es wäre ein Albtraum, es zu standardisieren. Und genau das ist der Punkt.
Intelligenz in der realen Welt ist unordentlich, kontextbezogen, anpassungsfähig und offen. In dem Moment, in dem du sie in eine saubere Liste von Fragen mit festen Antworten presst, hörst du auf, Intelligenz zu messen. Du misst Prüfungsfähigkeit.
Und deshalb wirkt Astra für mich anders. OpenAI sagt uns lautstark, dass wir das Zeitalter der AGI betreten haben. Gut. Aber wenn das stimmt, sollten wir wahrscheinlich aufhören, der AGI die standardisierte Prüfung zu geben, die wir für Chatbots entwickelt haben.
Die interessante Frage ist nicht mehr „was hat es erreicht?" Es ist „was passiert, wenn du ihm einen Computer gibst und ihm sagst, es solle etwas erledigen?" Und ich vermute, wir werden bald feststellen, dass wir noch keine gute Antwort darauf haben.
Also – willkommen im Zeitalter der AGI. Und, still und leise, gleichzeitig: Willkommen im Zeitalter der nicht bewertbaren KI. Der Benchmark ist nicht schlechter geworden. Das Ding, das wir zu messen versuchen, ist ihm einfach entwischt.
