Ein Blick in GPT 6 Astra: Wie Loop-Transformer funktionieren

OpenAI beschreibt GPT 6 Astra als sein bisher fähigstes und am besten ausgerichtetes Modell.

Greg Brockman ging noch weiter und sagte, es sei vernünftig, Astra als eine frühe Form der künstlichen allgemeinen Intelligenz zu betrachten.

Das Modell war außerdem das erste, das OpenAIs kritischen Schwellenwert für Cybersicherheit überschritt. Laut dem Unternehmen kann es bisher unbekannte Schwachstellen entdecken und funktionierende Exploits mit begrenzter menschlicher Anleitung entwickeln.

Diese Behauptungen sind dramatisch, aber sie sind nicht der wichtigste Teil der Veröffentlichung.

Die eigentliche Veränderung ist architektonischer Natur.

Ein herkömmliches Sprachmodell leitet Informationen durch eine feste Abfolge von Transformer-Blöcken und generiert das nächste Token. Astra kann seinen internen Zustand mehrmals durch dieselben Rechenblöcke verarbeiten, bevor es dem Benutzer ein einziges Wort anzeigt.

Es generiert nicht einfach eine längere Gedankenkette.

Es verbringt mehr Zeit mit Nachdenken, bevor es antwortet.

1 Wie moderne Sprachmodelle funktionieren

Stellen Sie sich vor, Sie tippen:

Der Everest ist...

Das Modell muss vorhersagen, was als Nächstes kommt.

Sein Aufmerksamkeitsmechanismus bestimmt, welche Teile des Kontexts relevant sind. Das Wort Everest aktiviert verwandte Konzepte wie Berge, Höhe, den Himalaya, Nepal, Tibet, Klettern und Expeditionen.

Das Modell kombiniert dann diese Assoziationen mit dem umgebenden Kontext. In den meisten Fällen wird eine Fortsetzung wie der höchste Berg der Erde sehr wahrscheinlich.

In einem herkömmlichen Transformer bewegt sich diese Darstellung durch eine Abfolge von Blöcken. Jeder Block transformiert sie einmal und übergibt das Ergebnis an den nächsten.

Wenn ein Modell 40 Blöcke enthält, durchläuft der verborgene Zustand alle 40 nacheinander. Die endgültige Darstellung wird in eine Wahrscheinlichkeitsverteilung für das nächste Token umgewandelt.

Mehr Blöcke bedeuten normalerweise eine größere Rechentiefe. Ein tieferes Modell kann mehr Transformationen durchführen, bevor es sich auf eine Antwort festlegt.

Aber das Hinzufügen von Blöcken erhöht auch die Anzahl der Parameter, den Speicherbedarf und die Trainingskosten.

Die übliche Annahme war einfach: Wenn Sie ein tieferes Modell wollen, müssen Sie einen größeren Stapel von Schichten aufbauen.

Eine geschleifte Architektur ändert dieses Prinzip.

2 Was eine geschleifte Architektur ändert

Laut Berichten von The Information verwendet GPT 6 Astra eine geschleifte Transformer-Architektur.

OpenAI hat keine vollständige technische Spezifikation veröffentlicht, daher bleibt die genaue Implementierung privat. Aber der allgemeine Mechanismus ist aus der öffentlichen Forschung bereits gut verstanden.

Anstatt den verborgenen Zustand nur einmal durch jeden Block zu schicken, kann das Modell das Ergebnis zu einem Rechenblock zurückführen und erneut verarbeiten.

Stellen Sie es sich wie einen internen Entwurf vor.

Das Modell erzeugt eine vorläufige Darstellung, schickt sie durch dieselben Gewichte, verfeinert sie und wiederholt den Prozess mehrmals. Erst nach Abschluss der Schleife erscheint das nächste sichtbare Token.

Die Parameteranzahl bleibt gleich. Die Gewichte bleiben innerhalb eines Blocks, die Rechenleistung wächst mit der Anzahl der Schleifen, und nur das endgültige Token wird ausgegeben.

Das entscheidende Detail ist, dass die Anzahl der Parameter nicht unbedingt zunimmt.

Dieselben Gewichte werden bei jedem Durchlauf wiederverwendet.

Was zunimmt, ist der Rechenaufwand.

In einem herkömmlichen Transformer durchläuft ein Token eine Abfolge verschiedener Blöcke. In einem geschleiften Transformer kann es mehrmals durch dieselbe gemeinsame Struktur laufen.

Das Modell wird durch Berechnung tiefer, ohne durch die Parameteranzahl größer zu werden.

Dies schafft einen neuen Kompromiss:

Mehr Parameter erfordern mehr Speicher
Mehr Schleifen erfordern mehr Rechenleistung
Ein Modell kann unterschiedliche Rechenmengen für verschiedene Aufgaben aufwenden

Der letzte Punkt ist besonders wichtig. Die Rechentiefe kann sich ändern, ohne ein neues Modell zu erstellen.

3 Wie rekurrente Tiefe trainiert wird

Es reicht nicht aus, einen Transformer-Block einfach in eine Schleife zu setzen.

Wenn ein Modell während des Trainings immer genau 32 Durchläufe ausführt, kann es lernen, sich auf die Position jedes Schrittes zu verlassen. Der erste Durchlauf könnte eine Funktion lernen, der zehnte eine andere, und der zweiunddreißigste könnte zu einer festen Ausgabeschicht werden.

Das Ergebnis wäre ein herkömmliches 32-Schichten-Netzwerk, das als Schleife getarnt ist.

Forscher lösen dieses Problem, indem sie die Anzahl der rekurrenten Durchläufe während des Trainings variieren.

Eine der klarsten Demonstrationen stammt vom rekurrenten Tiefenmodell Huginn. Seine Entwickler trainierten ein 3,5-Milliarden-Parameter-Netzwerk auf etwa 800 Milliarden Token.

Bei jedem Trainingsschritt wurde die Anzahl der Schleifen aus einer Verteilung mit einem Mittelwert nahe 32 abgetastet. Ein Beispiel könnte vier Durchläufe erhalten, ein anderes 17, ein weiteres 40 und ein anderes nahe 90.

Das Modell konnte nicht im Voraus wissen, welcher Durchlauf sein letzter sein würde.

Es musste daher etwas Allgemeineres lernen als eine feste Abfolge von Operationen.

Es musste lernen, seinen aktuellen internen Zustand zu verbessern.

Abstract aus dem Recurrent Depth Paper auf arXiv

Das Training über Dutzende von rekurrenten Schritten erzeugt ein weiteres Problem: Speicher.

Die standardmäßige Rückpropagierung würde erfordern, die Zwischenaktivierungen aus jeder Schleife zu speichern. Bei genügend Wiederholungen werden die Speicherkosten enorm.

Die Huginn-Forscher verwendeten einen praktischen Kompromiss. Der Vorwärtsdurchlauf konnte für viele Schleifen laufen, aber die Gradienten wurden nur durch die letzten acht berechnet.

Frühere Durchläufe beeinflussten immer noch das Endergebnis, aber ihre vollständige Aktivierungshistorie musste nicht im Speicher bleiben.

Dies ähnelt der abgeschnittenen Rückpropagierung durch die Zeit. Der Unterschied besteht darin, dass die Rekurrenz über die Rechentiefe und nicht über die Wörter in einer Sequenz erfolgt.

Die Anzahl der Schleifen wird bei jedem Trainingsschritt abgetastet, während der Gradient nur durch die letzten acht Durchläufe berechnet wird.

Dem Modell wird nicht beigebracht, eine starre Abfolge von 32 Operationen auszuführen.

Ihm wird beigebracht, seinen verborgenen Zustand in Richtung einer nützlichen Antwort zu bewegen, unabhängig davon, wann der Prozess gestoppt wird.

Das ändert, was Tiefe bedeutet.

Tiefe ist nicht länger nur eine Eigenschaft, die von Ingenieuren vor dem Training gewählt wird. Sie kann während der Inferenz zu einer Variablen werden.

4 Adaptive Berechnung während der Inferenz

Die meisten aktuellen Reasoning-Steuerungen arbeiten auf der Ebene sichtbarer Token.

Wenn ein Modell gebeten wird, länger nachzudenken, generiert es eine längere Gedankenkette, verwendet mehr Ausgabe-Token oder erstellt zusätzlichen Zwischentext.

Eine geschleifte Architektur bietet einen anderen Mechanismus.

Die Anzahl der internen Durchläufe kann sich ändern, ohne die Gewichte zu modifizieren und ohne das Modell zu zwingen, eine längere Erklärung zu schreiben.

Eine einfache Aufgabe könnte vier Schleifen erhalten.

Ein schwieriger mathematischer Beweis könnte 32 erhalten.

Ein komplexes Programmierproblem könnte 64 erhalten.

Das Modell bleibt gleich. Nur die Menge der internen Berechnung ändert sich.

Die Gewichte bleiben fest. Nur die Anzahl der internen Durchläufe, die zur Verarbeitung jedes Tokens verwendet werden, ändert sich.

Öffentliche Experimente zur rekurrenten Tiefe zeigen bereits das erwartete Muster.

Die Leistung verbessert sich schnell während der ersten Schleifen. Die Gewinne werden dann kleiner, bis die Kurven sich einem Plateau nähern.

Dies deutet darauf hin, dass der verborgene Zustand konvergiert.

Frühe Durchläufe nehmen große Korrekturen vor. Spätere Durchläufe verfeinern kleinere Details. Irgendwann hört die zusätzliche Berechnung auf, sinnvolle Verbesserungen zu erzielen.

Ein zukünftiges System könnte diesen Moment automatisch erkennen.

Anstatt jedem Prompt eine feste Schleifenanzahl zuzuweisen, könnte das Modell die Verarbeitung fortsetzen, bis sein verborgener Zustand stabil genug wird. Einfache Token wären billig. Schwierige Token würden mehr Rechenleistung erhalten.

Das würde eine echte adaptive Rechentiefe schaffen.

Länger nachdenken müsste nicht mehr bedeuten, mehr zu schreiben.

5 Forschung und frühe praktische Ergebnisse

Die Wiederverwendung von Transformer-Schichten ist keine neue Idee.

Universal Transformers führten 2018 die rekurrente Verarbeitung ein. ALBERT reduzierte die Parameteranzahl durch die gemeinsame Nutzung von Gewichten über Schichten hinweg. Mixture of Recursions erforschte das Routing von Token durch unterschiedliche Rechenmengen.

Das offene Modell Nanbeige4.2 3B bietet ein besonders direktes Beispiel.

Seine Konfiguration enthält 22 Schichten und num_loops: 2. Effektiv durchläuft das Modell diese Schichten zweimal. Es hat ungefähr die Parameteranzahl eines 22-Schichten-Netzwerks, aber ungefähr die Rechentiefe eines 44-Schichten-Netzwerks.

Nanbeige4.2 3B Konfiguration auf Hugging Face

Zweiundzwanzig Schichten, num_loops: 2 und eine Apache 2.0-Lizenz. Der Mechanismus ist bereits in einer offenen Modellkonfiguration sichtbar.

Jahrelang blieben rekurrente Transformer-Designs interessante Forschungsideen und nicht der dominierende Ansatz.

Die fehlende Zutat waren starke Skalierungsnachweise.

Am 1. September veröffentlichte eine Gruppe von Forschern SMELT, eine Studie, die darauf abzielte, geschleifte und herkömmliche Transformer unter vergleichbaren Bedingungen zu vergleichen.

Sie kontrollierten die Parameteranzahl, den Trainingsrechenaufwand und die KV-Cache-Größe. Unter diesen Einschränkungen benötigten geschleifte Modelle 6,8 % bis 18 % weniger Trainingsrechenaufwand, um das gleiche Leistungsniveau zu erreichen.

Die größten Gewinne zeigten sich bei Code.

Abstract aus dem SMELT Paper auf arXiv

Bei vergleichbarem Rechenaufwand, Parametern und KV-Cache spart das Schleifen 6,8 % bis 18 % des Trainingsrechenaufwands, mit den stärksten Gewinnen bei Code.

Die Forscher beobachteten auch eine Veränderung im Aufmerksamkeitsverhalten.

In herkömmlichen Transformatoren werden die frühesten Token einer Sequenz oft zu Aufmerksamkeitssenken. Sie erhalten einen unverhältnismäßig großen Anteil an Aufmerksamkeit, selbst wenn ihre semantische Bedeutung begrenzt ist.

Nach einem zweiten Durchlauf durch dieselben Blöcke verlagerte sich die Aufmerksamkeit des Modells auf relevantere Token.

Die zweite Schleife wiederholte nicht einfach die erste. Sie nutzte das Ergebnis des ersten Durchlaufs als Grundlage für eine selektivere Verarbeitung.

SMELT beweist nicht, dass jedes zukünftige Modell rekurrent sein sollte. Es zeigt jedoch, dass das Schleifen wettbewerbsfähig bleibt, nachdem die wichtigsten experimentellen Bedingungen angeglichen wurden.

Die Frage ist nicht mehr, ob rekurrente Tiefe funktionieren kann.

Die Frage ist, wie weit sie skaliert werden kann.

6 Interpretierbarkeit und Kontrolle

Dasselbe architektonische Merkmal, das Schleifen attraktiv macht, erschwert auch die Modellüberwachung.

Bei explizitem Chain-of-Thought-Reasoning erscheinen zumindest einige Zwischenschritte als lesbarer Text. Forscher können sie überprüfen, nach verdächtigen Mustern suchen und die angegebene Argumentation mit der endgültigen Antwort vergleichen.

Ein rekurrentes Modell kann mehr Verarbeitung innerhalb verborgener Aktivierungen durchführen, ohne Text zu generieren.

Buck Shlegeris und Ryan Greenblatt haben argumentiert, dass dies die Nützlichkeit der Chain-of-Thought-Überwachung verringern könnte. Wenn mehr Verarbeitung in verborgene Berechnung verlagert wird, könnte die sichtbare Erklärung weniger darüber verraten, wie das Modell zu seinem Ergebnis gelangt ist.

Sebastian Raschka bot einen wichtigen Gegenpunkt an.

Die Wiederverwendung von Gewichten schafft nicht automatisch geheime oder unzugängliche Kognition. Interne Aktivierungen können immer noch mit Interpretierbarkeitswerkzeugen untersucht werden. Der Hauptunterschied besteht darin, dass das Modell möglicherweise weniger sichtbare Zwischentoken benötigt, weil mehr Berechnung stattfindet, bevor die Generierung beginnt.

OpenAI-Chefwissenschaftler Jakub Pachocki hat ebenfalls gesagt, dass der Rechengraph von Astra ungefähr innerhalb eines Faktors von zwei der Tiefe von GPT 4 bleibt und dass die Schleife bewusst begrenzt wurde, um die Überwachungsfähigkeiten zu erhalten.

Das deutet auf eine zurückhaltende Implementierung und nicht auf einen unbegrenzten rekurrenten Prozess hin.

Eine Gedankenkette ist ohnehin nicht garantiert ein getreues Protokoll der internen Berechnung eines Modells. Das System wird dafür belohnt, nützliche Antworten zu liefern, nicht dafür, einen wissenschaftlich genauen Bericht über jede verborgene Operation zu erstellen.

Forschung mit Beteiligung von OpenAI, Anthropic und Google DeepMind zeigt, dass die Erklärung eines Modells wichtige Faktoren auslassen, eine Entscheidung im Nachhinein rationalisieren oder einen saubereren Pfad präsentieren kann als den, der das Ergebnis tatsächlich beeinflusst hat.

Eine geschleifte Architektur macht diese Unterscheidung schwerer zu ignorieren.

Sichtbares Denken kann eine Schnittstelle sein.

Die Hauptberechnung kann im Modell stattfinden, bevor irgendein Text erscheint.

7 GPT 6 Astra Ergebnisse

GPT 6 Astras spektakulärstes Benchmark-Ergebnis ist eine Punktzahl von 99,9 % bei ARC AGI 3.

Diese Zahl klingt fast endgültig, aber sie hängt stark davon ab, wie der Test durchgeführt wird.

Simon Willison hob hervor, dass das 99,9 %-Ergebnis von OpenAIs benutzerdefiniertem Provider-Adapter-Harness stammte. Unter dem standardmäßigen ARC-Prize-Harness erzielte dasselbe Modell 62,7 %.

Das Modell änderte sich nicht.

Die Evaluierungsumgebung schon.

Dasselbe Modell erzeugt zwei verschiedene Ergebnisse bei zwei unterschiedlichen Durchlaufkosten.

Der OpenAI-Durchlauf kostete etwa 19.000 $. Der Standarddurchlauf kostete etwa 26.000 $.

Die deutlich höhere Punktzahl wurde auch vom günstigeren Setup erzielt.

Das macht das Ergebnis nicht unbedingt ungültig. Ein benutzerdefinierter Adapter kann effektiver mit dem Modell interagieren oder Fähigkeiten freilegen, die ein generischer Evaluierungsrahmen übersieht.

Aber die Schlagzeilenzahl kann nicht getrennt von den Bedingungen interpretiert werden, die sie hervorgebracht haben.

GPT 6 Astra bei ARC AGI 3

Ein Modell, zwei Evaluierungs-Harnesses und eine Lücke von 37,2 Prozentpunkten.

Andere Evaluierungen sind weniger dramatisch.

Beim Artificial Analysis Intelligence Index schneidet Astra ungefähr gleichauf mit GPT 5.6 Sol und etwa fünf Punkte unter Claude Fable 5.1 ab.

Sein praktischerer Vorteil könnte die Effizienz bei agentischen Aufgaben sein, wo es bei geringeren Kosten eine wettbewerbsfähige Leistung erreichen kann.

Benchmarks zeigen, was ein Modell erreichen kann. Die Architektur hilft zu erklären, woher diese Fähigkeiten kommen und wie sie sich entwickeln könnten.

8 Was dies für die Zukunft der KI bedeutet

Jahrelang bedeutete die Skalierung von Sprachmodellen hauptsächlich das Hinzufügen von Parametern, das Hinzufügen von Daten und den Aufbau größerer fester Stapel von Transformer-Blöcken.

Jede neue Generation wurde größer, teurer und anspruchsvoller im Betrieb.

GPT 6 Astra weist auf einen anderen Weg hin.

Ein Modell kann dieselben Parameter wiederverwenden, mehr Rechenleistung für schwierige Aufgaben zuweisen und seine interne Darstellung verfeinern, bevor es sein erstes Wort produziert.

Dies trennt die Modellgröße von der Tiefe seines Denkens.

Anstatt einem festen Rechenpfad zu folgen, kann das System den Arbeitsaufwand an die Schwierigkeit eines bestimmten Problems anpassen.

Das könnte sowohl die Modellleistung als auch die Wirtschaftlichkeit der KI-Nutzung verändern. Dieselbe Intelligenz könnte für einfache Anfragen in einem schnellen und kostengünstigen Modus arbeiten und dann ihre Rechentiefe erhöhen, wenn eine Aufgabe wirklich mehr Denken erfordert.

Rekurrenz kehrt zu Sprachmodellen zurück. Dieses Mal operiert sie nicht primär zwischen Wörtern, sondern innerhalb des Prozesses, der sie erzeugt.

Die nächste Generation von Systemen könnte nicht nur leistungsfähiger werden, weil sie mehr Parameter enthält.

Ihr entscheidender Vorteil könnte darin bestehen, zu wissen, wann eine gute Antwort bereits gefunden wurde und wann es sich lohnt, die interne Schleife noch einmal zu durchlaufen.

Wie GPT 6 Astra tatsächlich denkt

1 Wie moderne Sprachmodelle funktionieren