Der erste Test ergab keinen Gewinner. Der zweite zeigte, dass die Modelle, die ihre eigene Arbeit überprüfen, diejenigen sind, die landen. Für den dritten wählte ich ein Problem, bei dem eine falsche Antwort unmöglich zu verbergen ist – deterministisches Chaos, mit dem Schiedsrichter direkt in der Datei – und beobachtete, was die Modelle taten, als Korrektheit nicht mehr das trennende Merkmal war.
Die Geschichte bisher
Test 01 war ein Fourier-Visualizer in einer einzigen HTML-Datei, mit einer Live-Fehleranzeige als eingebautem Schiedsrichter. Vier Modelle, identischer Prompt, nur der erste Durchlauf. Alle vier lieferten funktionierende Mathematik, die sich nur um einen Rundungsfehler voneinander unterschied. Das Einzige, was variierte, war die Rechnung – um den Faktor ~200. Die enge, ehrliche Schlussfolgerung: Bei einer gut spezifizierten Aufgabe mit einer überprüfbaren Antwort ist die Modellwahl nicht mehr die entscheidende Variable.
Test 02 war ein spielbarer Lunar Lander mit zwei Schiedsrichtern – exakte Physik des freien Falls und ein offener Autopilot, der das eigene Spiel des Modells fliegen musste. Die Physik war erneut ein Unentschieden. Der Autopilot nicht: 20/20, 18/20, 5/20, 0/20. Und was die Trennung vorhersagte, war nicht der Name oder Preis des Modells – sondern ob das Modell seine eigene Arbeit getestet hatte, bevor es „fertig“ sagte.
Für Test 03 wollte ich also eine Aufgabe, die vollständig überprüfbar ist – dieses Mal keine offene Hälfte –, aber bei der die überprüfbare Antwort wirklich schwer zu fälschen ist. Wenn die These „Das Modell ist egal“ real ist, dann sollte sie hier am stärksten sein. Und ich wollte sehen, was vier Modelle noch trennt, wenn selbst die Korrektheit konvergiert.
Die Antwort war: Chaos.
Doppelpendel-Langzeitbelichtungsspur
Der Test: ein Schiedsrichter, mit dem man nicht streiten kann
Gleiche Regeln wie immer. Ein Prompt, gleichzeitig in vier CLIs eingefügt, vier Ordner, nur erster Durchlauf, Terminals aufgezeichnet.
Der Prompt: ein Doppelpendel in einer eigenständigen HTML-Datei. Feste Konstanten (zwei 1 kg Massen, zwei 1 m Stangen, g = 9,81), eine feste Startposition (beide Arme bei 120°, aus der Ruhe losgelassen), die vollständigen nichtlinearen Bewegungsgleichungen, RK4 mit einer Schrittweite von 1/2000 s. Zeichne es, zeichne die Spur der unteren Masse und – der Punkt des Ganzen – bewerte seine eigene Physik live auf dem Bildschirm auf zwei Arten:
- Energiedrift. Ein reibungsfreies Doppelpendel erhält die mechanische Gesamtenergie exakt. Die App berechnet also jede Bildrate ihre eigene Energie und meldet, wie weit sie vom Startwert abgewichen ist. Jede Drift ist reiner Integrationsfehler. Es gibt eine analytische richtige Antwort, und die ist Null. Das ist der Schiedsrichter, mit dem man nicht streiten kann.
- Der Lyapunov-Exponent. Die App führt ein verstecktes Zwillingspendel aus, identisch bis auf den ersten Winkel, der um einen Milliardstel Teil (10⁻⁹) verschoben ist. Sie misst, wie schnell die beiden auseinanderdriften, passt die Exponentialfunktion an und meldet die Wachstumsrate λ. Ein positiver λ ist die mathematische Signatur des deterministischen Chaos – der Beweis, dass die wilde Bewegung auf dem Bildschirm echte Empfindlichkeit gegenüber Anfangsbedingungen ist, kein numerischer Fehler.
Ein Knopf führt beide Prüfungen headless über 60 simulierte Sekunden aus und gibt das Urteil aus.
Warum ein Doppelpendel? Weil es das sauberste Beispiel für ein System ist, das
gleichzeitig vollständig deterministisch und vollständig unvorhersehbar ist
. Die Gleichungen enthalten keine Zufälligkeit. Führe sie zweimal vom gleichen Start aus, und du erhältst jedes Mal die gleiche Bewegung. Verschiebe den Start um ein Milliardstel Radiant, und innerhalb von fünfzehn Sekunden machen die beiden völlig unterschiedliche Dinge. Es ist der perfekte Stresstest für die These: Die Physik ist exakt überprüfbar, aber das Verhalten ist unmöglich mit dem bloßen Auge zu beurteilen.
Doppelpendel
Um die Bewerter zu bewerten, habe ich meinen eigenen gebaut
Bei einem selbstbewertenden Test gibt es eine Falle: Was, wenn alle vier Apps sich auf eine Zahl einigen, die einfach falsch ist? Ein gemeinsamer Fehler würde wie ein Konsens aussehen.
Also habe ich vor dem Rennen mein eigenes Doppelpendel-Simulationsprogramm von Grund auf neu geschrieben – gleiche Konstanten, gleiches RK4, gleiche 60 Sekunden – als unabhängigen Lösungsschlüssel. Es sagt: Anfangsenergie 14,715 J, maximale Drift über 60 Sekunden 6,6 × 10⁻⁸ % (das ist ein Rundungshauch entfernt von perfekt), größter Lyapunov-Exponent ≈1,4 pro Sekunde, und die Zwillingsbahnen weichen nach ≈14,5 Sekunden um einen vollen Radiant voneinander ab.
Das ist die Grundwahrheit, an der jede App unten gemessen wird. Nicht „die Modelle stimmten überein“ – sondern „die Modelle stimmten mit einer unabhängigen Simulation überein, die ich kontrolliere.“
Das Rennen
Vier Terminals, vier verschiedene Tools: Sonnet 5 in Claude Code, Grok 4.5 und Composer 2.5 über die Grok CLI, DeepSeek V4 Pro in opencode.
Zwei davon behandelten es wie einen Sprint. Composer 2.5 wurde als Erster fertig, in 1 Minute 43 Sekunden – schrieb die Datei, druckte eine saubere Tabelle mit „headless validierten Ergebnissen“, fertig. Grok 4.5 folgte mit der gründlichsten Ausarbeitung der vier: die sauberste Lehrbuch-Energiegleichung und zwei Abstandsmetriken, während alle anderen nur eine meldeten.
Die anderen beiden behandelten es wie eine Prüfung, die sie abgeben mussten. Sonnet 5 schrieb die kompakteste Datei des Feldes und öffnete dann einen echten Browser – fünfzehnmal – um tatsächlich seinen eigenen Schiedsrichter auszuführen. Dabei bemerkte es, dass der Automatisierungs-Tab von Chrome im Hintergrund gedrosselt wurde, überlegte laut, dass der headless Check nicht von der Animation abhing, führte ihn trotzdem aus und erklärte ihn erst dann für erledigt, bei . DeepSeek V4 Pro machte das Gleiche über ein anderes Tool – steuerte einen headless Chrome, klickte auf seinen eigenen „Run Referee“-Knopf, machte einen Screenshot des Panels zur Bestätigung – und wurde bei fertig, nachdem es ganze acht Cent ausgegeben hatte.
vier Terminals, vier KI-Agenten
Hier ist das entscheidende Detail, und es stellt Test 02 auf den Kopf. Composer und Grok meldeten korrekte Schiedsrichterzahlen, ohne die Datei jemals zu öffnen. Soweit die Aufzeichnung zeigt, leiteten sie ihre „validierten“ Ergebnisse allein aus dem Nachdenken ab. Sonnet und DeepSeek meldeten korrekte Zahlen, weil sie das Ding ausführten und das Panel lasen.
Vielleicht muss ich nächstes Mal playwright oder Chrome e2e erzwingen.
Die Ergebnisse aus dem eigenen Schiedsrichter jeder App
Schiedsrichter #1 – Energiedrift, die exakte Hälfte. Grundwahrheit: 6,6 × 10⁻⁸ %.
Modell
Maximale Energiedrift (selbst gemeldet)
Ergebnis
Sonnet 5
6,57 × 10⁻⁸ %
BESTANDEN
Grok 4.5
≈6,6 × 10⁻⁸ %
BESTANDEN
Composer 2.5
6,6 × 10⁻⁸ %
BESTANDEN
DeepSeek V4 Pro
4,94 × 10⁻⁸ % *
BESTANDEN
Konvergiert. Zum dritten Mal. Alle vier landen auf derselben achtstelligen Antwort wie meine unabhängige Simulation. Niemand hat den Integrator gefälscht – man kann ihn nicht fälschen, das ist das ganze Design, und dieses Mal hat es niemand einmal versucht. (* DeepSeek liest einen Hauch niedriger, nur weil sein headless Check die Energie alle 100 Schritte abtastet statt bei jedem Schritt – der am wenigsten präzise Prüfer der vier, aber immer noch komfortabel bestanden.)
Schiedsrichter #2 – der Lyapunov-Exponent, die Chaos-Hälfte. Grundwahrheit: ≈1,4 pro Sekunde, positiv.
Modell
Angepasster λ
1-Rad-Abweichung
Sonnet 5
1,634 /s
14,85 s
DeepSeek V4 Pro
1,535 /s (R² = 0,964)
14,50 s
Composer 2.5
1,47 /s
14,5 s
Grok 4.5
1,45 /s
14,85 s
Alle positiv. Alle innerhalb des Fensters, das jedes Modell zur Anpassung gewählt hat. Das Chaos ist real, auf vier unabhängige Weisen gemessen, und es stimmt mit dem Lösungsschlüssel überein.
Energiedrift
Was hat sie also tatsächlich getrennt?
Lies die beiden Tabellen und die ehrliche Antwort ist: Bei dem, was der Test misst, hat nichts sie getrennt. Alle vier sind korrekt. Das ist die stärkste Bestätigung der These „Das Modell ist egal“ in drei Tests – die Aufgabe war vollständig überprüfbar, wirklich schwer, und jedes Modell hat sie gemeistert.
Aber Test 02 hat mich gelehrt, auf die Spalte zu schauen, die nicht die Punktzahl ist. Letztes Mal war es der Autopilot. Dieses Mal sind es die Uhr und der Browser.
- Die beiden schnellen Modelle (Composer 1:43, Grok 3:58) lieferten korrekte Dateien aus, die sie nie ausgeführt haben.
- Die beiden langsamen Modelle (Sonnet 9:07, DeepSeek 9:15) lieferten korrekte Dateien aus, weil sie sie ausgeführt haben.
Hier ist die Wendung aus Test 02. Letztes Mal sind die Modelle, die nicht verifiziert haben, gescheitert – Groks Autopilot ließ 15 von 20 Landungen abstürzen. Dieses Mal haben die Modelle, die nicht verifiziert haben, trotzdem bestanden. Composer und Grok hatten ohne Überprüfung recht.
Das schärft die Lektion, anstatt sie zu wiederholen: Verifikation ist nicht das, was die Ausgabe korrekt macht. Sie ist das, was dich wissen lässt, dass sie korrekt ist, bevor du sie auslieferst. Bei einer vollständig überprüfbaren Aufgabe kann ein gut genuges Modell die Überprüfung überspringen und trotzdem richtig liegen. Es kann nur nicht wissen, dass es richtig liegt. Composer und Grok waren in einem Viertel der Zeit da – und lieferten blind aus. Sonnet und DeepSeek zahlten fünf Minuten und acht Cent bis zwei Dollar für etwas, das die Sprinter nicht gekauft haben: Gewissheit.
Ob sich dieser Handel lohnt, hängt ganz von den Kosten eines Fehlers ab. Für eine Wegwerf-Visualisierung blind ausliefern und die Minuten sparen. Für alles, wo ein stiller Integrationsfehler in die Produktion gelangt, ist das Modell, das den Browser öffnet, dasjenige, das du willst – und DeepSeek hat bewiesen, dass diese Gewohnheit vier Cent kostet, nicht zwei Dollar.
Blindmodus: Wo dieser Test seine Zähne zeigt
Es gibt einen Grund, warum ich Chaos gewählt habe. Stelle die vier Pendel nebeneinander und lass sie laufen. Innerhalb von fünfzehn Sekunden ist jede Spur ein anderes unvorhersehbares Gekritzel – und du kannst nicht sagen, welches Modell welche geschrieben hat. Der Hausstil, die Variablennamen, die kleinen UI-Spielereien verschwinden alle, sobald die Physik übernimmt. Vier korrekte Implementierungen eines chaotischen Systems sind für das Auge nicht zu unterscheiden.
Das ist kein Fehler im Test. Das ist die Erkenntnis, als Bild dargestellt: Wenn die Aufgabe vollständig spezifiziert und korrekt gelöst ist, verschwindet der Fingerabdruck des Modells. Probiere den Blindmodus und sieh, ob du einen Münzwurf schlagen kannst. Ich konnte es nicht.
vier Doppelpendel-Spuren
Was die Rechnung gekauft hat
- DeepSeek V4 Pro: 0,0432 $, auf das Token aufgeschlüsselt. Es war auch eines der beiden, die einen echten Browser gesteuert haben, um sich selbst zu bewerten. Am günstigsten und am gründlichsten – das Preis-Leistungs-Sieger, wieder, um zwei Größenordnungen.
- Sonnet 5: ~2,02 $, token-abgerechnet (es lief auf einem Plan, also ist das meine Token-Anzahl × veröffentlichter Preis). Der größte Teil ging an die fünfzehnmalige Verifikationsschleife, die die sorgfältigste Abzeichnung des Feldes produzierte.
- Grok 4.5 und Composer 2.5: Flatrate-Abo über die Grok CLI, kein Preis pro Token – also keine ehrliche Dollarsumme und kein Balken in meinem Diagramm.
Die Einschränkungen, bevor du mich zitierst
Ein Durchlauf pro Modell. Die vier CLIs wurden im Abstand von ein oder zwei Minuten gestartet, daher sind die Stoppuhren im Video die echte Wanduhrzeit jedes Modells aus seinen eigenen Protokollen, kein synchronisierter Startschuss – die Dauern sind ehrlich, die „Startlinie“ ist gestaffelt, und ich sage dir das lieber, als einen sauberen Start vorzutäuschen. DeepSeek's headless Schiedsrichter unterabtastet, weshalb seine Driftzahl am niedrigsten ist; ich bezeichne das als kleine Ungenauigkeit, nicht als Fehler, weil sein Live-Panel jedes Bild abtastet und mein unabhängiger Lauf den wahren Wert bestätigt. Und „Verifikation kauft Vertrauen, nicht Korrektheit“ ist eine Behauptung über diese Aufgabe, bei der die Antwort vollständig überprüfbar war – bei einer offenen Aufgabe (siehe Test 02) hat Verifikation auch Korrektheit gekauft.
Alles ist veröffentlicht und läuft live. Du musst keiner Zahl in diesem Artikel vertrauen – drücke selbst den Knopf.
https://x.com/0xBakeer/status/2077442955934101680
Probier es aus
Alle vier unbearbeiteten Dateien laufen in deinem Browser. Drücke Play, um das Chaos zu sehen, drücke Run Referee, um jede Zahl oben zu reproduzieren:
- Der Test: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- Die Arena (alle vier nebeneinander): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Blindmodus – errate, wer welche gebaut hat: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Test 02, die Lunar-Lander-Runde: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Test 01, die Fourier-Runde: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Rohdaten, inklusive Prompt: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
Die Energietabelle ist die Kontrollgruppe – sie soll unentschieden enden, und das tut sie. Die Uhr ist das Experiment. Und der Blindmodus ist der Point: Vier korrekte Antworten auf ein chaotisches Problem sehen exakt gleich aus.
— Khaled
