Im April 1965 verkündeten sowjetische Nachrichtenagenturen die Entdeckung einer Superzivilisation. Die gesamte Panik ging auf die Arbeit eines einzigen Mannes zurück: Nikolai Kardaschow, ein sowjetischer Astronom, der von folgender Frage besessen war: Wenn du tatsächlich eine Zivilisation entdecken würdest, die deiner eigenen weit überlegen ist, könntest du dann etwas Fundiertes über sie aussagen?
Berühmt wurde er für seine Lösung darauf. Anstatt sich auf Intelligenz, Intentionalität oder Verhalten zu konzentrieren – alles hochkomplexe und schwer zu bewertende Faktoren –, entwickelte er eine Theorie darüber, wie Zivilisationen Energie nutzen. Die Thermodynamik ist gegenüber Intelligenz gleichgültig – so sein Argument.
Am Ende stellte sich alles als Quasar heraus. Die Messung war korrekt; es steckte nur kein Alien dahinter.
BENCHMARKING IM ZEITALTER DER SUPERINTELLIGENZ
61 Jahre später erleben wir nun eine seltsam ähnliche Panik: Wir scheinen kurz davor zu stehen, eine Intelligenz zu erschaffen, die den klügsten Menschen, der je gelebt hat, übertreffen wird. Und dennoch ist es von entscheidender Bedeutung, dass wir etwas Sinnvolles über sie aussagen können – das heißt, wir müssen Benchmarks für sie erstellen.
Der Grund dafür ist simpel: Ressourcenallokation. Unabhängig von ihrer weitaus überlegenen Intelligenz werden wir weiterhin das beste Verhältnis von Aufwand und Ertrag für unsere Zeit und unser Geld erwarten. Niemand nutzt Stockfish 13 im Schach für tiefgehende Analysen, wenn das Modell von 2026 einfach besser ist.
Warum können wir also nicht einfach unsere aktuellen Benchmarks verwenden?
Das unmittelbare Problem ist die Sättigung. Ein festgelegter Test verliert in dem Moment seinen Nutzen, in dem jedes Modell darin 100 % erreicht – und genau das passiert bereits: Benchmarks, die vor drei Jahren noch als schwierig galten, werden heute von günstigen Modellen mühelos gemeistert. Man kann immer schwerere Tests schreiben, aber nur bis zu der Grenze des schwersten Tests, den ein Mensch überhaupt verfassen kann. Und das bringt uns zum eigentlichen Problem.
Bislang haben wir Intelligenz hauptsächlich mit geschlossenen Tests gemessen. Wenn ich „geschlossen“ sage, meine ich damit Tests, bei denen wir die Lösung schon kennen, bevor der Test überhaupt beginnt (IQ-Tests, Mathetests, Programmieraufgaben …). Wir nutzen diese Art von Tests aus offensichtlichen Gründen: 1. Sie sind objektiv. 2. Sie lassen sich relativ schnell auswerten. 3. Gewohnheit: So testen wir normalerweise auch Menschen.
Sobald man jedoch darüber nachdenkt, diese Tests auf intelligentere KIs anzuwenden, wird das Problem offensichtlich – diese Prüfungen sind dafür gemacht, dass eine überlegene Intelligenz eine unterlegene bewertet: ein Lehrer und ein Schüler. Genau deshalb müssen wir anfangen, über eine neue Art der Bewertung nachzudenken und sie zu entwickeln. Wir, die unterlegene Intelligenz – der Schüler –, werden eine Superintelligenz – den Lehrer – bewerten müssen und dabei trotzdem Objektivität gewährleisten.
Dieses Problem – wie eine unterlegene Intelligenz eine überlegene fundiert bewerten kann – nenne ich das Kardaschow-Problem. Es ist das Thema, für das ich mich persönlich am meisten begeistere (und der Grund, warum ich Kardashevian.com ins Leben gerufen habe).
ZUKÜNFTIGE BENCHMARKS FÜR SUPERINTELLIGENZ
Ein rettendes Prinzip kommt uns dabei zugute: Eine vorgegebene Antwort zu überprüfen, ist radikal einfacher, als sie zu finden. Ein Sudoku zu lösen kostet Mühe; ein ausgefülltes Raster zu prüfen dauert dreißig Sekunden. Und in den meisten Fällen wird uns ein externer Verifizierer helfen, so objektiv wie möglich zu beurteilen, welche Qualität und Intelligenz diese hochentwickelten Systeme besitzen.
Ich sehe vier verschiedene externe Verifizierungssysteme für die Zukunft des Benchmarkings:
- Die Welt ist der Verifizierer. Offene Quests: Ziele statt Fragen und Antworten. Die Welt bewertet das Ziel. Je höher oder optimierter, desto besser.
**-Beispiel: Paper Trading beim Value Investing an der Börse.
**
In diesem Szenario ist die Komplexität der realen Welt so gewaltig und dynamisch (ständig im Wandel und in Reaktion), dass eine Sättigung dieser Herausforderung praktisch unmöglich wird. Ich plane, in einem weiteren Essay ausführlicher darauf einzugehen, warum Value Investing meiner Meinung nach ein hervorragender Intelligenztest ist; der Kerngedanke liegt in der Annahme, dass ein System, das zuverlässig vorhersagen kann, wie sich die Welt – einschließlich Menschen und Märkte – verhalten wird, eines der deutlichsten Zeichen von Intelligenz ist.
2. Die Regeln und das Spiel sind der Verifizierer. Wettbewerb. Schach zeigt erneut, dass wir trotz überlegener Spieler im Vergleich zum Menschen immer noch erkennen können, ob Modell X besser ist als Modell Z. Das Elo-System, das wir auch auf Kardashevian.com nutzen, erlaubt es uns zudem, nicht nur den Gewinner zu sehen, sondern eine statistisch signifikante Rangliste zu führen.
-Beispiel: Schach, Go oder jedes unendlich komplexere Spiel, das eigens für diesen Zweck entwickelt werden kann.
**
- Physik und Chemie sind der Verifizierer. Komplexe Ingenieurskunst. Wir beschränken den Test auf Physik und Chemie und lassen die Natur die Bewertung übernehmen. **
-Beispiel: ein Material mit einer bestimmten Eigenschaft entwerfen, es anschließend in einem automatisierten Labor synthetisieren und testen.
4. Die Logik ist der Verifizierer. Formale Beweise. Mathematik, formuliert in einer Sprache, die ein Computer überprüfen kann.
-Beispiel: eine bekannte Schranke verbessern oder eine offene Vermutung in Lean lösen.
Risiken dabei: Die Grenzen bekannter Schranken sind menschlich definiert, ebenso wie die aufgestellten Vermutungen. Dennoch sehr schwer zu sättigen.
KARDASHEVIAN.COM
**Was wir tun:
**Kardashevian ist ein erster Versuch, all diese vier Ideen umzusetzen – in meiner Freizeit und mit kleinem Budget gebaut :)
Jede Arena funktioniert nach demselben Prinzip: Die Eingaben werden eingefroren, die Modelle legen sich fest, und dann übernimmt etwas die Bewertung, das sie weder sehen noch beeinflussen können. Keiner der Tests hat eine spezifische „Antwort“.
Wie erwartet ist Value Investing an den Märkten die offene Quest. Es handelt sich um eine kleinere Version der im Essay erwähnten Aufgabe: Die Modelle erhalten Handelsdaten aus einem Paket von 300 US-Aktien, ETFs und Krypto-Paaren. Ihr Ziel ist es, 15 Long-only-Portfolios zu erstellen: fünf Zeithorizonte von einem Monat bis zwei Jahren, auf drei Risikoniveaus, jeweils mit einer Renditeprognose. Anschließend verfolgen wir jedes Portfolio täglich im Vergleich zum S&P 500. Auch hier übernimmt der Markt die Bewertung. Bislang hat kein Modell (im Durchschnitt) Geld verloren, und nach fast einem Monat schlagen 3/5 den S&P 500 – auch wenn die statistische Signifikanz dessen noch begrenzt ist.
Sandbox ist der von uns entwickelte Wettbewerb. Jedes Modell programmiert die Steuerung für einen Rover in einer simulierten Welt mit verborgener Physik (Motorungleichgewicht, Befehlsverzögerung, Sensorrauschen, Wind, Eis), beobachtet seinen Lauf und versucht es acht Mal erneut. Seine beste Steuerung wird dann auf zehn Strecken bewertet, die es nie zuvor gesehen hat. Niemand kennt die perfekte Steuerung für diese Welt, aber wir können exakt sagen, welches Modell die bessere hat und wie schnell jedes einzelne gelernt hat.
In beiden Arenen werden die Modelle gegeneinander mit denselben Statistiken bewertet, die auch im Schach verwendet werden: Jedes Paar spielt in jeder Zelle ein Match, und eine Bradley-Terry-Anpassung auf der Elo-Skala verwandelt die Ergebnisse in ein Rating mit einem 95-%-Intervall. Der S&P 500 ist ein Spieler, der fest auf 1.500 gesetzt ist. Ein Modell, das einen Indexfonds nicht schlagen kann, bekommt genau das als Rating ausgewiesen.
Zwei sehr klare Einschränkungen, mit denen wir derzeit zu kämpfen haben:
- Erstens finanzieren wir uns selbst, daher setzen wir die kostengünstigen Modelle der jeweiligen Frontier-Labore ein (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo) und nicht deren Flaggschiffe. Die Methode steht im Vordergrund; die Flaggschiffe kommen, sobald das Budget da ist.
- Wir brauchen Zeit. Also 358 Portfolios und 6 Welten, mit neuen Büchern jeden Montag und den ersten Portfolios, die am 25. Oktober ausreifen. Die Intervalle sind noch etwa ±100 Punkte breit.
Alles ist öffentlich. Jede Zahl stammt aus einem nummerierten Release, das du herunterladen kannst, und die Methodenseite beschreibt exakt, wie sie berechnet wurde.
Wir arbeiten hart daran, die Anzahl und den Schwierigkeitsgrad dieser Aufgaben zu erhöhen.
Wenn jemand Interesse hat, gemeinsam an diesem Projekt zu arbeiten, schick mir gerne eine DM oder eine E-Mail an john@on3works.com
