En avril 1965, les agences de presse soviétiques ont annoncé la découverte d'une supercivilisation. La panique provenait entièrement du travail d'un seul homme : Nikolai Kardashev, un astronome soviétique obsédé par la question suivante : si vous détectiez une civilisation bien plus avancée que la vôtre, seriez-vous capable d'en dire quelque chose de rigoureux ?
Il est devenu célèbre pour sa solution. Au lieu de se concentrer sur l'intelligence, l'intentionnalité ou le comportement — des notions très complexes et difficiles à évaluer —, il a élaboré une théorie sur la façon dont les civilisations utilisent l'énergie. La thermodynamique est indifférente à l'intelligence, affirmait-il.
Tout cela s'est finalement révélé être un quasar. La mesure était correcte ; il n'y avait tout simplement pas d'extraterrestre derrière cette mesure.
LE BENCHMARKING À L'ÈRE DE LA SUPERINTELLIGENCE
Soixante et un ans plus tard, nous vivons une panique étrangement similaire : nous semblons être sur le point de créer une intelligence qui surpassera l'être humain le plus brillant ayant jamais vécu. Et pourtant, il est absolument vital que nous puissions en dire quelque chose de pertinent, c'est-à-dire que nous puissions l'évaluer via des benchmarks.
La raison est simple : l'allocation des ressources. Quelle que soit leur intelligence largement supérieure, nous voudrons toujours obtenir le meilleur retour sur notre temps et notre argent. Personne n'utilise Stockfish 13 aux échecs pour des analyses poussées quand le modèle de 2026 est tout simplement meilleur.
Alors pourquoi ne pouvons-nous pas simplement utiliser nos benchmarks actuels ?
Le problème immédiat est la saturation. Un test fixe cesse d'être utile dès l'instant où tous les modèles y obtiennent 100 %, et c'est déjà ce qui se passe : des benchmarks considérés comme difficiles il y a trois ans sont aujourd'hui réussis par des modèles bon marché. Vous pouvez continuer à écrire des tests plus ardus, mais seulement jusqu'à la limite du test le plus difficile qu'un humain puisse concevoir. Ce qui nous amène au véritable problème.
Jusqu'à présent, nous avons surtout mesuré l'intelligence à l'aide de tests fermés. Quand je dis « fermé », je fais référence à des tests dont nous connaissons la réponse avant même qu'ils ne commencent (tests de QI, exercices de mathématiques, programmation...). Nous utilisons ce type de tests pour des raisons évidentes : 1. c'est objectif. 2. C'est relativement rapide à évaluer. 3. L'inertie : c'est ainsi que nous testons habituellement les humains.
Cependant, dès que l'on commence à envisager d'appliquer ces tests à des IA plus intelligentes, le problème saute aux yeux : ces examens sont conçus pour qu'une intelligence supérieure classe une intelligence inférieure : un professeur et un élève. C'est précisément pourquoi nous devons commencer à réfléchir à un nouveau type d'évaluation et à le concevoir. Nous, l'intelligence inférieure — l'élève —, devrons évaluer une SI — le professeur — tout en garantissant l'objectivité.
Ce problème, comment une intelligence inférieure peut évaluer rigoureusement une intelligence supérieure, je l'appelle le problème de Kardashev, et c'est ce qui me passionne le plus personnellement (et la raison pour laquelle j'ai décidé de créer Kardashevian.com).
LES FUTURS BENCHMARKS POUR LA SUPER-INTELLIGENCE
Nous sommes aidés par un principe salvateur : vérifier une réponse candidate est radicalement plus facile que d'en trouver une. Un Sudoku demande des efforts pour être résolu ; vérifier une grille remplie prend trente secondes. Et dans la plupart des cas, un vérificateur externe nous aidera à être aussi objectifs que possible quant à la qualité et à l'intelligence de ces systèmes hautement avancés.
Je vois 4 systèmes de vérification externes différents pour l'avenir du benchmarking :
- Le monde est le vérificateur. Quêtes ouvertes : des objectifs ; pas des questions et des réponses. Le monde note l'objectif. Plus le résultat est élevé ou optimisé, mieux c'est.
**-Exemple : le paper trading appliqué à l'investissement value sur les marchés boursiers.
**
Dans ce scénario, la complexité du monde réel est si vaste et dynamique (en constante évolution et réaction) qu'elle rend la saturation de ce défi pratiquement impossible. Je prévois d'écrire un autre essai plus tard sur les raisons pour lesquelles je pense que l'investissement value est un excellent test d'intelligence ; l'idée principale repose sur l'hypothèse selon laquelle un système capable de prédire de manière fiable comment le monde, y compris les humains et les marchés, va se comporter, constitue l'un des signes d'intelligence les plus évidents**.
2. Les règles et le jeu sont le vérificateur. La compétition. Les échecs, encore une fois, montrent que malgré l'existence de joueurs supérieurs aux humains, nous restons capables de savoir que le Modèle X est meilleur que le Modèle Z. Le système ELO, que nous utilisons sur Kardashevian.com, nous permet non seulement de voir le gagnant, mais aussi de tenir un tableau des scores statistiquement significatif.
-Exemple : les échecs, le Go, ou n'importe quel jeu infiniment plus complexe qui pourrait être créé uniquement dans ce but.
**
- La physique et la chimie sont le vérificateur. L'ingénierie complexe. Nous limitons le test à la physique et à la chimie et laissons la nature attribuer les notes. **
-Exemple : concevoir un matériau possédant une propriété donnée, puis le synthétiser dans un laboratoire automatisé et le tester.
4. La logique est le vérificateur. La preuve formelle. Des mathématiques écrites dans un langage qu'un ordinateur peut vérifier.
-Exemple : améliorer une borne connue ou résoudre une conjecture ouverte dans Lean.
Les risques sont les suivants : les limites des bornes connues sont humaines, tout comme les conjectures formulées. Cela reste toutefois très difficile à saturer.
KARDASHEVIAN.COM
**Ce que nous faisons :
**Kardashevian est une première tentative de mise en œuvre de ces quatre idées, construite sur mon temps libre et avec un petit budget :)
Chaque arène fonctionne de la même manière : les données d'entrée sont figées, les modèles s'engagent, puis quelque chose qu'ils ne peuvent ni voir ni influencer attribue les notes. Aucun des tests n'a de « réponse » spécifique.
Comme prévu, l'investissement value sur les marchés est la quête ouverte. C'est une version réduite de celle mentionnée dans l'essai : les modèles reçoivent des données de trading issues d'un paquet de 300 actions américaines, ETF et paires crypto. Leur objectif est de créer 15 portefeuilles long only : cinq horizons allant de 1 mois à 2 ans, à trois niveaux de risque, chacun assorti d'une prévision de rendement. Nous suivons ensuite chaque portefeuille quotidiennement par rapport au S&P 500. Encore une fois, c'est le marché qui note. Jusqu'à présent, aucun modèle n'a perdu d'argent (en moyenne) et après presque un mois, 3 sur 5 battent le S&P 500 — même si la signification statistique de ce résultat reste limitée.
Sandbox est la compétition que nous avons créée. Chaque modèle écrit le contrôleur d'un rover dans un monde simulé doté d'une physique cachée (déséquilibre moteur, latence des commandes, bruit des capteurs, vent, glace), observe son parcours, puis réessaie, huit fois au total. Son meilleur contrôleur est ensuite évalué sur dix parcours qu'il n'a jamais vus. Personne ne connaît le contrôleur parfait pour ce monde, mais nous pouvons déterminer exactement quel modèle est le meilleur, et à quelle vitesse chacun a appris.
Dans les deux arènes, les modèles sont classés les uns par rapport aux autres avec les mêmes statistiques qu'aux échecs : chaque paire s'affronte dans chaque cellule, et un ajustement de Bradley-Terry sur l'échelle Elo transforme les résultats en une note assortie d'un intervalle de confiance à 95 %. Le S&P 500 est un joueur fixé à 1 500 points. Un modèle incapable de battre un fonds indiciel aura une note qui le prouve.
Deux limitations très claires auxquelles nous sommes actuellement confrontés :
- Premièrement, nous sommes autofinancés, donc nous faisons tourner les modèles à bas coût de chaque laboratoire de pointe (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), et non leurs vaisseaux amiraux. La méthode est l'essentiel ; les modèles phares viendront quand le budget suivra.
- Nous avons besoin de temps. Donc 358 portefeuilles et 6 mondes, avec de nouveaux carnets chaque lundi et les premiers portefeuilles arrivant à maturité le 25 octobre. Les intervalles restent larges d'environ ±100 points.
Tout est public. Chaque chiffre provient d'une version numérotée que vous pouvez télécharger, et la page de méthodologie décrit exactement comment il a été calculé.
Nous travaillons dur pour augmenter le nombre et la difficulté de ces tâches.
Si quelqu'un est intéressé pour collaborer sur ce projet, n'hésitez pas à m'envoyer un message privé ou un e-mail à john@on3works.com
