1965 年 4 月、ソ連の通信社が超文明の発見を発表した。このパニックはすべて、一人の男の仕事から生じた。ニコライ・カルダシェフ、ある問いに取り憑かれていたソ連の天文学者だ。その問いとは、もし自分たちを遥かに凌駕する文明を検出したとしても、それについて厳密なことを何か言えるだろうか、というものだった。
彼はその解答によって有名になった。知性や意図、行動といった、非常に複雑で評価が難しい要素に注目する代わりに、彼は文明がどのようにエネルギーを使うかについての理論を構築した。熱力学は知性に対して無関心である——彼はそう主張した。
結局のところ、それはすべてクエーサーだった。測定自体は正しかった。ただ、その測定の背後に異星人はいなかっただけだ。
超知能時代のベンチマーク
61 年後の今、私たちは奇妙なほど似たパニックを経験している。人類史上最も賢い人間を凌駕しようとしている知性を、まさに生み出そうとしているように見えるのだ。それでもなお、それらについて意味のあることを語れる能力は極めて重要である。つまり、それらをベンチマークする必要があるということだ。
理由はシンプルで、リソース配分のためだ。どれほど知性が優れていようとも、私たちは自分の時間と資金に対して最高のリターンを求めるだろう。2026 年モデルの方が明らかに優れているのに、深い分析のためにチェスで Stockfish 13 を使う人はいない。
では、なぜ現在のベンチマークをそのまま使えないのだろうか？
直近の問題は飽和だ。固定されたテストは、すべてのモデルが 100% のスコアを出した瞬間に有用性を失う。そしてそれはすでに起きている。3 年前には難しいと考えられていたベンチマークを、今では安価なモデルがクリアしてしまう。より難しいテストを作り続けることはできるが、人間が作れる最も難しいテストが上限となる。ここからが本当の問題だ。
これまで私たちは、主にクローズドテストを使って知性を測ってきた。「クローズド」と言うとき、私が指しているのはテストが始まる前から正解（スコア）がわかっているテストのことだ（IQ テスト、数学の試験、プログラミングなど）。私たちがこの種のテストを使うのには明白な理由がある。1. 客観的であること。2. 比較的短時間で評価できること。3. 慣性：普段から人間をテストする方法だからだ。
しかし、これらのテストをより賢い AI に適用しようと少しでも考え始めると、問題はすぐに明らかになる——こうした試験は、上位の知性が下位の知性をランク付けするために設計されている。教師と生徒の関係だ。だからこそ、新しいタイプの評価について考え、設計し始める必要がある。下位の知性である私たち——生徒——が、客観性を担保しながら SI（超知能）——教師——を評価しなければならないのだ。
この問題、すなわち下位の知性が上位の知性をいかにして厳密に評価できるかという問題を、私は「カルダシェフ問題」と名付けた。これは私個人が最も情熱を注いでいるテーマであり（Kardashevian.com を立ち上げようと決めた理由でもある）。
未来の超知能ベンチマーク
私たちを助けてくれる救済的な原則が一つある。候補となる答えを見つけることよりも、それを検証することの方が圧倒的に簡単だということだ。数独を解くには労力がいるが、埋められた盤面を確認するのは 30 秒で終わる。そして多くの場合、外部の検証者がいれば、これらの高度に進化したシステムの質と知性について、可能な限り客観的になれる。
ベンチマークの未来において、私が想定する 4 つの異なる外部検証システムは以下の通りだ。
- 世界が検証者となる。オープンエンドクエスト： 質問と回答ではなく、目標を設定する。世界がその目標を採点する。より高く、より最適化されているほど良い。
**-例：株式市場でのバリュー投資のペーパートレーディング。
**
このシナリオでは、現実世界の複雑さがあまりにも広大かつ動的（常に変化し反応する）であるため、この課題が飽和することは事実上不可能だ。なぜバリュー投資が知性の優れたテストになると考えているのかについては、後日別のエッセイを書く予定だが、要点は、人間や市場を含む世界がどう振る舞うかを確実に予測できるシステムこそが、知性の最も明確な兆候の一つであるという前提**にある。
2. ルールとゲームが検証者となる。競争。 再びチェスの例だが、人間を超えるプレイヤーが存在しても、モデル X がモデル Z より優れていると判断できることを示している。Kardashevian.com でも採用している ELO システムを使えば、勝者を見るだけでなく、統計的に有意なスコアボードを維持することもできる。
-例：チェス、囲碁、あるいはこの目的のためだけに作られる無限に複雑なゲーム。
**
- 物理と化学が検証者となる。複雑なエンジニアリング。 テストを物理学と化学に限定し、自然界に採点を任せる。 **
-例：特定の特性を持つ材料を設計し、自動化されたラボで合成してテストする。
4. 論理が検証者となる。 形式証明。コンピュータが検証できる言語で記述された数学。
-例：既知の境界値の改善や、Lean における未解決予想の証明。
リスクとしては、既知の境界値の限界や提示される予想が人間由来であることが挙げられる。それでも飽和させるのは非常に難しい。
KARDASHEVIAN.COM
**私たちがやっていること：
**Kardashevian は、これら 4 つのアイデアすべてに対する最初の試みであり、私の空き時間と少額の予算で作られている :)
どのアリーナも同じ仕組みで動く。入力は固定され、モデルがコミットし、その後モデルが見ることも影響を与えることもできない何かが採点を行う。どのテストにも特定の「正解」はない。
予想通り、市場のバリュー投資がオープンエンドクエストにあたる。これはエッセイで触れたものの小規模版で、300 の米国株、ETF、暗号資産ペアのパケットから取引データを受け取る。目標は 15 のロングオンリーポートフォリオを作成することだ。1 ヶ月から 2 年までの 5 つの期間、3 つのリスクレベルで、それぞれにリターン予測を付ける。その後、各ポートフォリオを毎日 S&P 500 と比較して追跡する。繰り返すが、採点をするのは市場だ。これまでのところ、どのモデルも（平均して）損失を出しておらず、約 1 ヶ月が経過した時点で 5 つ中 3 つが S&P 500 を上回っている——ただし、これの統計的有意性はまだ限定的だ。
Sandbox は私たちが作った競争環境だ。各モデルは、隠された物理法則（モーターの不均衡、コマンド遅延、センサーノイズ、風、氷）を持つシミュレーション世界でローバーのコントローラーを記述し、その走行を観察し、8 回再挑戦する。そして、その中で最良のコントローラーが、一度も見たことのない 10 のコースで採点される。その世界における完璧なコントローラーが何かは誰にもわからないが、どのモデルのものが優れているか、そしてそれぞれがどれほど速く学習したかは正確にわかる。
どちらのアリーナでも、モデル同士はチェスと同じ統計手法で評価される。すべてのペアが各セルで対戦し、Elo スケール上の Bradley-Terry モデルによるフィッティングが、結果を 95% 信頼区間付きのレーティングに変換する。S&P 500 は 1,500 に固定されたプレイヤーとして扱われる。インデックスファンドに勝てないモデルには、それを示すレーティングが付くことになる。
現在直面している非常に明確な 2 つの制約：
- まず、自己資金で運営しているため、各最先端ラボの低コストモデル（GPT-6 Luna、Claude Haiku 5.5、DeepSeek Flash、MiMo）を実行しており、フラッグシップモデルではない。重要なのは手法そのものであり、フラッグシップモデルは予算がついたときに導入される。
- 時間が必要だ。そのため現在は 358 のポートフォリオと 6 つの世界があり、毎週月曜日に新しい銘柄群が追加され、最初のポートフォリオは 10 月 25 日に満期を迎える。信頼区間は依然として ±100 ポイント程度の幅がある。
すべては公開されている。各数値はダウンロード可能な番号付きリリースから得られたものであり、method ページではそれがどのように計算されたかが正確に説明されている。
私たちはこれらのタスクの数と難易度を高めるために懸命に取り組んでいる。
このプロジェクトに一緒に取り組むことに興味がある方は、気軽に DM か john@on3works.com までメールを送ってほしい。
