1965 年 4 月，蘇聯新聞機構宣佈發現了一個超級文明。這場恐慌全因一個人而起：Nikolai Kardashev，一位蘇聯天文學家，他一直沉迷於以下問題：如果你真的探測到一個遠超自身的文明，你能否對它作出任何嚴謹的論述？
他因提出的解答而聲名大噪。他沒有聚焦於智能、意圖或行為——這些都極其複雜且難以評估——而是創立了一套關於文明如何使用能源的理論。他主張：熱力學對智能一視同仁。
結果這一切原來只是一顆類星體。測量本身沒問題；只是測量背後並沒有外星人。
超級智能時代的基準測試
61 年後的今天，我們面臨着一場詭異地相似的恐慌：我們似乎正處於創造出一種智能的邊緣，而這種智能即將超越有史以來最聰明的人類。然而，能夠對它們作出有意義的論述至關重要，也就是說，我們需要為它們建立基準測試。
原因很簡單：資源分配。無論它們的智能有多麼高超，我們仍然希望自己的時間和金錢能獲得最佳回報。當 2026 年的模型明顯更強時，沒有人會用 Stockfish 13 來作深入的國際象棋分析。
那麼，為什麼我們不能直接用現有的基準測試呢？
最直接的問題是飽和。當每個模型都在某項固定測試中取得 100% 分數的那一刻，這項測試就失去價值了，而這正在發生：三年前被認為困難的基準測試，現在連廉價模型都能輕鬆通過。你可以不斷編寫更難的測試，但上限就是人類所能寫出的最難測試。這就帶出了真正的問題。
到目前為止，我們主要使用封閉式測試來衡量智能。我所說的「封閉」，是指在測試開始前我們已經知道答案的測試（IQ 測試、數學測試、編程……）。我們使用這類測試的原因顯而易見：1. 客觀。2. 評估相對快速。3. 慣性：這就是我們一向測試人類的方式。
然而，一旦你開始思考將這些測試應用於更聰明的 AI，問題便顯而易見——這些考試是為較高級的智能去評核較低級的智能而設計的：老師與學生。這正是我們需要開始思考並設計一種新型評估方式的原因。我們作為較低級的智能——學生——必須在保證客觀性的前提下，去評估超級智能（SI）——老師。
這個問題，即較低級的智能如何能嚴謹地評估較高級的智能，我稱之為卡爾達肖夫問題（Kardashev problem），也是我個人最熱衷的課題（亦是我決定創建 Kardashevian.com 的原因）。
未來的超級智能基準測試
有一條救贖原則能幫到我們：驗證候選答案比找出答案容易得多。解一道數獨需要費力；但驗證一個填好的方格只需三十秒。在大多數情況下，外部驗證器能幫助我們盡可能客觀地評估這些高度先進系統的質素與智能。
我認為未來基準測試會有 4 種不同的外部驗證系統：
- 世界就是驗證器。開放式任務：目標；而非問答。由世界來為目標評分。越高或越優化，就越好。
-例子：股票市場的價值投資模擬交易。
在這個情境下，真實世界的複雜性如此龐大且動態（不斷變化與反應），令這項挑戰幾乎不可能達到飽和。我計劃稍後再寫一篇文章，詳細說明為何我認為價值投資是測試智能的絕佳方法；其核心在於假設：一個能夠可靠預測世界（包括人類與市場）行為的系統，正是智能最清晰的體現之一。
2. 規則與遊戲本身就是驗證器。競爭。再次以國際象棋為例，它證明了即使存在超越人類的棋手，我們依然能分辨出模型 X 比模型 Z 更強。我們在 Kardashevian.com 使用的 ELO 系統，不僅讓我們看到誰勝出，還能維持一份具統計意義的計分榜。
-例子：國際象棋、圍棋，或任何專為此目的而創建的無限複雜遊戲。
**
- 物理與化學就是驗證器。複雜工程。我們將測試限制在物理與化學範疇，讓大自然來評分。
-例子：設計一種具備特定屬性的材料，然後在自動化實驗室合成並進行測試。
4. 邏輯就是驗證器。形式化證明。以電腦可驗證的語言撰寫的數學。
-例子：在 Lean 中改善已知界限或解決未解猜想。
風險在於：已知界限與提出的猜想皆源於人類。不過要達到飽和仍然非常困難。
KARDASHEVIAN.COM
我們在做什麼：
Kardashevian 是對上述四個概念的首次嘗試，由我在業餘時間以有限預算搭建 :)
每個競技場的運作方式都一樣：輸入數據固定，模型提交方案，然後由它們無法看見或影響的事物來評分。所有測試都沒有特定的「答案」。
正如預期，市場價值投資屬於開放式任務。它是文章中提及版本的縮小版：模型會收到包含 300 隻美國股票、ETF 及加密貨幣組合的交易數據包。它們的目標是建立 15 個純長倉投資組合：涵蓋從 1 個月到 2 年的五個時間跨度，分為三個風險等級，每個都附有回報預測。隨後，我們每天追蹤每個投資組合相對於標普 500 指數的表現。同樣，由市場來評分。到目前為止，沒有任何模型虧損（平均而言），而在接近 1 個月的時間內，有 3/5 跑贏了標普 500 指數——儘管其統計顯著性仍然有限。
Sandbox 是我們創建的競賽。每個模型要在一個隱藏物理特性（馬達不平衡、指令延遲、感測器雜訊、風、冰）的模擬世界中，為漫遊車編寫控制器，觀察其運行，然後重試，共八次。其最佳控制器隨後會在十個從未見過的賽道上接受評分。沒有人知道那個世界的完美控制器是什麼，但我們能準確分辨哪個模型的更好，以及每個模型的學習速度。
在這兩個競技場中，模型之間都以國際象棋所用的相同統計方式互相評分：每一對都會在每個單元中進行比賽，並在 Elo 量表上透過 Bradley–Terry 擬合，將結果轉化為附帶 95% 區間的評分。標普 500 指數是一名固定為 1,500 分的玩家。如果一個模型連指數基金都打不贏，它的評分就會如實反映出來。
我們目前面臨兩個非常明確的限制：
- 首先，我們是自資營運，因此只運行各前沿實驗室的低成本模型（GPT-6 Luna、Claude Haiku 5.5、DeepSeek Flash、MiMo），而非旗艦模型。重點在於方法；等預算充足時，自然會加入旗艦模型。
- 我們需要時間。目前有 358 個投資組合和 6 個世界，每逢星期一推出新組合，首批投資組合將於 10 月 25 日到期。區間寬度仍約為 ±100 分。
所有資料均公開。每個數字都來自你可下載的編號版本，而方法頁面則詳細說明了計算過程。
我們正努力增加這些任務的數量與難度。
如果有人有興趣合作參與這個項目，歡迎隨時私訊我，或發送電郵至 john@on3works.com
