1965 年 4 月，蘇聯新聞機構宣布發現了一個超級文明。這場恐慌全都源自一個人的研究：Nikolai Kardashev，一位蘇聯天文學家，他長期執著於以下這個問題：如果你真的偵測到一個遠比自身先進的文明，你能否對它做出任何嚴謹的論述？
他因為提出的解答而聲名大噪。他沒有把焦點放在智能、意圖或行為上（這些都極其複雜且難以評估），而是建立了一套關於文明如何使用能量的理論。他主張——熱力學對智能一視同仁。
結果這一切只是一顆類星體。測量本身沒問題，只是那組數據背後並沒有外星人。
超級智能時代的基準測試
61 年後的今天，我們面臨一場詭異地相似的恐慌：我們似乎正處於創造出一種智能的邊緣，而這種智能即將超越人類歷史上最聰明的人。然而，至關重要的是，我們必須能夠對它們提出有意義的論述，也就是我們需要為它們建立基準測試（benchmark）。
原因很簡單：資源配置。無論它們的智能高出多少，我們仍然希望自己的時間與金錢能獲得最佳回報。當 2026 年的模型明顯更強時，沒有人會用 Stockfish 13 來做西洋棋的深度分析。
那麼，為什麼我們不能直接沿用現有的基準測試呢？
最直接的問題是飽和。當每個模型都在某項固定測試中拿到 100% 的分數時，這項測試就失去意義了，而這已經在發生：三年前被認為很難的基準測試，現在連廉價模型都能輕鬆通過。你可以不斷設計更難的測試，但上限就是人類所能出題的最難程度。這就把我們帶到了真正的問題。
到目前為止，我們大多使用封閉式測試來衡量智能。當我說「封閉」時，我指的是在測試開始前我們就已經知道答案的測驗（智力測驗、數學考試、程式設計……）。我們使用這類測試的原因很明顯：1. 它是客觀的。2. 評估速度相對較快。3. 慣性：我們本來就是這樣測試人類的。
然而，一旦你開始思考把這些測試套用到更聰明的 AI 身上，問題就變得顯而易見——這些考試的設計前提，是一個較高智能去評量較低智能：老師與學生。這正是我們必須開始思考並設計新型評估方式的原因。身為較低智能的我們——學生——將不得不去評估一個超級智能（SI）——老師——同時還要保證客觀性。
這個問題，也就是較低智能如何嚴謹地評估較高智能，我稱之為「卡爾達肖夫問題」（Kardashev problem），也是我個人最熱衷的議題（同時是我決定創立 Kardashevian.com 的原因）。
未來的超級智能基準測試
有一條救贖原則能幫上忙：驗證一個候選答案，遠比找出答案容易得多。解一道數獨很費力；但檢查填好的格子只需三十秒。而且在多數情況下，外部驗證者能幫助我們盡可能客觀地評估這些高度先進系統的品質與智能。
我認為未來基準測試會有 4 種不同的外部驗證系統：
- 世界就是驗證者。開放式任務：目標；而不是問答。由世界來為目標評分。越高或越最佳化，就越好。
-範例：股票市場的價值投資模擬交易。
在這個情境中，真實世界的複雜度如此龐大且動態（不斷變化與反應），使得這項挑戰幾乎不可能達到飽和。我計畫之後再寫一篇文章，深入說明為何我認為價值投資是測試智能的絕佳方式；核心要點在於這個假設：一個能可靠預測世界（包含人類與市場）行為的系統，就是智能最明確的指標之一。
2. 規則與遊戲本身就是驗證者。競爭。同樣以西洋棋為例，儘管已經有超越人類的玩家，我們依然能分辨出 X 模型比 Z 模型更強。我們在 Kardashevian.com 使用的 ELO 系統，不僅讓我們看到誰贏了，還能維持一份具統計顯著性的積分榜。
-範例：西洋棋、圍棋，或任何專為此目的打造、複雜度無限更高的遊戲。
**
- 物理與化學就是驗證者。複雜工程。我們把測試限制在物理與化學範圍內，讓大自然來評分。
-範例：設計一種具備特定性質的材料，接著在自動化實驗室中合成並測試它。
4. 邏輯就是驗證者。形式證明。用電腦可檢驗的語言撰寫的數學。
-範例：在 Lean 中改善已知界線或解決開放猜想。
風險在於：已知界線的上限是人，提出的猜想也是。但要達到飽和仍然非常困難。
KARDASHEVIAN.COM
我們在做什麼：
Kardashevian 是針對上述四個概念的首次嘗試，全是我利用空閒時間、以有限預算完成的 :)
每個競技場的運作方式都一樣：輸入資料固定，模型提交結果，然後由某個它們無法看見也無法影響的東西來評分。沒有任何一項測試有特定的「標準答案」。
正如預期，市場價值投資屬於開放式任務。它是文章中提到的那個概念的縮小版：模型會收到一組包含 300 檔美國股票、ETF 與加密貨幣交易對的資料包中的交易數據。它們的目標是建立 15 個純多頭投資組合：五種持有期間（從 1 個月到 2 年），搭配三種風險等級，每個組合都要附上報酬預測。接著我們會每天追蹤每個投資組合相對於 S&P 500 的表現。同樣地，由市場來評分。到目前為止，還沒有任何模型虧錢（平均而言），而且將近 1 個月下來，有 3/5 擊敗了 S&P 500——儘管這在統計上的顯著性仍然有限。
Sandbox 是我們設計的競賽。每個模型要在一個物理規則隱藏的模擬世界中（馬達不平衡、指令延遲、感測器雜訊、風、冰面）為探測車撰寫控制器，觀察它的運行，然後重試，總共八次。接著用它表現最好的控制器，在十個從未見過的路線上評分。沒有人知道那個世界的完美控制器長什麼樣，但我們能精確判斷哪個模型的更好，以及各自學習的速度有多快。
在這兩個競技場中，模型之間都用西洋棋所使用的相同統計方式互相評比：每一組配對都會在每個區間進行對戰，並透過 Elo 量表上的 Bradley–Terry 擬合，將結果轉換成附帶 95% 信賴區間的評分。S&P 500 則是一位固定在 1,500 分的玩家。如果一個模型連指數基金都打不贏，它的評分就會如實呈現這一點。
我們目前面臨兩個非常明確的限制：
- 首先，我們是自籌資金，因此只跑各家前沿實驗室的低成本模型（GPT-6 Luna、Claude Haiku 5.5、DeepSeek Flash、MiMo），而不是旗艦模型。重點在於方法；等預算到位，旗艦模型自然會加入。
- 我們需要時間。目前有 358 個投資組合與 6 個世界，每週一新增資料，首批投資組合將於 10 月 25 日到期。信賴區間目前仍約有 ±100 分的寬度。
所有資料都是公開的。每個數字都來自你可以下載的編號版本，方法頁面也詳細說明了計算方式。
我們正努力增加這些任務的數量與難度。
如果有人有興趣一起參與這個專案，歡迎直接私訊我，或寄信到 john@on3works.com
