第一個測試沒有分出勝負。第二個則發現，那些會自我審查的模型，才是最終能成功著陸的模型。第三個測試，我選了一個無法隱藏錯誤答案的問題——確定性混沌，並且將裁判內建在檔案中——然後觀察這些模型在「正確與否」不再是區分它們的關鍵時，會採取什麼行動。
目前的故事進展
測試 01 是一個傅立葉視覺化工具，全部寫在一個 HTML 檔案中，並內建一個即時錯誤讀數作為裁判。四個模型、相同的提示、僅限第一次輸出。四個模型都產生了在四捨五入誤差範圍內完全相同的數學結果。唯一有變化的地方是成本，差異高達約 200 倍。一個狹義而誠實的結論是：對於一個規格明確且有可驗證答案的任務，模型選擇就不再是關鍵變數。
測試 02 是一個可玩的月球著陸器，配備了兩位裁判——精確的自由落體物理，以及一個開放式的自動駕駛系統，它必須駕駛模型自己創建的遊戲。物理部分再次打成平手。但自動駕駛系統沒有：分數分別是 20/20、18/20、5/20、0/20。而預測這種分數差異的關鍵，不是模型的名稱或價格——而是該模型在宣告完成之前，是否測試過自己的工作成果。
因此，對於測試 03，我想要一個完全可驗證的任務——這次沒有開放式任務——但這個可驗證的答案又確實難以偽造。如果「模型不重要」這個論點是真的，那麼這個任務應該最能證明它。而且，我想看看當連正確性都趨於一致時，還有什麼能夠區分四個模型。
結果答案是：混沌。
雙擺長曝光軌跡
測試：一個你無法爭辯的裁判
規則與以往相同。一個提示，同時貼到四個 CLI 中，四個資料夾，僅限第一次輸出，並記錄終端機。
提示內容：一個包含在單一 HTML 檔案中的雙擺模擬。固定的常數（兩個 1 公斤的擺錘、兩根 1 公尺的桿子，g = 9.81）、固定的起始位置（兩個擺臂皆為 120°，從靜止釋放）、完整的非線性運動方程式，以及步長為 1/2000 秒的 RK4 數值方法。繪製它，追蹤下方擺錘的軌跡，然後——這是整個測試的關鍵——以兩種方式在螢幕上即時評分自己的物理模擬：
- 能量飄移。 一個無摩擦的雙擺完全守恆其總機械能。因此，應用程式在每一幀計算自己的能量，並報告它偏離起始值的程度。任何飄移都是純粹的數值積分器誤差。這裡存在一個解析解的正確答案，就是零。這是個不容爭辯的裁判。
- 李雅普諾夫指數。 應用程式會運行一個隱藏的雙胞胎擺，除了第一個角度被擾動了十億分之一（10⁻⁹）外，其餘完全相同。它測量兩者分離的速度，擬合成指數曲線，並報告增長率 λ。正的 λ 是確定性混沌的數學標誌——證明了螢幕上狂野的運動是真實的對初始條件敏感性，而不是數值誤差。
一個按鈕即可在 60 秒模擬時間內以無頭模式執行這兩個檢查，並列印結果。
為什麼要選雙擺？因為它是最單純的例子，展現了一個系統如何
同時是完全確定且完全不可預測的
。這些方程式沒有隨機性。從相同的起點運行兩次，每次都會得到相同的運動。但將起點擾動十億分之一弧度，在十五秒內，兩者就會開始截然不同的運動。這是對該論點的完美壓力測試：物理是完全可驗證的，但其行為卻無法用肉眼判斷。
雙擺
為了給評分者評分，我建立了我自己的
自我評分的測試有一個陷阱：如果四個應用程式都同意一個數字，但這個數字根本是錯的，那該怎麼辦？一個共同的錯誤看起來就會像是一致意見。
因此，在競賽開始之前，我從頭開始撰寫了我自己的雙擺模擬程式——相同的常數、相同的 RK4、相同的 60 秒——作為一個獨立的答案金鑰。它顯示：起始能量為 14.715 J，60 秒內的最大飄移為 6.6×10⁻⁸ %（這幾乎完美，僅差一點點四捨五入的誤差），最大李雅普諾夫指數約為每秒 1.4，而雙胞胎軌跡分離達到一整弧度時的時間約為 14.5 秒。
這就是下面每個應用程式都必須與之比較的基準真相。不是「模型們彼此同意」——而是「模型們同意了一個我所控制的獨立模擬」。
競賽
四個終端機，四種不同的工具：Claude Code 中的 Sonnet 5、透過 Grok CLI 使用的 Grok 4.5 與 Composer 2.5、以及 opencode 中的 DeepSeek V4 Pro。
其中兩個把它當作短跑。Composer 2.5 最先完成，耗時 1 分 43 秒——寫好檔案，印出一個整潔的「已驗證的無頭結果」表格，完成。Grok 4.5 緊隨其後，耗時 3 分 58 秒，並提供了四個模型中最詳盡的報告：最清晰的教科書式能量方程式，以及兩個分離度量指標，而其他模型都只報告了一個。
另外兩個則把它當作一場需要交卷的考試。Sonnet 5 寫出了該領域最精簡的檔案，然後打開了一個真實的瀏覽器——總共十五次——以實際運行自己的裁判程式。過程中，它注意到自動化分頁在背景中被 Chrome 限制了資源，於是它大聲推理，認為其無頭檢查不依賴動畫，還是執行了檢查，然後才在 9 分 07 秒時宣告完成。DeepSeek V4 Pro 透過不同的工具做了類似的事情——驅動一個無頭 Chrome，點擊自己的「運行裁判」按鈕，截取面板截圖以確認——並在 9 分 15 秒時完成，總共只花了八美分。
四個終端機，四個 AI Agent
以下是關鍵點，而且它完全翻轉了測試 02 的結論。Composer 與 Grok 回報了正確的裁判數值，但從未開啟過檔案。根據錄影顯示，它們僅憑推理就斷言了自己的「驗證」結果。Sonnet 與 DeepSeek 回報了正確的數值，是因為它們實際運行了程式並讀取了面板。
也許下次我該強制使用 playwright 或 chrome 的端到端測試。
各應用程式自行裁判的結果
裁判 #1——能量飄移，精確的數值。基準真相：6.6×10⁻⁸ %。
模型 | 最大能量飄移（自行報告） | 結果 |
|---|---|---|
Sonnet 5 | 6.57×10⁻⁸ % | PASS |
Grok 4.5 | ≈6.6×10⁻⁸ % | PASS |
Composer 2.5 | 6.6×10⁻⁸ % | PASS |
DeepSeek V4 Pro | 4.94×10⁻⁸ % * | PASS |
再一次收斂。第三次了。所有四個模型都得到了與我獨立模擬相同的八位小數答案。沒有人偽造積分器——你無法偽造它，這就是整個設計的重點，而這次甚至沒有人嘗試過。（* DeepSeek 的讀數略低，僅是因為其無頭檢查每隔 100 步才取樣一次能量，而不是每一步——這是四個模型中最不精確的驗證器，儘管仍然輕鬆過關。）
裁判 #2——李雅普諾夫指數，混沌的部分。基準真相：約為每秒 1.4，正值。
模型 | 擬合 λ | 1 弧度分離時間 |
|---|---|---|
Sonnet 5 | 1.634 /s | 14.85 s |
DeepSeek V4 Pro | 1.535 /s (R² = 0.964) | 14.50 s |
Composer 2.5 | 1.47 /s | 14.5 s |
Grok 4.5 | 1.45 /s | 14.85 s |
全部為正數。全部落在每個模型自行選擇的擬合區間內。混沌是真實的，經過四次獨立測量，並與答案金鑰一致。
能量飄移
那麼，實際上區分它們的是什麼？
看看上面兩個表格，誠實的答案是：在這個測試衡量的項目上，沒有任何區別。 所有四個模型都是正確的。這是「模型不重要」這個論點在三次測試中看起來最有力的一次——任務完全可驗證、真正困難，而每個模型都完美達成了。
但是測試 02 教會了我要去看不是分數的那個欄位。上次是自動駕駛系統。這次是時鐘和瀏覽器。
- 兩個快速的模型（Composer 1:43, Grok 3:58）交付了正確的檔案，但它們從未運行過這些檔案。
- 兩個慢速的模型（Sonnet 9:07, DeepSeek 9:15）交付了正確的檔案，是因為它們運行了這些檔案。
這裡與測試 02 的結果有個轉折。上次，沒有驗證的模型失敗了——Grok 的自動駕駛系統在 20 次著陸中墜毀了 15 次。這次，沒有驗證的模型仍然過關了。Composer 與 Grok 沒有檢查就對了。
這反而強化了教訓，而不是重複它：驗證並不是讓輸出正確的原因。它是讓你在交付之前知道輸出正確的方法。對於一個完全可驗證的任務，一個足夠好的模型可以跳過檢查仍然正確。但它就是無法知道自己是正確的。Composer 與 Grok 只用了四分之一的時間就達到了正確——但他們是盲目交付的。Sonnet 與 DeepSeek 則付出了五分鐘以及八美分到兩美元不等的代價，來換取那些短跑選手沒有買的東西：確定性。
這個交易是否值得，完全取決於犯錯的代價。對於一個一次性的視覺化工具，盲目交付，省下那幾分鐘。對於任何可能讓一個無聲的積分器錯誤進入生產環境的場景，那個會打開瀏覽器的模型才是你想要的——而 DeepSeek 證明了這個習慣只需要四美分，而不是兩美元。
盲目模式：這個測試真正發力的地方
我選擇混沌是有原因的。將四個擺並排放置讓它們運行。在十五秒內，每條軌跡都是不同且無法預測的塗鴉——而且你無法分辨哪個軌跡是哪個模型畫的。模型各自的風格、變數名稱、小 UI 特效，都在物理接管的那一刻消失了。一個混沌系統的四個正確實現，在肉眼看起來是無法區分的。
這不是測試的缺陷。這正是測試的發現，以圖像形式呈現：當任務被完整指定並正確解決時，模型的指紋就會消失。試試看盲目模式，看看你是否能擊敗擲硬幣的機率。我辦不到。
四條雙擺軌跡
帳單買到了什麼
- DeepSeek V4 Pro：$0.0432，按 token 計費。它也是兩個驅動真實瀏覽器來自我評分的模型之一。最便宜，而且最勤奮——再次成為性價比之選，差距高達兩個數量級。
- Sonnet 5：約 $2.02，按 token 計費（它在一個方案上運行，所以這是我的 token 計數乘以公佈的定價）。大部分成本花在了那個產生了該領域最謹慎簽核的十五次呼叫驗證迴圈上。
- Grok 4.5 與 Composer 2.5： 透過 Grok CLI 的固定訂閱方案，沒有按 token 的價格——所以沒有誠實的美元數字，我的圖表上也沒有欄位可以標示。
在引用我之前，請注意這些限制
每個模型只運行一次。四個 CLI 的啟動時間相隔一兩分鐘，因此影片中的計時器是每個模型根據其自身日誌得出的真實運行時間，而不是同步起跑——時間是誠實的，「起跑線」是交錯的，與其偽造一個乾淨的起跑，我寧願告訴你實情。DeepSeek 的無頭裁判取樣不足，這就是為什麼它的飄移數值讀數最低；我認為這是個微小的不精確，而不是錯誤，因為它的即時面板是逐幀取樣，而我獨立的運行也確認了真實數值。此外，「驗證帶來的是信心，而非正確性」這個論述僅針對這個任務，因為其答案是完全可驗證的——對於開放式任務（參見測試 02），驗證也同時帶來了正確性。
所有內容都已發布並可即時運行。你不必相信這篇文章中的任何一個數字——請自己按下按鈕。
https://x.com/0xBakeer/status/2077442955934101680
親自試試
所有四個未經修改的檔案都可以在你的瀏覽器中運行。點擊「播放」觀看混沌，點擊「運行裁判」重現上述所有數字：
- 測試：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- 競技場（四個並排）：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- 盲目模式——猜猜誰建立了哪個：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- 測試 02，月球著陸器回合：https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- 測試 01，傅立葉回合：https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- 原始數據，包含提示：https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
能量表格是控制組——它理應持平，而它也確實持平了。時鐘則是實驗組。而盲目模式是關鍵所在：一個混沌問題的四個正確答案，看起來一模一樣。
— Khaled
