最初の テストでは勝者は出ませんでした。 2 つ目の [テスト](https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html)では、自分の作業を確認するモデルこそが着陸に成功するという結果が出ました。3 つ目のテストでは、間違った答えを隠すことが不可能な問題を選びました — 決定論的カオス、そのファイル自体に審判が組み込まれている問題です。そして、正しさがモデルを分ける要素ではなくなったとき、各モデルが何をするのかを観察しました。**
これまでの経緯
テスト 01 は、1 つの HTML ファイルで構成された Fourier 可視化ツール で、ライブのエラー表示が組み込まれた審判役でした。4 つのモデル、同じプロンプト、初回生成のみ。4 つすべてが、ほぼ同じ誤差範囲内で動作する数学的処理を出力しました。唯一異なったのはコストで、約 200 倍の差がありました。限定的で正直な結論は、次の通りです。明確に定義され、検証可能な答えがあるタスクにおいては、モデルの選択はもはや重要な変数ではない。
テスト 02 は、2 つの審判役を備えたプレイ可能な Lunar Lander でした — 正確な自由落下の物理演算と、モデル自身のゲームを操作しなければならないオープンエンドのオートパイロットです。物理演算は再び互角でした。しかし、オートパイロットは違いました。20/20、18/20、5/20、0/20 という結果でした。そして、この差を予測したのは、モデルの名前や価格ではなく、モデルが完了したと宣言する前に自身の作業をテストしたかどうかでした。
そこで、テスト 03 では、完全に検証可能でありながら（今回はオープンエンド部分はなし）、その検証可能な答えが本物に偽造するのが極めて難しいタスクを選びました。「モデルは重要ではない」という仮説が正しければ、このテストこそが最も強力にそれを示すはずです。そして、正しさすら収束するとき、4 つのモデルを分けるものは何が残るのかを見たかったのです。
その答えは、カオスでした。
二重振子の長時間露光トレース
テスト：議論の余地のない審判
ルールはいつもと同じです。1 つのプロンプトを 4 つの CLI に同時に貼り付け、4 つのフォルダで、初回生成のみ、ターミナルを記録します。
プロンプト：1 つの自己完結型 HTML ファイル内の二重振子。固定定数（2 つの 1 kg のおもり、2 本の 1 m の棒、g = 9.81）、固定された開始位置（両方の腕が 120°、静止状態から解放）、完全な非線形運動方程式、1/2000 秒のタイムステップでの RK4。描画し、下部のおもりの軌跡をトレースし、そして — これが全ての要点です — 自身の物理演算をライブで、画面上で、2 つの方法で評価します。
- エネルギー逸脱。 摩擦のない二重振子は、総機械エネルギーを正確に保存します。そのため、アプリは毎フレーム自身のエネルギーを計算し、開始値からどれだけ逸脱したかを報告します。いかなる逸脱も、純粋な積分器の誤差です。分析的な正解が存在し、それはゼロです。これこそが、議論の余地のない審判です。
- リアプノフ指数。 アプリは隠れた双子の振子を実行します。最初の角度のみが 10 億分の 1（10⁻⁹）だけずれていることを除いて同一です。2 つがどれだけ速く離れていくかを測定し、指数関数にフィッティングし、成長率 λ を報告します。正の λ は決定論的カオスの数学的な証拠であり、画面上の激しい動きが数値的なグリッチではなく、初期条件に対する真の敏感性であることの証明です。
1 つのボタンで、60 秒間のシミュレーション時間をヘッドレスで両方のチェックを実行し、 verdict を出力します。
なぜ二重振子なのか？ それは、完全に決定論的でありながら、同時に完全に予測不可能 であるシステムの最も明確な例だからです。方程式にランダム性はありません。同じ開始点から 2 回実行すれば、毎回同じ動きが得られます。開始点を 10 億分の 1 ラジアンだけずらすと、15 秒以内に 2 つは完全に異なる動きをします。これは、仮説に対する完璧なストレステストです。物理演算は正確に検証可能ですが、その振る舞いは目視では不可能です。
二重振子
評価者を評価するために、独自に構築する
自己評価テストには落とし穴があります。4 つのアプリすべてが単純に間違った数値で合意したらどうなるでしょうか？ 共有されたバグは、コンセンサスに見えるでしょう。
そこで、競争の前に、私は独自の二重振子シミュレーションをゼロから作成しました — 同じ定数、同じ RK4、同じ 60 秒 — 独立した回答キーとして。これによると、開始エネルギー 14.715 J、60 秒間の最大逸脱 6.6×10⁻⁸ ％（これは完全に近い丸め誤差）、最大リアプノフ指数 約 1.4 /秒、そして双子の軌跡が 1 ラジアン完全に離れる時間は 約 14.5 秒 です。
これが、以下のすべてのアプリが測定されるベースラインの真実です。「モデル同士が一致した」ではなく、「モデルが私が管理する独立したシミュレーションと一致した」です。
競争
4 つのターミナル、4 つの異なるツール：Claude Code の Sonnet 5、Grok CLI を通じた Grok 4.5 と Composer 2.5、opencode の DeepSeek V4 Pro。
そのうちの 2 つは、それをスプリントのように扱いました。Composer 2.5 は 1 分 43 秒 で最初に終了しました — ファイルを作成し、きちんとした「検証済みヘッドレス結果」テーブルを出力し、完了しました。Grok 4.5 が 3 分 58 秒 で続き、4 つの中で最も詳細なレポートを作成しました：最もクリーンな教科書通りのエネルギー方程式、そして他のすべてが 1 つしか報告しなかったところを 2 つの 分離指標を提供しました。
残りの 2 つは、それを提出しなければならない試験のように扱いました。Sonnet 5 は、分野で最もコンパクトなファイルを作成し、その後、実際のブラウザを開いて — 15 回も — 自身の審判を実際に実行しました。その過程で、自動化タブが Chrome によってバックグラウンドでスロットリングされていることに気づき、ヘッドレスチェックはアニメーションに依存しないと声に出して推論し、とにかくそれを実行し、その後ようやく完了と宣言しました。所要時間は 9 分 07 秒 でした。DeepSeek V4 Pro も、別のツールを通じて同じようなことを行いました — ヘッドレス Chrome を操作し、自身の Run Referee ボタンをクリックし、パネルのスクリーンショットを確認のために撮り — 9 分 15 秒 で終了し、わずか 8 セント しか費やしませんでした。
4 つのターミナル、4 つの AI エージェント
ここに重要な点があり、それは テスト 02 の結果を覆します。Composer と Grok は、ファイルを一度も開くことなく、正しい審判の数値を報告しました。記録が示す限り、彼らは推論のみから「検証済み」の結果を主張しました。Sonnet と DeepSeek は、実際にファイルを実行してパネルを読み取ったため、正しい数値を報告しました。
次回は、playwright または chrome e2e を強制する必要があるかもしれません。
各アプリ独自の審判による結果
審判 #1 — エネルギー逸脱、正確な半分。ベースラインの真実：6.6×10⁻⁸ ％。
モデル | 最大エネルギー逸脱（自己報告） | 判定 |
|---|---|---|
Sonnet 5 | 6.57×10⁻⁸ ％ | PASS |
Grok 4.5 | ≈6.6×10⁻⁸ ％ | PASS |
Composer 2.5 | 6.6×10⁻⁸ ％ | PASS |
DeepSeek V4 Pro | 4.94×10⁻⁸ ％ * | PASS |
収束しました。3 回目です。4 つすべてが、私の独立したシミュレーションと同じ小数点以下 8 桁の答えに到達しました。誰も積分器を偽造しませんでした — 偽造はできません、それが全体の設計であり、今回誰もそれを試みさえしませんでした。（* DeepSeek の数値がわずかに低いのは、ヘッドレスチェックが毎ステップではなく 100 ステップごとにエネルギーをサンプリングするためです — 4 つの中で最も精度の低い検証器ですが、それでも問題なく合格しています。）
審判 #2 — リアプノフ指数、カオスの半分。ベースラインの真実：約 1.4 /秒、正の値。
モデル | フィッティングされた λ | 1 ラジアンの乖離時間 |
|---|---|---|
Sonnet 5 | 1.634 /s | 14.85 s |
DeepSeek V4 Pro | 1.535 /s (R² = 0.964) | 14.50 s |
Composer 2.5 | 1.47 /s | 14.5 s |
Grok 4.5 | 1.45 /s | 14.85 s |
すべて正の値です。すべて、各モデルがフィッティングに選択した範囲内に収まっています。カオスは現実であり、4 つの独立した方法で測定され、回答キーと一致しています。
エネルギー逸脱
では、実際に何がモデルを分けたのか？
2 つの表を読んで、正直な答えは次の通りです。テストが測定するものに関しては、何も分けませんでした。 4 つすべてが正しいのです。これは、「モデルは重要ではない」という仮説が 3 つのテストの中で最も強固に見える結果です — タスクは完全に検証可能で、真に困難であり、すべてのモデルが完璧に実行しました。
しかし、テスト 02 は、スコアではない列に注目することを教えてくれました。前回はオートパイロットでした。今回は、時間とブラウザです。
- 2 つの高速モデル（Composer 1:43、Grok 3:58）は、決して実行しなかった正しいファイルを出力しました。
- 2 つの低速モデル（Sonnet 9:07、DeepSeek 9:15）は、実行したからこそ正しいファイルを出力しました。
テスト 02 からのひねりがあります。前回は、検証しなかったモデルは失敗しました — Grok のオートパイロットは 20 回の着陸中 15 回でクラッシュしました。今回は、検証しなかったモデルはそれでも合格しました。Composer と Grok はチェックせずに正解でした。
これにより、教訓が繰り返しではなく、より明確になります。検証は出力を正しくするものではありません。それは、出荷する前にそれが正しいことを確認できるようにするものです。 完全に検証可能なタスクでは、十分に優れたモデルはチェックをスキップしても正しい結果を出せます。しかし、それが正しいことを知ることはできません。Composer と Grok は 4 分の 1 の時間でそこに到達し、盲目的に出荷しました。Sonnet と DeepSeek は、スプリンターが購入しなかったもの — 確実性 — のために、5 分と 8 セントから 2 ドルを支払いました。
このトレードオフが価値があるかどうかは、間違っていた場合のコストに完全に依存します。使い捨ての可視化のためなら、盲目的に出荷して時間を節約しましょう。しかし、静かな積分器のバグが本番環境に到達する可能性があるものについては、ブラウザを開くモデルこそが望ましいモデルであり、DeepSeek はその習慣が 2 ドルではなく 4 セントで済むことを証明しました。
ブラインドモード：このテストが真価を発揮するとき
カオスを選んだのには理由があります。4 つの振子を並べて実行させてみてください。15 秒以内に、すべての軌跡は異なる予測不可能な落書きになります — そして、どのモデルがどれを書いたのかを伝えることはできません。コーディングスタイル、変数名、ちょっとした UI の装飾はすべて、物理演算が支配的になると消え去ります。カオスシステムの正しい 4 つの実装は、目には区別がつきません。
これはテストのバグではありません。それが発見であり、絵として表現されています。タスクが完全に指定され、正しく解決されたとき、モデルの指紋は消えます。ブラインドモードを試して、コイン投げの確率を超えられるかどうか見てみてください。私は超えられませんでした。
4 つの二重振子の軌跡
費用対効果
- DeepSeek V4 Pro：$0.0432、トークン単位まで明細化されています。これは、自身を評価するために実際のブラウザを操作した 2 つのモデルのうちの 1 つでもありました。最も安価で、かつ最も勤勉 — 再び、2 桁の差でコストパフォーマンスに優れています。
- Sonnet 5：約 $2.02、トークン計測（プランで実行したため、これは私のトークン数 × 公開価格です）。そのほとんどは、分野で最も慎重なサインオフを生み出した 15 回の検証ループに費やされました。
- Grok 4.5 と Composer 2.5： Grok CLI を通じた定額制サブスクリプション。トークンごとの価格はなく、そのため正直なドル額はなく、私のグラフにはバーがありません。
引用する前に、注意点
モデルごとに 1 回の実行です。4 つの CLI は 1、2 分間隔で起動されたため、動画内のストップウォッチは各モデルの真の経過時間（自身のログから）であり、同期されたスタートではありません。持続時間は正確ですが、「スタートライン」はずれています。それを偽装するよりも、そのままお伝えします。DeepSeek のヘッドレス審判はサンプリング間隔が粗いため、その逸脱数値が最も低く表示されます。私はこれを、誤差ではなく、軽微な不正確さと呼びます。なぜなら、そのライブパネルはすべてのフレームをサンプリングしており、私の独立した実行が実際の値を確認しているからです。また、「検証は確信をもたらすものであり、正しさをもたらすものではない」という主張は、答えが完全に検証可能であったこのタスクに限定されます。オープンエンドのタスク（テスト 02 参照）では、検証は正しさももたらしました。
すべては公開されており、ライブで実行できます。この記事の数値を信頼する必要はありません — 自分でボタンを押してください。
https://x.com/0xBakeer/status/2077442955934101680
試してみる
4 つすべての未編集のファイルがブラウザで実行できます。Play を押してカオスを観察し、Run Referee を押して上記のすべての数値を再現してください：
- テスト：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- アリーナ（4 つすべて、並べて表示）：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- ブラインドモード — 誰がどれを構築したか当ててみよう：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- テスト 02、Lunar Lander ラウンド：https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- テスト 01、Fourier ラウンド：https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- 生データ、プロンプト含む：https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
エネルギーテーブルはコントロールグループです — 同点になるはずであり、実際に同点です。時間は実験です。そして、ブラインドモードがオチです：カオス的な問題に対する 4 つの正しい答えは、まったく同じに見えます。
— Khaled
