第一个测试没有分出胜负。第二个测试发现，会自我检查的模型才能成功着陆。第三个测试，我选了一个不可能隐藏错误答案的问题——确定性混沌，裁判内置于文件中——并观察当正确性不再是模型之间的分水岭时，它们会作何反应。
前情回顾
测试 01 是一个 Fourier 可视化工具，单个 HTML 文件，内置实时错误读数作为裁判。四个模型，相同提示词，仅第一次输出。四个模型都给出了正确的数学结果，误差在四舍五入精度内。唯一不同的是成本，相差约 200 倍。狭隘但诚实的结论：对于定义明确且有可验证答案的任务，模型选择不再是关键变量。
测试 02 是一个可玩的 Lunar Lander，配有两个裁判——精确的自由落体物理定律，以及一个需要驾驶模型自己游戏的开放式自动驾驶仪。物理部分再次打成平手。但自动驾驶仪没有：20/20、18/20、5/20、0/20。而预测这种差异的因素不是模型的名字或价格，而是模型在说完成之前是否测试了自己的工作。
因此，对于测试 03，我想要一个完全可验证的任务——这次没有开放式的一半——但可验证的答案很难伪造。如果“模型无关”的论点是真的，那么这应该是它最强有力的体现。同时我想看看，当正确性都趋同时，还有什么能区分四个模型。
答案是：混沌。
双摆长曝光轨迹
测试：一个无法争辩的裁判
规则一如既往。一个提示词，同时粘贴到四个 CLI 中，四个文件夹，仅第一次输出，录制终端。
提示词：一个自包含 HTML 文件中的双摆。固定常量（两个 1 kg 摆锤，两根 1 m 杆，g = 9.81），固定起始位置（两臂均呈 120°，从静止释放），完整的非线性运动方程，时间步长 1/2000 秒的 RK4。绘制它，追踪下摆锤，并且——整个测试的重点——实时、在屏幕上以两种方式自我评估其物理正确性：
- 能量漂移。 无摩擦双摆完全守恒总机械能。因此，程序每帧自行计算能量，并报告与起始值的偏离程度。任何漂移都是纯粹的积分器误差。存在一个解析正确值，那就是零。这是一个无可辩驳的裁判。
- 李雅普诺夫指数。 程序运行一个隐藏的孪生摆，参数完全相同，只是其第一个角度被扰动了十亿分之一（10⁻⁹）。它测量两者分离的速度，拟合指数曲线，并报告增长率 λ。正的 λ 是确定性混沌的数学标志——证明屏幕上狂野的运动是对初始条件的真实敏感性，而非数值错误。
一个按钮即可在 60 秒模拟时间内无头运行这两项检查，并输出结果。
为什么是双摆？因为它是一个系统最干净的例子，它
完全确定又完全不可预测
。方程中没有随机性。从相同起点运行两次，每次都会得到相同的运动。将起点扰动十亿分之一弧度，十五秒内两者就会完全分道扬镳。这是对该论点的完美压力测试：物理完全可以验证，但行为无法目测。
双摆
为了给评分者评分，我自己写了一个
在自我评分的测试中存在一个陷阱：如果四个程序都在一个错误数字上达成一致怎么办？共享的 bug 看起来就像共识。
因此，在比赛之前，我从头编写了自己的双摆模拟程序——相同的常量、相同的 RK4、相同的 60 秒——作为独立答案基准。它显示：初始能量 14.715 J，60 秒内最大漂移 6.6×10⁻⁸ %（接近于完美的舍入误差），最大李雅普诺夫指数 ≈1.4 /秒，孪生轨迹在 ≈14.5 秒时相差一个完整弧度。
这是下面每个程序都要与之对比的基准真实值。不是“模型之间互相一致”，而是“模型与我控制的独立模拟一致”。
比赛
四个终端，四种不同工具：Claude Code 中的 Sonnet 5，通过 Grok CLI 的 Grok 4.5 和 Composer 2.5，opencode 中的 DeepSeek V4 Pro。
其中两个将其视为冲刺。Composer 2.5 最先完成，用时 1 分 43 秒——写入文件，打印一个整洁的“经过验证的无头结果”表格，完成。Grok 4.5 紧随其后，用时 3 分 58 秒，给出了四个中最为详尽的书面报告：最干净的教科书式能量方程，以及其他人只报告一个时，它报告了两个分离度量。
另外两个则将其视为需要提交的考试。Sonnet 5 写出了场中最紧凑的文件，然后打开了一个真实的浏览器——十五次——实际运行自己的裁判。过程中，它注意到自动化标签页被 Chrome 在后台限制了速度，大声推理出它的无头检查不依赖动画，仍然运行了检查，然后才宣告完成，用时 9 分 07 秒。DeepSeek V4 Pro 通过不同的工具做了类似的事情——驱动一个无头 Chrome，点击自己的“运行裁判”按钮，截取面板截图确认——最后完成，用时 9 分 15 秒，只花了八美分。
四个终端，四个 AI Agent
以下是关键点，它推翻了测试 02 的结论。Composer 和 Grok 从未打开文件就报告了正确的裁判数值。根据记录显示，它们仅凭推理就断定了“验证过”的结果。Sonnet 和 DeepSeek 之所以报告正确的数值，是因为它们运行了程序并读取了面板。
也许下次我需要强制使用 playwright 或 chrome 端到端测试。
每个程序自评的结果
裁判 #1 — 能量漂移，精确部分。基准真实值：6.6×10⁻⁸ %。
模型 | 最大能量漂移（自报） | 结果 |
|---|---|---|
Sonnet 5 | 6.57×10⁻⁸ % | 通过 |
Grok 4.5 | ≈6.6×10⁻⁸ % | 通过 |
Composer 2.5 | 6.6×10⁻⁸ % | 通过 |
DeepSeek V4 Pro | 4.94×10⁻⁸ % * | 通过 |
再次收敛。所有四个结果都与我的独立模拟得出的八位小数答案一致。没有人伪造积分器——你无法伪造它，这是整个设计的关键，而且这次甚至没人尝试。 (* DeepSeek 的读数略低，仅因为其无头检查每隔 100 步采样一次能量，而非每一步——四个中最不精确的验证器，但仍能轻松通过。)
裁判 #2 — 李雅普诺夫指数，混沌部分。基准真实值：≈1.4 /秒，正值。
模型 | 拟合 λ | 1 弧度发散时间 |
|---|---|---|
Sonnet 5 | 1.634 /s | 14.85 s |
DeepSeek V4 Pro | 1.535 /s (R² = 0.964) | 14.50 s |
Composer 2.5 | 1.47 /s | 14.5 s |
Grok 4.5 | 1.45 /s | 14.85 s |
全部为正。都在每个模型选择的拟合窗口内。混沌是真实的，通过四种独立方式测量，并与答案基准一致。
能量漂移
那么究竟是什么区分了它们？
看这两个表格，诚实的答案是：在测试所衡量的方面，什么都没区分。 四个模型都正确。这是“模型无关”论点在三次测试中看起来最强的一次——任务完全可验证，真正困难，每个模型都完美完成。
但是测试 02 教会我要看不是分数的那一列。上次是自动驾驶仪。这次是时钟和浏览器。
- 两个快速模型（Composer 1:43，Grok 3:58）输出了正确的文件，但它们从未运行过。
- 两个慢速模型（Sonnet 9:07，DeepSeek 9:15）输出了正确的文件，因为运行了它们。
这里有来自测试 02 的转折。上次，未验证的模型失败了——Grok 的自动驾驶仪在 20 次着陆中坠毁了 15 次。这次，未验证的模型仍然通过了。 Composer 和 Grok 没有检查却依然正确。
这提炼了教训而非重复它：验证并不是让输出正确的原因。它是让你在交付前知道它正确的原因。 在一个完全可验证的任务上，足够好的模型可以跳过检查仍然正确。只是它无法知道自己正确。Composer 和 Grok 只用了四分之一的时间就达到了目标——但交付的是盲盒。Sonnet 和 DeepSeek 花了五分钟和八美分到两美元，买到了短跑选手没有买的东西：确定性。
这个权衡是否值得，完全取决于出错的代价。对于一次性的可视化工具，盲交付省下几分钟。对于任何可能让静默的积分器 bug 进入生产环境的事情，你会想要那个打开浏览器的模型——而 DeepSeek 证明这个习惯只需四美分，而非两美元。
盲测模式：这个测试的厉害之处
我选择混沌是有原因的。将四个摆并排放置，让它们运行。十五秒内，每条轨迹都是不同的、不可预测的涂鸦——而你无法分辨哪个模型写了哪个。风格、变量名、小 UI 装饰，一旦物理接管就全部消失。一个混沌系统的四个正确实现，在视觉上是无法区分的。
这不是测试的缺陷。这就是发现，以图片的形式呈现：当任务被完全指定并正确解决时，模型的指纹就消失了。试试盲测模式，看你能不能打败抛硬币的概率。我做不到。
四个双摆轨迹
账单揭示了什么
- DeepSeek V4 Pro：0.0432 美元，按 token 细分。它也是两个驱动真实浏览器自我评分的模型之一。最便宜且最勤奋——再次以两个数量级的优势成为性价比之选。
- Sonnet 5：约 2.02 美元，按 token 计费（它在套餐上运行，所以这是我使用的 token 数 × 公布价格）。大部分用于产生场中最谨慎签核的十五次验证循环。
- Grok 4.5 和 Composer 2.5： 通过 Grok CLI 的固定订阅，无按 token 价格——因此没有诚实的美元数字，我的图表上也没有柱状条。
免责声明，在你引用我之前
每个模型运行一次。四个 CLI 间隔一两分钟启动，因此视频中的计时器是每个模型从其自身日志中记录的真实挂钟时间，而非同步发令枪——持续时间是诚实的，“起跑线”是错开的，我宁愿告诉你这个，也不愿伪造一个整齐的起跑。DeepSeek 的无头裁判采样不足，这就是其漂移数值最低的原因；我将其视为轻微的精度不足，而非错误，因为其实时面板每帧采样，而我独立的运行确认了真实值。而“验证带来的是信心，而非正确性”是就这个任务而言的，其答案完全可验证——在开放式任务上（参见测试 02），验证也带来了正确性。
所有内容均已发布并可实时运行。你不必相信本文中的任何一个数字——亲自按下按钮。
https://x.com/0xBakeer/status/2077442955934101680
尝试一下
所有四个未经修改的文件都在你的浏览器中运行。点击“播放”观看混沌，点击“运行裁判”重现上述所有数字：
- 测试：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- 竞技场（四个并排）：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- 盲测模式——猜测谁构建了哪个：https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- 测试 02，Lunar Lander 回合：https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- 测试 01，Fourier 回合：https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- 原始数据，包含提示词：https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
能量表是对照组——它应该打平，也确实打平了。时钟是实验。而盲测模式是点睛之笔：一个混沌问题的四个正确答案看起来一模一样。
— Khaled
