첫 번째 [테스트](https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html)에서는 승자가 나오지 않았습니다. [두 번째](https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html) 테스트에서는 자신의 작업을 검증하는 모델만이 성공적으로 착륙한다는 사실을 발견했습니다. 세 번째 테스트를 위해, 저는 틀린 답을 숨기는 것이 불가능한 문제를 선택했습니다 — 파일 자체에 심판이 내장된 결정론적 혼돈(Deterministic Chaos)이 바로 그것입니다. 그리고 정확성이 더 이상 모델들을 구분 짓는 요소가 아닐 때, 모델들이 어떤 행동을 보이는지 지켜봤습니다.
지금까지의 이야기
테스트 01은 하나의 HTML 파일로 된 Fourier 시각화 도구였으며, 내장된 심판 역할을 하는 실시간 오류 표시기가 있었습니다. 네 개의 모델, 동일한 프롬프트, 단 한 번의 패스(First Pass)만 실행했습니다. 네 개 모두 반올림 오차 범위 내에서 동일한 수학적 결과를 출력했습니다. 유일하게 달랐던 점은 비용이었는데, 약 200배 차이가 났습니다. 좁고 정직한 결론: 검증 가능한 답이 있는 명확하게 정의된 작업의 경우, 모델 선택은 더 이상 중요한 변수가 아닙니다.
테스트 02는 두 명의 심판이 있는 플레이 가능한 Lunar Lander였습니다 — 하나는 정확한 자유낙하 물리 법칙이고, 다른 하나는 모델이 직접 만든 게임을 플레이해야 하는 개방형 자동 조종 장치(Autopilot)였습니다. 물리 법칙 부분은 다시 동점을 기록했습니다. 하지만 자동 조종 장치는 달랐습니다: 20/20, 18/20, 5/20, 0/20. 그리고 이러한 차이를 예측한 것은 모델의 이름이나 가격이 아니라, 모델이 작업을 완료했다고 말하기 전에 자신의 작업을 테스트했는지 여부였습니다.
그래서 테스트 03에서는 완전히 검증 가능한 — 이번에는 개방형 요소가 없는 — 작업을 원했습니다. 단, 검증 가능한 답이 진짜로伪造하기 어려운 것이어야 했습니다. "모델이 중요하지 않다"는 주장이 사실이라면, 이 테스트에서 그 주장이 가장 강력하게 입증되어야 합니다. 그리고 정확성까지 수렴할 때, 네 개의 모델을 구분 짓는 요소가 무엇인지 보고 싶었습니다.
그 답은 바로 혼돈(Chaos)임이 밝혀졌습니다.
이중진자 장노출 궤적
테스트: 논쟁의 여지가 없는 심판
항상 동일한 규칙입니다. 하나의 프롬프트를 네 개의 CLI에 동시에 붙여넣고, 네 개의 폴더, 단 한 번의 패스만 실행했으며, 터미널을 녹화했습니다.
프롬프트: 하나의 독립적인 HTML 파일로 된 이중진자(Double Pendulum). 고정된 상수 (두 개의 1 kg 추, 두 개의 1 m 막대, g = 9.81), 고정된 시작 위치 (두 팔 모두 120°에서 정지 상태로 출발), 완전한 비선형 운동 방정식, 1/2000 초 시간 간격의 RK4. 이를 그리고, 아래쪽 추의 궤적을 추적하며, 그리고 — 이 모든 것의 핵심 — 자신의 물리 법칙을 실시간으로 화면에 두 가지 방식으로 평가합니다:
- 에너지 드리프트(Energy Drift). 마찰이 없는 이중진자는 총 역학적 에너지를 정확히 보존합니다. 따라서 앱은 매 프레임마다 자신의 에너지를 계산하고 초기값에서 얼마나 벗어났는지 보고합니다. 모든 드리프트는 순수한 적분기 오류입니다. 분석적으로 정확한 답이 있으며, 그 값은 0입니다. 이것이 논쟁의 여지가 없는 심판입니다.
- 랴푸노프 지수(Lyapunov Exponent). 앱은 숨겨진 쌍둥이 진자를 실행합니다. 첫 번째 각도가 10억분의 1(10⁻⁹)만큼 약간 변경된 것을 제외하고는 동일합니다. 두 진자가 얼마나 빨리 벌어지는지 측정하고, 지수 함수를 피팅하여 성장률 λ를 보고합니다. 양의 λ는 결정론적 혼돈의 수학적 신호입니다 — 화면의 격렬한 움직임이 수치적 오류가 아니라 초기 조건에 대한 실제 민감성임을 증명합니다.
하나의 버튼으로 60초 시뮬레이션 동안 두 검사를 모두 헤드리스(Headless)로 실행하고 결과를 출력합니다.
왜 이중진자일까요? 그것은 완전히 결정론적이면서 동시에 완전히 예측 불가능한 시스템의 가장 깔끔한 예시이기 때문입니다
. 방정식에는 무작위성이 없습니다. 동일한 시작점에서 두 번 실행하면 매번 동일한 운동을 얻습니다. 시작점을 10억분의 1 라디안만 변경하면 15초 이내에 두 개는 완전히 다른 움직임을 보입니다. 이 주장을 완벽하게 테스트하는 스트레스 테스트입니다: 물리 법칙은 정확히 검증 가능하지만, 그 행동은 눈으로 확인하는 것이 불가능합니다.
이중진자들
채점자들을 채점하기 위해, 나만의 것을 만들었다
자가 채점 테스트에는 함정이 있습니다: 네 개의 앱 모두가 단순히 틀린 숫자에 동의한다면 어떻게 될까요? 공유된 버그는 합의처럼 보일 것입니다.
그래서 경쟁을 시작하기 전에, 저는 독립적인 정답지 역할을 할 나만의 이중진자 시뮬레이션을 처음부터 직접 작성했습니다 — 동일한 상수, 동일한 RK4, 동일한 60초. 결과는 다음과 같습니다: 초기 에너지 14.715 J, 60초 동안의 최대 드리프트 6.6×10⁻⁸ % (완벽에 가까운 값), 가장 큰 랴푸노프 지수 ≈1.4 /초, 그리고 쌍둥이 궤적이 1 라디안만큼 벌어지는 시간은 ≈14.5 초입니다.
이것이 아래 모든 앱이 측정되는 기준 진실(Ground Truth)입니다. "모델들이 서로 동의했다"가 아니라 — "모델들이 제가 통제하는 독립적인 시뮬레이션과 동의했습니다."
경쟁
네 개의 터미널, 네 개의 다른 도구: Claude Code의 Sonnet 5, Grok CLI를 통한 Grok 4.5 및 Composer 2.5, opencode의 DeepSeek V4 Pro.
그 중 두 개는 단거리 경주처럼 처리했습니다. Composer 2.5가 1분 43초 만에 가장 먼저 완료했습니다 — 파일을 작성하고, 깔끔한 "검증된 헤드리스 결과" 표를 출력하고 끝냈습니다. Grok 4.5가 3분 58초에 뒤를 이었으며, 네 개 중 가장 철저한 보고서를 작성했습니다: 가장 깔끔한 교과서적인 에너지 방정식과, 다른 모델들이 하나만 보고한 두 가지 분리 측정 지표를 제공했습니다.
나머지 두 개는 마치 제출해야 하는 시험처럼 대했습니다. Sonnet 5는 가장 간결한 파일을 작성한 후, 실제 브라우저를 열어 — 무려 15번 — 자신의 심판을 실제로 실행했습니다. 그 과정에서 자동화 탭이 Chrome 백그라운드에서 제한(Throttle)되고 있음을 발견하고, 헤드리스 검사가 애니메이션에 의존하지 않는다고 추론한 후 어쨌든 실행하고서야 9분 07초에 작업을 완료했습니다. DeepSeek V4 Pro도 다른 도구를 통해 비슷한 작업을 수행했습니다 — 헤드리스 Chrome을 구동하고, 자체 Run Referee 버튼을 클릭하고, 패널의 스크린샷을 찍어 확인한 후 9분 15초에 완료했으며, 비용은 단 8센트였습니다.
네 개의 터미널, 네 개의 AI 에이전트
여기서 중요한 점이 드러나며, 이는 테스트 02의 결과를 완전히 뒤집습니다. Composer와 Grok는 파일을 한 번도 열지 않고 올바른 심판 숫자를 보고했습니다. 녹화된 내용에 따르면, 그들은 추론만으로 "검증된" 결과를 주장했습니다. 반면 Sonnet과 DeepSeek는 실제로 실행하고 패널을 읽었기 때문에 올바른 숫자를 보고했습니다.
아마 다음 번에는 Playwright나 Chrome E2E를 강제로 사용하도록 해야 할 것 같습니다.
각 앱의 자체 심판이 보고한 결과
심판 #1 — 에너지 드리프트, 정확한 절반. 기준 진실: 6.6×10⁻⁸ %.
모델
최대 에너지 드리프트 (자체 보고)
결과
Sonnet 5
6.57×10⁻⁸ %
PASS
Grok 4.5
≈6.6×10⁻⁸ %
PASS
Composer 2.5
6.6×10⁻⁸ %
PASS
DeepSeek V4 Pro
4.94×10⁻⁸ % *
PASS
수렴했습니다. 세 번째입니다. 네 개 모두 제 독립 시뮬레이션과 동일한 소수점 여덟 자리 답에 도달했습니다. 아무도 적분기를 속이지 않았습니다 — 애초에 속일 수 없고, 이번에는 아무도 시도조차 하지 않았습니다. (* DeepSeek의 수치가 약간 낮은 이유는 헤드리스 검사가 모든 단계가 아닌 100번째 단계마다 에너지를 샘플링하기 때문입니다 — 네 개 중 가장 정밀도가 낮은 검증기이지만, 여전히 무난하게 통과합니다.)
심판 #2 — 랴푸노프 지수, 혼돈의 절반. 기준 진실: ≈1.4 /초, 양수.
모델
피팅된 λ
1 라디안 발산 시간
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
모두 양수입니다. 모두 각 모델이 피팅을 선택한 범위 내에 있습니다. 혼돈은 실제이며, 네 가지 독립적인 방식으로 측정되었고, 정답지와 일치합니다.
에너지 드리프트
그래서 실제로 무엇이 그들을 구분 지었을까?
두 표를 읽고 정직한 답은: 테스트가 측정하는 항목에 대해서는 아무것도 구분 짓지 못했습니다. 네 개 모두 정확합니다. 이는 세 번의 테스트 중 "모델이 중요하지 않다"는 주장이 가장 강력해 보인 순간입니다 — 작업은 완전히 검증 가능했고, 진정으로 어려웠으며, 모든 모델이 완벽히 해냈습니다.
하지만 테스트 02는 제게 점수가 아닌 열을 보라고 가르쳐주었습니다. 지난번에는 자동 조종 장치였습니다. 이번에는 시간과 브라우저입니다.
- 두 개의 빠른 모델 (Composer 1:43, Grok 3:58)은 실행하지 않은 올바른 파일을 제출했습니다.
- 두 개의 느린 모델 (Sonnet 9:07, DeepSeek 9:15)은 실행했기 때문에 올바른 파일을 제출했습니다.
테스트 02에서의 반전이 있습니다. 지난번에는 검증하지 않은 모델들이 실패했습니다 — Grok의 자동 조종 장치는 20번 중 15번의 착륙에 실패했습니다. 이번에는 검증하지 않은 모델들이 그럼에도 불구하고 통과했습니다. Composer와 Grok는 확인 없이도 정답을 맞췄습니다.
이는 교훈을 반복하는 대신 더욱 날카롭게 만듭니다: 검증이 출력을 정확하게 만드는 것은 아닙니다. 검증은 출력을 출시하기 전에 그것이 정확하다는 것을 알게 해줍니다. 완전히 검증 가능한 작업에서는 충분히 좋은 모델이 검증을 건너뛰어도 여전히 정답을 맞출 수 있습니다. 하지만 그것이 정답임을 알 수는 없습니다. Composer와 Grok는 4분의 1도 안 되는 시간에 도달했지만 — 보지 못한 채로 출시했습니다. Sonnet과 DeepSeek는 단거리 주자들이 사지 않은 것, 즉 확실성(Certainty)을 위해 5분과 8센트에서 2달러를 지불했습니다.
그러한 거래가 가치 있는지 여부는 전적으로 잘못되었을 때의 비용에 달려 있습니다. 일회용 시각화의 경우, 보지 못하고 출시하여 시간을 절약하세요. 하지만 조용한 적분기 버그가 프로덕션에 도달할 수 있는 모든 것에 대해서는 브라우저를 여는 모델이 당신이 원하는 모델입니다 — 그리고 DeepSeek는 그 습관의 비용이 2달러가 아니라 4센트임을 증명했습니다.
블라인드 모드: 이 테스트의 진가가 발휘되는 곳
제가 혼돈을 선택한 데는 이유가 있습니다. 네 개의 진자를 나란히 놓고 실행해 보십시오. 15초 이내에 모든 궤적은 각기 다른 예측 불가능한 낙서가 됩니다 — 그리고 어떤 모델이 어떤 것을 만들었는지 알 수 없습니다. 코딩 스타일, 변수 이름, 작은 UI 장식들은 물리 법칙이 작동을 시작하는 순간 모두 사라집니다. 혼돈 시스템의 네 가지 올바른 구현은 육안으로는 구별할 수 없습니다.
이는 테스트의 버그가 아닙니다. 그것이 바로 발견 결과이며, 그림으로 표현된 것입니다: 작업이 완전히 명시되고 올바르게 해결되었을 때, 모델의 지문은 사라집니다. 블라인드 모드를 시도해보고 동전 던지기보다 나은지 확인해 보십시오. 저는 못 했습니다.
네 개의 이중진자 궤적
비용이 가져다준 것
- DeepSeek V4 Pro: $0.0432, 토큰 단위로 항목화됨. 또한 자신을 평가하기 위해 실제 브라우저를 구동한 두 모델 중 하나였습니다. 가장 저렴하면서 가장 성실함 — 다시 한 번, 두 자릿수 차이로 가치 있는 선택입니다.
- Sonnet 5: ~$2.02, 토큰 기준 (요금제로 실행되었으므로, 제 토큰 수 × 공개 가격입니다). 대부분의 비용은 현장에서 가장 신중한 승인을 생성한 15회 호출 검증 루프에 사용되었습니다.
- Grok 4.5 및 Composer 2.5: Grok CLI를 통한 정액 구독료, 토큰당 가격 없음 — 따라서 정직한 달러 수치가 없으며, 제 차트에 막대가 없습니다.
인용하기 전에 알아야 할 주의사항
모델당 한 번의 실행입니다. 네 개의 CLI는 1~2분 간격으로 실행되었으므로, 비디오의 스톱워치는 각 모델의 자체 로그에서 가져온 실제 벽시계 시간이며, 동기화된 시작 신호가 아닙니다 — 지속 시간은 정직하지만 "시작선"은 엇갈려 있습니다. 이 사실을 알려드리는 것이 깔끔한 시작을 조작하는 것보다 낫다고 생각합니다. DeepSeek의 헤드리스 심판은 샘플링을 덜 하기 때문에 드리프트 수치가 가장 낮게 나타납니다; 저는 이것을 오류가 아닌 약간의 부정확성이라고 부릅니다. 실제 라이브 패널은 모든 프레임을 샘플링하고 제 독립 실행이 실제 값을 확인해 주었기 때문입니다. 또한 "검증은 확신을 제공하지만 정확성을 제공하지는 않는다"는 주장은 이 작업에 대한 주장이며, 여기서 답은 완전히 검증 가능했습니다 — 개방형 작업( 테스트 02 참조)에서는 검증이 정확성도 제공했습니다.
모든 것은 공개되어 있으며 실제로 실행됩니다. 이 기사의 숫자를 신뢰할 필요가 없습니다 — 직접 버튼을 눌러보십시오.
https://x.com/0xBakeer/status/2077442955934101680
직접 시도해보기
네 개의 수정되지 않은 파일이 모두 브라우저에서 실행됩니다. Play를 눌러 혼돈을 지켜보고, Run Referee를 눌러 위의 모든 숫자를 재현해 보십시오:
- 테스트: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- 경기장 (네 개 모두 나란히): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- 블라인드 모드 — 누가 무엇을 만들었는지 맞춰보세요: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- 테스트 02, Lunar Lander 라운드: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- 테스트 01, Fourier 라운드: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- 원시 데이터, 프롬프트 포함: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
에너지 표는 대조군입니다 — 동점이 되어야 하며, 실제로 동점입니다. 시간은 실험군입니다. 그리고 블라인드 모드는 핵심 요점입니다: 혼돈 문제에 대한 네 개의 정답은 완전히 똑같이 보입니다.
— Khaled
