La primera prueba no encontró ganador. La segunda descubrió que los modelos que verifican su propio trabajo son los que aterrizan. Para la tercera elegí un problema donde una respuesta incorrecta es imposible de ocultar — caos determinista, con el árbitro integrado en el archivo — y observé qué hacían los modelos cuando la corrección ya no era lo que los separaba.
La historia hasta ahora
La prueba 01 fue un visualizador de Fourier en un solo archivo HTML, con una lectura de errores en vivo como árbitro integrado. Cuatro modelos, mismo prompt, solo el primer intento. Los cuatro enviaron matemáticas correctas dentro de un error de redondeo. Lo único que varió fue la factura, por ~200×. La conclusión estrecha y honesta: para una tarea bien especificada con una respuesta verificable, la elección del modelo deja de ser la variable que importa.
La prueba 02 fue un Lunar Lander jugable con dos árbitros — física exacta de caída libre, y un piloto automático abierto que debía volar el propio juego del modelo. La física empató de nuevo. El piloto automático no: 20/20, 18/20, 5/20, 0/20. Y lo que predijo la división no fue el nombre o precio del modelo — fue si el modelo probaba su propio trabajo antes de decir que estaba listo.
Así que para la prueba 03 quería una tarea que fuera completamente verificable — sin la mitad abierta esta vez — pero donde la respuesta verificable sea genuinamente difícil de falsear. Si la tesis de que "el modelo no importa" es real, aquí es donde debería estar más fuerte. Y quería ver qué queda para separar cuatro modelos cuando incluso la corrección converge.
La respuesta resultó ser: caos.
traza de exposición larga de péndulo doble
La prueba: un árbitro con el que no se puede discutir
Las mismas reglas de siempre. Un prompt, pegado en cuatro CLI a la vez, cuatro carpetas, solo primer intento, terminales grabadas.
El prompt: un péndulo doble en un solo archivo HTML autocontenido. Constantes fijas (dos masas de 1 kg, dos varillas de 1 m, g = 9.81), una posición inicial fija (ambos brazos a 120°, liberados del reposo), las ecuaciones de movimiento no lineales completas, RK4 con paso de 1/2000 s. Dibujarlo, trazar la masa inferior y — el objetivo de todo esto — calificar su propia física en vivo, en pantalla, de dos maneras:
- Deriva energética. Un péndulo doble sin fricción conserva la energía mecánica total exactamente. Por lo tanto, la aplicación calcula su propia energía en cada fotograma e informa cuánto se ha desviado del valor inicial. Cualquier deriva es puro error del integrador. Hay una respuesta analítica correcta, y es cero. Este es el árbitro con el que no se puede discutir.
- El exponente de Lyapunov. La aplicación ejecuta un péndulo gemelo oculto, idéntico excepto que su primer ángulo se desplaza una parte en mil millones (10⁻⁹). Mide qué tan rápido se separan los dos, ajusta la exponencial e informa la tasa de crecimiento λ. Un λ positivo es la firma matemática del caos determinista — prueba de que el movimiento salvaje en pantalla es sensibilidad real a las condiciones iniciales, no un fallo numérico.
Un botón ejecuta ambas comprobaciones sin interfaz gráfica durante 60 segundos simulados e imprime el veredicto.
¿Por qué un péndulo doble? Porque es el ejemplo más limpio de un sistema que es
completamente determinista y completamente impredecible al mismo tiempo
. Las ecuaciones no tienen aleatoriedad. Ejecútalas dos veces desde el mismo inicio y obtienes el mismo movimiento cada vez. Desplaza el inicio en una milmillonésima de radián y en quince segundos los dos están haciendo cosas completamente diferentes. Es la prueba de estrés perfecta para la tesis: la física es exactamente verificable, pero el comportamiento es imposible de evaluar a simple vista.
péndulos dobles
Para calificar a los calificadores, construí el mío propio
Hay una trampa en una prueba autocalificable: ¿qué pasa si todas las cuatro aplicaciones coinciden en un número que simplemente está mal? Un error compartido parecería consenso.
Así que antes de la carrera escribí mi propia simulación de péndulo doble desde cero — mismas constantes, mismo RK4, mismos 60 segundos — como una clave de respuestas independiente. Dice: energía inicial 14.715 J, deriva máxima en 60 segundos 6.6×10⁻⁸ % (eso es un pelo de redondeo de la perfección), mayor exponente de Lyapunov ≈1.4 por segundo, y las trayectorias gemelas se cruzan un radián completo de diferencia en ≈14.5 segundos.
Esa es la verdad fundamental contra la que se mide cada aplicación a continuación. No "los modelos coincidieron entre sí" — sino "los modelos coincidieron con una simulación independiente que yo controlo".
La carrera
Cuatro terminales, cuatro herramientas diferentes: Sonnet 5 en Claude Code, Grok 4.5 y Composer 2.5 a través de Grok CLI, DeepSeek V4 Pro en opencode.
Dos de ellos lo trataron como un sprint. Composer 2.5 terminó primero, en 1 minuto 43 segundos — escribió el archivo, imprimió una tabla ordenada de "resultados verificados sin interfaz", listo. Grok 4.5 le siguió a los con el informe más completo de los cuatro: la ecuación de energía más limpia de libro de texto, y dos métricas de separación donde todos los demás reportaron una.
Los otros dos lo trataron como un examen que tenían que entregar. Sonnet 5 escribió el archivo más compacto del grupo y luego abrió un navegador real — quince veces — para ejecutar realmente su propio árbitro. En el proceso, notó que la pestaña de automatización estaba siendo limitada por Chrome en segundo plano, razonó en voz alta que su verificación sin interfaz no dependía de la animación, la ejecutó de todas formas, y solo entonces lo dio por terminado, a los . DeepSeek V4 Pro hizo algo similar a través de una herramienta diferente — manejó un Chrome sin interfaz, hizo clic en su propio botón Run Referee, tomó una captura de pantalla del panel para confirmar — y terminó a los , habiendo gastado solo ocho centavos.
cuatro terminales, cuatro agentes de IA
Aquí está la revelación, y pone patas arriba la prueba 02. Composer y Grok reportaron números correctos del árbitro sin siquiera abrir el archivo. Hasta donde muestra la grabación, afirmaron sus resultados "validados" solo con razonamiento. Sonnet y DeepSeek reportaron números correctos porque ejecutaron la cosa y leyeron el panel.
Quizás la próxima vez necesite forzar playwright o chrome e2e.
Los resultados, desde el propio árbitro de cada aplicación
Árbitro #1 — deriva energética, la mitad exacta. Verdad fundamental: 6.6×10⁻⁸ %.
Modelo
Deriva máxima de energía (autoinformada)
Veredicto
Sonnet 5
6.57×10⁻⁸ %
APROBADO
Grok 4.5
≈6.6×10⁻⁸ %
APROBADO
Composer 2.5
6.6×10⁻⁸ %
APROBADO
DeepSeek V4 Pro
4.94×10⁻⁸ % *
APROBADO
Convergieron. Por tercera vez. Los cuatro aterrizan en la misma respuesta de ocho decimales que mi simulación independiente. Nadie falsificó el integrador — no se puede falsificar, ese es todo el diseño, y esta vez nadie lo intentó siquiera. (* DeepSeek lee un poco más bajo solo porque su verificación sin interfaz muestra la energía cada 100 pasos en lugar de cada paso — el verificador menos preciso de los cuatro, aunque aún aprobando cómodamente.)
Árbitro #2 — el exponente de Lyapunov, la mitad del caos. Verdad fundamental: ≈1.4 por segundo, positivo.
Modelo
λ ajustado
Divergencia de 1 radián
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
Todos positivos. Todos dentro de la ventana que cada modelo eligió para ajustar. El caos es real, medido de cuatro maneras independientes, y coincide con la clave de respuestas.
deriva energética
Entonces, ¿qué los separó realmente?
Lee las dos tablas y la respuesta honesta es: en lo que mide la prueba, nada lo hizo. Los cuatro son correctos. Esta es la apariencia más fuerte de la tesis de que "el modelo no importa" en tres pruebas — la tarea era completamente verificable, genuinamente difícil, y todos los modelos la clavaron.
Pero la prueba 02 me enseñó a mirar la columna que no es la puntuación. La última vez fue el piloto automático. Esta vez es el reloj, y el navegador.
- Los dos modelos rápidos (Composer 1:43, Grok 3:58) enviaron archivos correctos que nunca ejecutaron.
- Los dos modelos lentos (Sonnet 9:07, DeepSeek 9:15) enviaron archivos correctos porque los ejecutaron.
Aquí está el giro de la prueba 02. La última vez, los modelos que no verificaron fallaron — el piloto automático de Grok estrelló 15 de 20 aterrizajes. Esta vez, los modelos que no verificaron aprobaron de todas formas. Composer y Grok tenían razón sin verificar.
Lo que afila la lección en lugar de repetirla: la verificación no es lo que hace que el resultado sea correcto. Es lo que te permite saber que es correcto antes de enviarlo. En una tarea completamente verificable, un modelo suficientemente bueno puede saltarse la verificación y seguir teniendo razón. Simplemente no puede saber que tiene razón. Composer y Grok llegaron en una cuarta parte del tiempo — y enviaron a ciegas. Sonnet y DeepSeek pagaron cinco minutos y de ocho centavos a dos dólares por algo que los velocistas no compraron: certeza.
Si vale la pena ese intercambio depende completamente del costo de estar equivocado. Para una visualización desechable, envía a ciegas y ahorra los minutos. Para cualquier cosa donde un error silencioso del integrador llegue a producción, el modelo que abre el navegador es el que quieres — y DeepSeek demostró que ese hábito cuesta cuatro centavos, no dos dólares.
Modo ciego: donde esta prueba muestra su fuerza
Hay una razón por la que elegí el caos. Pon los cuatro péndulos lado a lado y déjalos correr. En quince segundos, cada trazo es un garabato impredecible diferente — y no puedes decir qué modelo escribió cuál. El estilo de la casa, los nombres de las variables, los pequeños adornos de la interfaz de usuario desaparecen en el momento en que la física toma el control. Cuatro implementaciones correctas de un sistema caótico son, a simple vista, indistinguibles.
Eso no es un error en la prueba. Ese es el hallazgo, representado como una imagen: cuando la tarea está completamente especificada y correctamente resuelta, la huella del modelo desaparece. Prueba el modo ciego y mira si puedes vencer a una moneda al aire. Yo no pude.
cuatro trazas de péndulo doble
Lo que compró la factura
- DeepSeek V4 Pro: $0.0432, detallado por token. También fue uno de los dos que manejó un navegador real para calificarse a sí mismo. El más barato y más diligente — la opción de valor, de nuevo, por dos órdenes de magnitud.
- Sonnet 5: ~$2.02, medido por token (se ejecutó en un plan, así que esto es mi recuento de tokens × precio publicado). La mayor parte se fue en el bucle de verificación de quince llamadas que produjo la firma más cuidadosa del campo.
- Grok 4.5 y Composer 2.5: suscripción plana a través de Grok CLI, sin precio por token — por lo tanto, sin cifra honesta en dólares, y sin barra en mi gráfico.
Las salvedades, antes de que me cites
Una ejecución por modelo. Los cuatro CLI se lanzaron con uno o dos minutos de diferencia, por lo que los cronómetros en el video son el tiempo real de cada modelo desde sus propios registros, no un disparo sincronizado — las duraciones son honestas, la "línea de salida" está escalonada, y prefiero decirte eso que falsificar un inicio limpio. El árbitro sin interfaz de DeepSeek submuestrea, por eso su número de deriva es el más bajo; lo llamo una imprecisión menor, no un error, porque su panel en vivo muestrea cada fotograma y mi ejecución independiente confirma el valor real. Y "la verificación compra confianza, no corrección" es una afirmación sobre esta tarea, donde la respuesta era completamente verificable — en una tarea abierta (ver prueba 02) la verificación también compró corrección.
Todo está publicado y se ejecuta en vivo. No tienes que confiar en ningún número de este artículo — presiona el botón tú mismo.
https://x.com/0xBakeer/status/2077442955934101680
Pruébalo
Los cuatro archivos sin modificar se ejecutan en tu navegador. Presiona Play para ver el caos, presiona Run Referee para reproducir cada número anterior:
- La prueba: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- La arena (los cuatro, lado a lado): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Modo ciego — adivina quién construyó cuál: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Prueba 02, la ronda del Lunar Lander: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Prueba 01, la ronda de Fourier: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Datos sin procesar, prompt incluido: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
La tabla de energía es el grupo de control — se supone que debe empatar, y lo hace. El reloj es el experimento. Y el modo ciego es el remate: cuatro respuestas correctas a un problema caótico se ven exactamente iguales.
— Khaled
