La primera prueba no encontró ganador. La segunda encontró que los modelos que revisan su propio trabajo son los que aterrizan. Para la tercera elegí un problema donde una respuesta incorrecta es imposible de ocultar — caos determinista, con el árbitro integrado en el archivo — y observé qué hacían los modelos cuando la corrección ya no era lo que los separaba.
La historia hasta ahora
La prueba 01 fue un visualizador de Fourier en un solo archivo HTML, con una lectura de errores en vivo como árbitro integrado. Cuatro modelos, mismo prompt, solo primer intento. Los cuatro generaron matemáticas funcionales con un margen de error de redondeo similar. Lo único que varió fue la cuenta, por ~200×. La conclusión estrecha y honesta: para una tarea bien especificada con una respuesta verificable, la elección del modelo deja de ser la variable que importa.
La prueba 02 fue un Lunar Lander jugable con dos árbitros — física exacta de caída libre, y un piloto automático de código abierto que debía volar el propio juego del modelo. La física empató de nuevo. El piloto automático no: 20/20, 18/20, 5/20, 0/20. Y lo que predijo la división no fue el nombre o precio del modelo — sino si el modelo probó su propio trabajo antes de decir que estaba listo.
Así que para la prueba 03 quería una tarea que fuera totalmente verificable — sin la mitad abierta esta vez — pero donde la respuesta verificable fuera genuinamente difícil de falsificar. Si la tesis de que "el modelo no importa" es real, aquí es donde debería estar más fuerte. Y quería ver qué queda para separar cuatro modelos cuando incluso la corrección converge.
La respuesta resultó ser: caos.
traza de exposición larga de péndulo doble
La prueba: un árbitro con el que no se puede discutir
Mismas reglas de siempre. Un prompt, pegado en cuatro CLIs a la vez, cuatro carpetas, solo primer intento, terminales grabadas.
El prompt: un péndulo doble en un archivo HTML autocontenido. Constantes fijas (dos masas de 1 kg, dos varillas de 1 m, g = 9.81), una posición inicial fija (ambos brazos a 120°, liberados desde el reposo), las ecuaciones completas no lineales de movimiento, RK4 con paso de tiempo de 1/2000 s. Dibujarlo, trazar la masa inferior, y — el punto de todo esto — calificar su propia física en vivo, en pantalla, de dos maneras:
- Deriva energética. Un péndulo doble sin fricción conserva la energía mecánica total exactamente. Así que la aplicación calcula su propia energía en cada fotograma e informa cuánto se ha desviado del valor inicial. Cualquier deriva es error puro del integrador. Hay una respuesta analítica correcta, y es cero. Este es el árbitro con el que no se puede discutir.
- El exponente de Lyapunov. La aplicación ejecuta un gemelo oculto, idéntico excepto que su primer ángulo se desplaza una parte en mil millones (10⁻⁹). Mide qué tan rápido se separan los dos, ajusta la exponencial e informa la tasa de crecimiento λ. Un λ positivo es la firma matemática del caos determinista — prueba de que el movimiento salvaje en pantalla es sensibilidad real a las condiciones iniciales, no un fallo numérico.
Un botón ejecuta ambas comprobaciones sin cabeza durante 60 segundos simulados e imprime el veredicto.
¿Por qué un péndulo doble? Porque es el ejemplo más limpio de un sistema que es
completamente determinista y completamente impredecible al mismo tiempo
. Las ecuaciones no tienen aleatoriedad. Ejecútalas dos veces desde el mismo inicio y obtienes el mismo movimiento cada vez. Desplaza el inicio por una milmillonésima de radián y en quince segundos los dos están haciendo cosas completamente diferentes. Es la prueba de estrés perfecta para la tesis: la física es exactamente verificable, pero el comportamiento es imposible de evaluar a simple vista.
péndulos dobles
Para calificar a los calificadores, construí el mío propio
Hay una trampa en una prueba autocalificada: ¿qué pasa si los cuatro modelos coinciden en un número que simplemente está mal? Un error compartido parecería consenso.
Así que antes de la carrera, escribí mi propia simulación de péndulo doble desde cero — mismas constantes, mismo RK4, mismos 60 segundos — como una clave de respuestas independiente. Dice: energía inicial 14.715 J, deriva máxima en 60 segundos 6.6×10⁻⁸ % (eso es una pizca de redondeo lejos de lo perfecto), mayor exponente de Lyapunov ≈1.4 por segundo, y las trayectorias gemelas divergen un radián completo a los ≈14.5 segundos.
Esa es la verdad básica contra la que se mide cada aplicación a continuación. No "los modelos estuvieron de acuerdo entre sí" — sino "los modelos estuvieron de acuerdo con una simulación independiente que yo controlo".
La carrera
Cuatro terminales, cuatro herramientas diferentes: Sonnet 5 en Claude Code, Grok 4.5 y Composer 2.5 a través del CLI de Grok, DeepSeek V4 Pro en opencode.
Dos de ellos lo trataron como un sprint. Composer 2.5 terminó primero, en 1 minuto 43 segundos — escribió el archivo, imprimió una tabla ordenada de "resultados sin cabeza verificados", listo. Grok 4.5 le siguió a los con el informe más completo de los cuatro: la ecuación de energía más limpia de libro de texto, y dos métricas de separación donde todos los demás reportaron una.
Los otros dos lo trataron como un examen que tenían que entregar. Sonnet 5 escribió el archivo más compacto del grupo y luego abrió un navegador real — quince veces — para ejecutar realmente su propio árbitro. En el proceso, notó que la pestaña de automatización estaba siendo limitada por Chrome en segundo plano, razonó en voz alta que su verificación sin cabeza no dependía de la animación, la ejecutó de todos modos, y solo entonces la dio por terminada, a los . DeepSeek V4 Pro hizo algo similar a través de una herramienta diferente — manejó un Chrome sin cabeza, hizo clic en su propio botón de Ejecutar Árbitro, tomó una captura de pantalla del panel para confirmar — y terminó a los , habiendo gastado solo ocho centavos.
cuatro terminales, cuatro agentes de IA
Aquí está la clave, y pone patas arriba la prueba 02. Composer y Grok reportaron números de árbitro correctos sin abrir nunca el archivo. Hasta donde muestra la grabación, afirmaron sus resultados "validados" solo con razonamiento. Sonnet y DeepSeek reportaron números correctos porque ejecutaron la cosa y leyeron el panel.
Quizás la próxima vez necesite forzar playwright o chrome e2e.
Los resultados, según el propio árbitro de cada aplicación
Árbitro #1 — deriva energética, la mitad exacta. Verdad básica: 6.6×10⁻⁸ %.
Modelo
Deriva máxima de energía (autoinformada)
Veredicto
Sonnet 5
6.57×10⁻⁸ %
APROBADO
Grok 4.5
≈6.6×10⁻⁸ %
APROBADO
Composer 2.5
6.6×10⁻⁸ %
APROBADO
DeepSeek V4 Pro
4.94×10⁻⁸ % *
APROBADO
Convergieron. Por tercera vez. Los cuatro aterrizan en la misma respuesta de ocho decimales que mi simulación independiente. Nadie falsificó el integrador — no se puede falsificar, ese es el diseño completo, y esta vez nadie lo intentó. (* DeepSeek lee un poco más bajo solo porque su verificación sin cabeza muestrea la energía cada 100 pasos en lugar de cada paso — el verificador menos preciso de los cuatro, aunque aún así cómodamente aprobado.)
Árbitro #2 — el exponente de Lyapunov, la mitad del caos. Verdad básica: ≈1.4 por segundo, positivo.
Modelo
λ ajustado
Divergencia de 1 radián
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
Todos positivos. Todos dentro de la ventana que cada modelo eligió para ajustar. El caos es real, medido de cuatro maneras independientes, y coincide con la clave de respuestas.
deriva-energética
Entonces, ¿qué los separó realmente?
Lee las dos tablas y la respuesta honesta es: en lo que mide la prueba, nada los separó. Los cuatro son correctos. Esta es la apariencia más fuerte que ha tenido la tesis de "el modelo no importa" en tres pruebas — la tarea era totalmente verificable, genuinamente difícil, y cada modelo la clavó.
Pero la prueba 02 me enseñó a mirar la columna que no es la puntuación. La última vez fue el piloto automático. Esta vez es el reloj y el navegador.
- Los dos modelos rápidos (Composer 1:43, Grok 3:58) enviaron archivos correctos que nunca ejecutaron.
- Los dos modelos lentos (Sonnet 9:07, DeepSeek 9:15) enviaron archivos correctos porque los ejecutaron.
Aquí está el giro de la prueba 02. La última vez, los modelos que no verificaron fallaron — el piloto automático de Grok estrelló 15 de 20 aterrizajes. Esta vez, los modelos que no verificaron aprobaron de todos modos. Composer y Grok tenían razón sin verificar.
Lo que agudiza la lección en lugar de repetirla: la verificación no es lo que hace que la salida sea correcta. Es lo que te permite saber que es correcta antes de enviarla. En una tarea totalmente verificable, un modelo suficientemente bueno puede saltarse la verificación y seguir teniendo razón. Solo que no puede saber que tiene razón. Composer y Grok llegaron en una cuarta parte del tiempo — y enviaron a ciegas. Sonnet y DeepSeek pagaron cinco minutos y de ocho centavos a dos dólares por algo que los velocistas no compraron: certeza.
Si esa compensación vale la pena depende completamente del costo de estar equivocado. Para una visualización desechable, envía a ciegas y ahorra los minutos. Para cualquier cosa donde un error silencioso del integrador llegue a producción, el modelo que abre el navegador es el que quieres — y DeepSeek demostró que ese hábito cuesta cuatro centavos, no dos dólares.
Modo ciego: donde esta prueba muestra su poder
Hay una razón por la que elegí el caos. Pon los cuatro péndulos lado a lado y déjalos correr. En quince segundos cada traza es un garabato impredecible diferente — y no puedes decir qué modelo escribió cuál. El estilo personal, los nombres de las variables, los pequeños adornos de la interfaz desaparecen en cuanto la física toma el control. Cuatro implementaciones correctas de un sistema caótico son, a simple vista, indistinguibles.
Eso no es un error en la prueba. Eso es el hallazgo, representado como una imagen: cuando la tarea está completamente especificada y correctamente resuelta, la huella del modelo desaparece. Prueba el modo ciego y mira si puedes superar un volado. Yo no pude.
cuatro trazas de péndulo doble
Lo que costó la cuenta
- DeepSeek V4 Pro: $0.0432, detallado por token. También fue uno de los dos que manejó un navegador real para calificarse a sí mismo. El más barato y el más diligente — la mejor relación calidad-precio, de nuevo, por dos órdenes de magnitud.
- Sonnet 5: ~$2.02, medido por token (se ejecutó en un plan, así que esto es mi conteo de tokens × precio publicado). La mayor parte se fue al bucle de verificación de quince llamadas que produjo la firma más cuidadosa del grupo.
- Grok 4.5 y Composer 2.5: suscripción plana a través del CLI de Grok, sin precio por token — así que no hay una cifra en dólares honesta, y no hay barra en mi gráfico.
Las advertencias, antes de que me cites
Una ejecución por modelo. Los cuatro CLIs se lanzaron con uno o dos minutos de diferencia, así que los cronómetros en el video son el tiempo real de pared de cada modelo desde sus propios registros, no un disparo sincronizado — las duraciones son honestas, la "línea de salida" está escalonada, y prefiero decírtelo que fingir una salida limpia. El árbitro sin cabeza de DeepSeek submuestrea, por eso su número de deriva es el más bajo; lo llamo una imprecisión menor, no un error, porque su panel en vivo muestrea cada fotograma y mi ejecución independiente confirma el valor real. Y "la verificación compra confianza, no corrección" es una afirmación sobre esta tarea, donde la respuesta era totalmente verificable — en una tarea abierta (ver prueba 02) la verificación también compró corrección.
Todo está publicado y funciona en vivo. No tienes que confiar en un número en este artículo — presiona el botón tú mismo.
https://x.com/0xBakeer/status/2077442955934101680
Pruébalo
Los cuatro archivos sin modificar se ejecutan en tu navegador. Presiona Reproducir para ver el caos, presiona Ejecutar Árbitro para reproducir cada número anterior:
- La prueba: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- La arena (los cuatro, lado a lado): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Modo ciego — adivina quién construyó cuál: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Prueba 02, la ronda del Lunar Lander: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Prueba 01, la ronda de Fourier: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Datos brutos, prompt incluido: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
La tabla de energía es el grupo de control — se supone que debe empatar, y lo hace. El reloj es el experimento. Y el modo ciego es el remate: cuatro respuestas correctas a un problema caótico se ven exactamente igual.
— Khaled
