O primeiro teste não encontrou um vencedor. O segundo descobriu que os modelos que verificam o próprio trabalho são os que pousam. Para o terceiro, escolhi um problema onde uma resposta errada é impossível de esconder — caos determinístico, com o árbitro embutido no arquivo — e observei o que os modelos faziam quando a correção não era mais o que os separava.
A história até agora
O Teste 01 foi um visualizador de Fourier em um único arquivo HTML, com uma leitura de erro ao vivo como árbitro embutido. Quatro modelos, mesmo prompt, apenas primeira tentativa. Todos os quatro entregaram matemática funcional dentro de um erro de arredondamento um do outro. A única coisa que variou foi a conta, por ~200×. A conclusão estreita e honesta: para uma tarefa bem especificada com uma resposta verificável, a escolha do modelo deixa de ser a variável que importa.
O Teste 02 foi um Lunar Lander jogável com dois árbitros — física exata de queda livre e um piloto automático de final aberto que tinha que voar o próprio jogo do modelo. A física empatou novamente. O piloto automático não: 20/20, 18/20, 5/20, 0/20. E o que previu a divisão não foi o nome ou preço do modelo — foi se o modelo testou o próprio trabalho antes de dizer que estava pronto.
Então, para o teste 03, eu queria uma tarefa que fosse totalmente verificável — sem metade de final aberto desta vez — mas onde a resposta verificável é genuinamente difícil de falsificar. Se a tese de que "o modelo não importa" é real, é aqui que ela deveria estar mais forte. E eu queria ver o que ainda resta para separar quatro modelos quando até a correção converge.
A resposta acabou sendo: caos.
traço de longa exposição de pêndulo duplo
O teste: um árbitro com quem você não pode discutir
Mesmas regras de sempre. Um prompt, colado em quatro CLIs ao mesmo tempo, quatro pastas, apenas primeira tentativa, terminais gravados.
O prompt: um pêndulo duplo em um único arquivo HTML autocontido. Constantes fixas (duas massas de 1 kg, duas hastes de 1 m, g = 9,81), uma posição inicial fixa (ambos os braços a 120°, soltos do repouso), as equações de movimento não lineares completas, RK4 com passo de tempo de 1/2000 s. Desenhe, trace a massa inferior e — o ponto central de tudo — avalie sua própria física ao vivo, na tela, de duas maneiras:
- Deriva de energia. Um pêndulo duplo sem atrito conserva a energia mecânica total exatamente. Então, o aplicativo calcula sua própria energia a cada quadro e relata o quanto ela se desviou do valor inicial. Qualquer deriva é puro erro do integrador. Há uma resposta analítica correta, e ela é zero. Este é o árbitro com quem não se pode discutir.
- O expoente de Lyapunov. O aplicativo executa um pêndulo gêmeo oculto, idêntico, exceto que seu primeiro ângulo é deslocado por uma parte em um bilhão (10⁻⁹). Ele mede a rapidez com que os dois se afastam, ajusta a exponencial e relata a taxa de crescimento λ. Um λ positivo é a assinatura matemática do caos determinístico — prova de que o movimento selvagem na tela é sensibilidade real às condições iniciais, não uma falha numérica.
Um botão executa ambas as verificações sem cabeça por 60 segundos simulados e imprime o veredito.
Por que um pêndulo duplo? Porque é o exemplo mais limpo de um sistema que é
completamente determinístico e completamente imprevisível ao mesmo tempo
. As equações não têm aleatoriedade. Execute-as duas vezes a partir do mesmo início e você obtém o mesmo movimento toda vez. Desloque o início por um bilionésimo de radiano e, em quinze segundos, os dois estão fazendo coisas totalmente diferentes. É o teste de estresse perfeito para a tese: a física é exatamente verificável, mas o comportamento é impossível de avaliar a olho nu.
pêndulos duplos
Para avaliar os avaliadores, construí o meu próprio
Há uma armadilha em um teste de autoavaliação: e se todos os quatro aplicativos concordarem com um número que está simplesmente errado? Um bug compartilhado pareceria um consenso.
Então, antes da corrida, escrevi minha própria simulação de pêndulo duplo do zero — mesmas constantes, mesmo RK4, mesmos 60 segundos — como um gabarito de resposta independente. Ele diz: energia inicial 14,715 J, deriva máxima em 60 segundos 6,6×10⁻⁸ % (isso é um desvio de arredondamento da perfeição), maior expoente de Lyapunov ≈1,4 por segundo, e as trajetórias gêmeas cruzam um radiano completo de diferença em ≈14,5 segundos.
Essa é a verdade fundamental contra a qual cada aplicativo abaixo é medido. Não "os modelos concordaram entre si" — "os modelos concordaram com uma simulação independente que eu controlo."
A corrida
Quatro terminais, quatro ferramentas diferentes: Sonnet 5 no Claude Code, Grok 4.5 e Composer 2.5 através do Grok CLI, DeepSeek V4 Pro no opencode.
Dois deles trataram como uma corrida de velocidade. Composer 2.5 terminou primeiro, em 1 minuto e 43 segundos — escreveu o arquivo, imprimiu uma tabela organizada de "resultados headless verificados", pronto. Grok 4.5 seguiu em com a análise mais completa dos quatro: a equação de energia mais limpa de livro-texto e duas métricas de separação onde todos os outros relataram uma.
Os outros dois trataram como um exame que precisavam entregar. Sonnet 5 escreveu o arquivo mais compacto do grupo e então abriu um navegador real — quinze vezes — para realmente executar seu próprio árbitro. Ao longo do caminho, percebeu que a aba de automação estava sendo limitada pelo Chrome em segundo plano, raciocinou em voz alta que sua verificação headless não dependia da animação, executou-a mesmo assim e só então a considerou concluída, em . DeepSeek V4 Pro fez o mesmo tipo de coisa através de uma ferramenta diferente — dirigiu um Chrome headless, clicou em seu próprio botão Executar Árbitro, tirou uma captura de tela do painel para confirmar — e terminou em , tendo gasto apenas oito centavos.
quatro terminais, quatro agentes de IA
Aqui está o indicador, e ele inverte o teste 02. Composer e Grok relataram números corretos do árbitro sem nunca abrir o arquivo. Pelo que a gravação mostra, eles afirmaram seus resultados "validados" apenas com base no raciocínio. Sonnet e DeepSeek relataram números corretos porque executaram a coisa e leram o painel.
Talvez eu precise forçar o playwright ou o chrome e2e da próxima vez.
Os resultados, do próprio árbitro de cada aplicativo
Árbitro #1 — deriva de energia, a metade exata. Verdade fundamental: 6,6×10⁻⁸ %.
Modelo
Deriva máxima de energia (autorrelatada)
Veredito
Sonnet 5
6,57×10⁻⁸ %
PASSOU
Grok 4.5
≈6,6×10⁻⁸ %
PASSOU
Composer 2.5
6,6×10⁻⁸ %
PASSOU
DeepSeek V4 Pro
4,94×10⁻⁸ % *
PASSOU
Convergido. Pela terceira vez. Todos os quatro chegam à mesma resposta de oito casas decimais que minha simulação independente. Ninguém falsificou o integrador — você não pode falsificá-lo, esse é o design inteiro, e desta vez ninguém nem tentou. (* DeepSeek lê um pouco mais baixo apenas porque sua verificação headless amostra a energia a cada 100º passo em vez de a cada passo — o verificador menos preciso dos quatro, embora ainda confortavelmente aprovando.)
Árbitro #2 — o expoente de Lyapunov, a metade do caos. Verdade fundamental: ≈1,4 por segundo, positivo.
Modelo
λ ajustado
Divergência de 1 radiano
Sonnet 5
1,634 /s
14,85 s
DeepSeek V4 Pro
1,535 /s (R² = 0,964)
14,50 s
Composer 2.5
1,47 /s
14,5 s
Grok 4.5
1,45 /s
14,85 s
Todos positivos. Todos dentro da janela que cada modelo escolheu para ajustar. O caos é real, medido de quatro maneiras independentes, e concorda com o gabarito.
deriva de energia
Então, o que realmente os separou?
Leia as duas tabelas e a resposta honesta é: na coisa que o teste mede, nada. Todos os quatro estão corretos. Esta é a vez em que a tese de que "o modelo não importa" pareceu mais forte em três testes — a tarefa era totalmente verificável, genuinamente difícil, e todos os modelos acertaram.
Mas o teste 02 me ensinou a olhar para a coluna que não é a pontuação. Da última vez, foi o piloto automático. Desta vez, é o relógio e o navegador.
- Os dois modelos rápidos (Composer 1:43, Grok 3:58) entregaram arquivos corretos que nunca executaram.
- Os dois modelos lentos (Sonnet 9:07, DeepSeek 9:15) entregaram arquivos corretos porque os executaram.
Aqui está a reviravolta do teste 02. Da última vez, os modelos que não verificaram falharam — o piloto automático do Grok falhou em 15 de 20 pousos. Desta vez, os modelos que não verificaram passaram mesmo assim. Composer e Grok estavam certos sem verificar.
O que aprimora a lição em vez de repeti-la: a verificação não é o que torna a saída correta. É o que permite que você saiba que está correta antes de entregá-la. Em uma tarefa totalmente verificável, um modelo bom o suficiente pode pular a verificação e ainda assim estar certo. Só que não pode saber que está certo. Composer e Grok chegaram lá em um quarto do tempo — e entregaram às cegas. Sonnet e DeepSeek pagaram cinco minutos e oito centavos a dois dólares por algo que os velocistas não compraram: certeza.
Se essa troca vale a pena depende inteiramente do custo de estar errado. Para uma visualização descartável, entregue às cegas e economize os minutos. Para qualquer coisa onde um bug silencioso do integrador chegue à produção, o modelo que abre o navegador é o que você quer — e DeepSeek provou que esse hábito custa quatro centavos, não dois dólares.
Modo cego: onde este teste mostra seus dentes
Há uma razão pela qual escolhi o caos. Coloque os quatro pêndulos lado a lado e deixe-os correr. Em quinze segundos, cada traço é um rabisco imprevisível diferente — e você não pode dizer qual modelo escreveu qual. O estilo pessoal, os nomes das variáveis, os pequenos floreios de UI desaparecem no momento em que a física assume o controle. Quatro implementações corretas de um sistema caótico são, aos olhos, indistinguíveis.
Isso não é um bug no teste. Isso é a descoberta, renderizada como uma imagem: quando a tarefa é totalmente especificada e resolvida corretamente, a impressão digital do modelo desaparece. Experimente o modo cego e veja se você consegue vencer um cara ou coroa. Eu não consegui.
quatro traços de pêndulo duplo
O que a conta comprou
- DeepSeek V4 Pro: $0,0432, detalhado por token. Foi também um dos dois que dirigiram um navegador real para se autoavaliar. Mais barato e mais diligente — a escolha de valor, novamente, por duas ordens de grandeza.
- Sonnet 5: ~$2,02, medido por token (executou em um plano, então este é meu número de tokens × preço publicado). A maior parte foi para o loop de verificação de quinze chamadas que produziu a aprovação mais cuidadosa do grupo.
- Grok 4.5 e Composer 2.5: assinatura plana através do Grok CLI, sem preço por token — portanto, nenhum valor em dólar honesto e nenhuma barra no meu gráfico.
As ressalvas, antes de me citar
Uma execução por modelo. Os quatro CLIs foram iniciados com um ou dois minutos de diferença, então os cronômetros no vídeo são o tempo real de parede de cada modelo a partir de seus próprios logs, não um tiro de largada sincronizado — as durações são honestas, a "linha de partida" é escalonada, e prefiro lhe dizer isso do que fingir um início limpo. O árbitro headless do DeepSeek subamostra, e é por isso que seu número de deriva é o mais baixo; estou chamando isso de imprecisão menor, não de erro, porque seu painel ao vivo amostra a cada quadro e minha execução independente confirma o valor real. E "verificação compra confiança, não correção" é uma afirmação sobre esta tarefa, onde a resposta era totalmente verificável — em uma tarefa de final aberto (veja o teste 02) a verificação também comprou correção.
Tudo está publicado e funciona ao vivo. Você não precisa confiar em um número neste artigo — aperte o botão você mesmo.
https://x.com/0xBakeer/status/2077442955934101680
Experimente
Todos os quatro arquivos intactos funcionam no seu navegador. Aperte Play para assistir ao caos, aperte Executar Árbitro para reproduzir cada número acima:
- O teste: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- A arena (todos os quatro, lado a lado): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Modo cego — adivinhe quem construiu qual: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Teste 02, a rodada do Lunar Lander: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Teste 01, a rodada de Fourier: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Dados brutos, prompt incluído: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
A tabela de energia é o grupo de controle — espera-se que empate, e empata. O relógio é o experimento. E o modo cego é a conclusão: quatro respostas corretas para um problema caótico parecem exatamente iguais.
— Khaled
