O primeiro teste não teve vencedor. O segundo mostrou que os modelos que verificam o próprio trabalho são os que pousam. Para o terceiro, escolhi um problema onde uma resposta errada é impossível de esconder — caos determinístico, com o árbitro embutido no arquivo — e observei o que os modelos faziam quando a correção deixava de ser o fator que os separava.
A história até agora
O Teste 01 foi um visualizador de Fourier em um único arquivo HTML, com uma leitura de erro ao vivo como árbitro embutido. Quatro modelos, mesmo prompt, apenas na primeira tentativa. Todos os quatro produziram matemática funcional com uma diferença de arredondamento entre si. A única coisa que variou foi a conta, em cerca de 200×. A conclusão honesta e restrita: para uma tarefa bem definida com uma resposta verificável, a escolha do modelo deixa de ser a variável que importa.
O Teste 02 foi um Lunar Lander jogável com dois árbitros — física de queda livre exata e um piloto automático de final aberto que tinha que pilotar o próprio jogo do modelo. A física empatou novamente. O piloto automático, não: 20/20, 18/20, 5/20, 0/20. E o que previu a divisão não foi o nome ou o preço do modelo — foi se o modelo testou o próprio trabalho antes de dizer que estava pronto.
Então, para o teste 03, eu queria uma tarefa que fosse totalmente verificável — sem metade de final aberto desta vez — mas onde a resposta verificável é genuinamente difícil de falsificar. Se a tese de que "o modelo não importa" é real, é aqui que ela deveria estar mais forte. E eu queria ver o que resta para separar quatro modelos quando até a correção converge.
A resposta acabou sendo: caos.
traço de longa exposição de pêndulo duplo
O teste: um árbitro com quem você não pode discutir
Mesmas regras de sempre. Um prompt, colado em quatro CLIs ao mesmo tempo, quatro pastas, apenas na primeira tentativa, terminais gravados.
O prompt: um pêndulo duplo em um único arquivo HTML autocontido. Constantes fixas (duas massas de 1 kg, duas hastes de 1 m, g = 9,81), uma posição inicial fixa (ambos os braços a 120°, soltos do repouso), as equações de movimento não lineares completas, RK4 com passo de tempo de 1/2000 s. Desenhe, trace a massa inferior e — o ponto central de tudo — avalie sua própria física ao vivo, na tela, de duas maneiras:
- Deriva de energia. Um pêndulo duplo sem atrito conserva a energia mecânica total exatamente. Então, o aplicativo calcula sua própria energia a cada quadro e relata o quanto ela se desviou do valor inicial. Qualquer deriva é puro erro do integrador. Há uma resposta analítica correta, e ela é zero. Este é o árbitro com quem não se pode discutir.
- O expoente de Lyapunov. O aplicativo executa um pêndulo gêmeo oculto, idêntico, exceto que seu primeiro ângulo é deslocado por uma parte em um bilhão (10⁻⁹). Ele mede a velocidade com que os dois se afastam, ajusta a exponencial e relata a taxa de crescimento λ. Um λ positivo é a assinatura matemática do caos determinístico — prova de que o movimento selvagem na tela é sensibilidade real às condições iniciais, não uma falha numérica.
Um botão executa ambas as verificações sem interface gráfica em 60 segundos simulados e imprime o veredito.
Por que um pêndulo duplo? Porque é o exemplo mais limpo de um sistema que é
completamente determinístico e completamente imprevisível ao mesmo tempo
. As equações não têm aleatoriedade. Execute-as duas vezes a partir do mesmo início e você obtém o mesmo movimento todas as vezes. Desloque o início por um bilionésimo de radiano e, em quinze segundos, os dois estarão fazendo coisas totalmente diferentes. É o teste de estresse perfeito para a tese: a física é exatamente verificável, mas o comportamento é impossível de avaliar a olho nu.
pêndulos duplos
Para avaliar os avaliadores, construí o meu próprio
Há uma armadilha em um teste de autoavaliação: e se todos os quatro aplicativos concordarem com um número que está simplesmente errado? Um bug compartilhado pareceria um consenso.
Então, antes da corrida, escrevi minha própria simulação de pêndulo duplo do zero — mesmas constantes, mesmo RK4, mesmos 60 segundos — como uma chave de resposta independente. Ela diz: energia inicial 14.715 J, deriva máxima em 60 segundos 6,6×10⁻⁸ % (isso é um fio de cabelo de arredondamento longe da perfeição), maior expoente de Lyapunov ≈1,4 por segundo, e as trajetórias gêmeas cruzam um radiano completo de diferença em ≈14,5 segundos.
Essa é a verdade fundamental contra a qual cada aplicativo abaixo é medido. Não "os modelos concordaram entre si" — "os modelos concordaram com uma simulação independente que eu controlo".
A corrida
Quatro terminais, quatro ferramentas diferentes: Sonnet 5 no Claude Code, Grok 4.5 e Composer 2.5 via Grok CLI, DeepSeek V4 Pro no opencode.
Duas delas trataram como uma corrida de velocidade. Composer 2.5 terminou primeiro, em 1 minuto e 43 segundos — escreveu o arquivo, imprimiu uma tabela organizada de "resultados headless verificados", pronto. Grok 4.5 seguiu em com o relatório mais completo dos quatro: a equação de energia mais limpa de livro-texto e duas métricas de separação onde todos os outros relataram uma.
As outras duas trataram como um exame que precisavam entregar. Sonnet 5 escreveu o arquivo mais compacto do grupo e então abriu um navegador real — quinze vezes — para realmente executar seu próprio árbitro. Ao longo do caminho, percebeu que a aba de automação estava sendo limitada pelo Chrome em segundo plano, raciocinou em voz alta que sua verificação headless não dependia da animação, executou-a mesmo assim, e só então a considerou concluída, em . DeepSeek V4 Pro fez o mesmo tipo de coisa através de uma ferramenta diferente — acionou um Chrome headless, clicou em seu próprio botão Executar Árbitro, tirou uma captura de tela do painel para confirmar — e terminou em , tendo gasto apenas oito centavos.
quatro terminais, quatro agentes de IA
Aqui está o revelador, e isso inverte o teste 02. Composer e Grok relataram números corretos do árbitro sem nunca abrir o arquivo. Pelo que a gravação mostra, eles afirmaram seus resultados "validados" apenas com base no raciocínio. Sonnet e DeepSeek relataram números corretos porque executaram a coisa e leram o painel.
Talvez eu precise forçar playwright ou chrome e2e da próxima vez.
Os resultados, do próprio árbitro de cada aplicativo
Árbitro #1 — deriva de energia, a metade exata. Verdade fundamental: 6,6×10⁻⁸ %.
Modelo
Deriva máxima de energia (autorrelatada)
Veredito
Sonnet 5
6,57×10⁻⁸ %
PASSOU
Grok 4.5
≈6,6×10⁻⁸ %
PASSOU
Composer 2.5
6,6×10⁻⁸ %
PASSOU
DeepSeek V4 Pro
4,94×10⁻⁸ % *
PASSOU
Convergência. Pela terceira vez. Todos os quatro chegam à mesma resposta de oito casas decimais que minha simulação independente. Ninguém falsificou o integrador — você não pode falsificá-lo, esse é o design inteiro, e desta vez ninguém sequer tentou. (* DeepSeek lê um pouco mais baixo apenas porque sua verificação headless amostra a energia a cada 100º passo em vez de a cada passo — o verificador menos preciso dos quatro, embora ainda confortavelmente aprovando.)
Árbitro #2 — o expoente de Lyapunov, a metade do caos. Verdade fundamental: ≈1,4 por segundo, positivo.
Modelo
λ ajustado
Divergência de 1 radiano
Sonnet 5
1,634 /s
14,85 s
DeepSeek V4 Pro
1,535 /s (R² = 0,964)
14,50 s
Composer 2.5
1,47 /s
14,5 s
Grok 4.5
1,45 /s
14,85 s
Todos positivos. Todos dentro da janela que cada modelo escolheu para ajustar. O caos é real, medido de quatro maneiras independentes, e concorda com a chave de resposta.
deriva-de-energia
Então, o que realmente os separou?
Leia as duas tabelas e a resposta honesta é: naquilo que o teste mede, nada. Todos os quatro estão corretos. Esta é a vez em que a tese de que "o modelo não importa" pareceu mais forte em três testes — a tarefa era totalmente verificável, genuinamente difícil, e todos os modelos acertaram.
Mas o teste 02 me ensinou a olhar para a coluna que não é a pontuação. Da última vez, foi o piloto automático. Desta vez, é o relógio e o navegador.
- Os dois modelos rápidos (Composer 1:43, Grok 3:58) enviaram arquivos corretos que nunca executaram.
- Os dois modelos lentos (Sonnet 9:07, DeepSeek 9:15) enviaram arquivos corretos porque os executaram.
Aqui está a reviravolta do teste 02. Da última vez, os modelos que não verificaram falharam — o piloto automático do Grok travou 15 de 20 pousos. Desta vez, os modelos que não verificaram passaram mesmo assim. Composer e Grok estavam certos sem verificar.
O que aprimora a lição em vez de repeti-la: a verificação não é o que torna a saída correta. É o que permite que você saiba que ela está correta antes de enviá-la. Em uma tarefa totalmente verificável, um modelo bom o suficiente pode pular a verificação e ainda assim estar certo. Só que não pode saber que está certo. Composer e Grok chegaram lá em um quarto do tempo — e enviaram às cegas. Sonnet e DeepSeek pagaram cinco minutos e oito centavos a dois dólares por algo que os velocistas não compraram: certeza.
Se essa troca vale a pena depende inteiramente do custo de estar errado. Para uma visualização descartável, envie às cegas e economize os minutos. Para qualquer coisa onde um bug silencioso do integrador chegue à produção, o modelo que abre o navegador é o que você quer — e DeepSeek provou que esse hábito custa quatro centavos, não dois dólares.
Modo cego: onde este teste mostra seus dentes
Há uma razão pela qual escolhi o caos. Coloque os quatro pêndulos lado a lado e deixe-os funcionar. Em quinze segundos, cada traço é um rabisco imprevisível diferente — e você não consegue dizer qual modelo escreveu qual. O estilo pessoal, os nomes das variáveis, os pequenos floreios de UI desaparecem no momento em que a física assume o controle. Quatro implementações corretas de um sistema caótico são, aos olhos, indistinguíveis.
Isso não é um bug no teste. Essa é a descoberta, renderizada como uma imagem: quando a tarefa é totalmente especificada e resolvida corretamente, a impressão digital do modelo desaparece. Experimente o modo cego e veja se consegue vencer o cara ou coroa. Eu não consegui.
quatro traços de pêndulo duplo
O que a conta comprou
- DeepSeek V4 Pro: $0,0432, detalhado por token. Também foi um dos dois que acionou um navegador real para se autoavaliar. O mais barato e o mais diligente — a escolha de valor, novamente, por duas ordens de grandeza.
- Sonnet 5: ~$2,02, medido por token (funcionou em um plano, então este é meu número de tokens × preço publicado). A maior parte foi para o loop de verificação de quinze chamadas que produziu a validação mais cuidadosa do grupo.
- Grok 4.5 e Composer 2.5: assinatura fixa através do Grok CLI, sem preço por token — portanto, nenhum valor em dólar honesto e nenhuma barra no meu gráfico.
As ressalvas, antes de me citar
Uma execução por modelo. Os quatro CLIs foram iniciados com um ou dois minutos de diferença, então os cronômetros no vídeo são o tempo real de cada modelo a partir de seus próprios logs, não um tiro de largada sincronizado — as durações são honestas, a "linha de partida" é escalonada, e prefiro te contar isso do que fingir uma largada limpa. O árbitro headless do DeepSeek subamostra, e é por isso que seu número de deriva é o mais baixo; estou chamando isso de uma pequena imprecisão, não de um erro, porque seu painel ao vivo amostra cada quadro e minha execução independente confirma o valor real. E "verificação compra confiança, não correção" é uma afirmação sobre esta tarefa, onde a resposta era totalmente verificável — em uma tarefa de final aberto (veja o teste 02) a verificação também comprou correção.
Tudo está publicado e funciona ao vivo. Você não precisa confiar em nenhum número neste artigo — aperte o botão você mesmo.
https://x.com/0xBakeer/status/2077442955934101680
Experimente
Todos os quatro arquivos intactos funcionam no seu navegador. Aperte Play para assistir ao caos, aperte Executar Árbitro para reproduzir cada número acima:
- O teste: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- A arena (todos os quatro, lado a lado): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- Modo cego — adivinhe quem construiu qual: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- Teste 02, a rodada do Lunar Lander: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- Teste 01, a rodada de Fourier: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- Dados brutos, prompt incluído: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
A tabela de energia é o grupo de controle — ela deveria empatar, e empata. O relógio é o experimento. E o modo cego é a conclusão: quatro respostas corretas para um problema caótico parecem exatamente iguais.
— Khaled
