Em abril de 1965, agências de notícias soviéticas anunciaram a descoberta de uma supercivilização. Todo o pânico partiu do trabalho de um único homem: Nikolai Kardashev, um astrônomo soviético obcecado com a seguinte pergunta: se você detectasse uma civilização muito além da sua, seria capaz de dizer algo rigoroso sobre ela?
Ele ficou famoso por sua solução. Em vez de focar em inteligência, intencionalidade ou comportamento — coisas muito complexas e difíceis de avaliar —, ele criou uma teoria sobre como as civilizações usam energia. A termodinâmica é indiferente à inteligência — argumentava ele.
No fim, tudo não passava de um quasar. A medição estava correta; só não havia nenhum alienígena por trás dela.
BENCHMARKING NA ERA DA SUPERINTELIGÊNCIA
Sessenta e um anos depois, vivemos um pânico curiosamente parecido: parecemos estar prestes a criar uma inteligência que vai superar o ser humano mais brilhante que já existiu. E, ainda assim, é de vital importância que consigamos dizer algo significativo sobre elas, ou seja, precisamos avaliá-las com benchmarks.
O motivo é simples: alocação de recursos. Independentemente de sua inteligência muito superior, continuaremos querendo o melhor retorno para o nosso tempo e dinheiro. Ninguém usa o Stockfish 13 no xadrez para análises profundas quando o modelo de 2026 é simplesmente melhor.
Então, por que não podemos usar os benchmarks atuais?
O problema imediato é a saturação. Um teste fixo deixa de ser útil no momento em que todos os modelos tiram 100% nele, e isso já está acontecendo: benchmarks considerados difíceis há três anos hoje são resolvidos por modelos baratos. Você pode continuar criando testes mais difíceis, mas apenas até o limite do teste mais difícil que um humano consegue escrever. O que nos leva ao verdadeiro problema.
Até agora, medimos a inteligência principalmente usando testes fechados. Quando digo "fechados", refiro-me a testes cuja pontuação conhecemos antes mesmo de começarem (testes de QI, provas de matemática, programação...). Usamos esse tipo de teste por razões óbvias: 1. é objetivo. 2. É relativamente rápido de avaliar. 3. Inércia: é assim que costumamos testar humanos.
Porém, assim que você começa a pensar em aplicar esses testes a IAs mais inteligentes, o problema fica evidente — esses exames foram criados para que uma inteligência superior avalie uma inferior: um professor e um aluno. É exatamente por isso que precisamos começar a pensar e projetar um novo tipo de avaliação. Nós, a inteligência inferior — o aluno —, teremos que avaliar uma SI — o professor —, garantindo ao mesmo tempo a objetividade.
Esse problema, como uma inteligência inferior pode avaliar rigorosamente uma superior, eu chamo de problema de Kardashev, e é aquilo pelo qual sou pessoalmente mais apaixonado (e o motivo pelo qual decidi criar o Kardashevian.com).
FUTUROS BENCHMARKS DE SUPERINTELIGÊNCIA
Temos a nosso favor um princípio salvador: verificar uma resposta candidata é radicalmente mais fácil do que encontrá-la. Resolver um Sudoku dá trabalho; conferir uma grade preenchida leva trinta segundos. E, na maioria dos casos, um verificador externo nos ajudará a ser o mais objetivos possível quanto à qualidade e à inteligência desses sistemas altamente avançados.
Vejo 4 sistemas diferentes de verificação externa para o futuro dos benchmarks:
- O mundo é o verificador. Missões abertas: objetivos; não perguntas e respostas. O mundo avalia o objetivo. Quanto maior ou mais otimizado, melhor.
**-Exemplo: simulação de investimentos em valor (paper trading) no mercado de ações.
**
Nesse cenário, a complexidade do mundo real é tão vasta e dinâmica (mudando e reagindo constantemente) que torna a saturação desse desafio praticamente impossível. Pretendo escrever outro ensaio mais adiante sobre por que acredito que o investimento em valor seja um ótimo teste de inteligência; a ideia central está na suposição de que um sistema capaz de prever de forma confiável como o mundo, incluindo humanos e mercados, vai se comportar apresenta um dos sinais mais claros de inteligência.
2. As regras e o jogo são o verificador. Competição. O xadrez, novamente, mostra que, apesar de existirem jogadores superiores aos humanos, ainda conseguimos saber que o Modelo X é melhor que o Modelo Z. O sistema ELO, que usamos no Kardashevian.com, também nos permite não apenas ver o vencedor, mas manter um placar estatisticamente significativo.
-Exemplo: xadrez, Go ou qualquer jogo infinitamente mais complexo que possa ser criado apenas para esse fim.
**
- A física e a química são o verificador. Engenharia complexa. Limitamos o teste à física e à química e deixamos a natureza fazer a avaliação. **
-Exemplo: projetar um material com uma determinada propriedade, depois sintetizá-lo em um laboratório automatizado e testá-lo.
4. A lógica é o verificador. Prova formal. Matemática escrita em uma linguagem que o computador consegue verificar.
-Exemplo: melhorar um limite conhecido ou resolver uma conjectura aberta no Lean.
Os riscos são: os limites conhecidos são definidos por humanos, assim como as conjecturas propostas. Ainda assim, é muito difícil saturar.
KARDASHEVIAN.COM
**O que estamos fazendo:
**O Kardashevian é uma primeira tentativa de reunir todas essas quatro ideias, construído no meu tempo livre e com um orçamento pequeno :)
Todas as arenas funcionam da mesma maneira: as entradas são congeladas, os modelos assumem seus compromissos e, em seguida, algo que eles não podem ver nem influenciar faz a avaliação. Nenhum dos testes tem uma "resposta" específica.
Como era de se esperar, o investimento em valor nos mercados é a missão aberta. É uma versão menor daquela mencionada no ensaio: os modelos recebem dados de negociação de um pacote com 300 ações americanas, ETFs e pares de criptomoedas. O objetivo deles é criar 15 portfólios exclusivamente comprados (long-only): cinco horizontes de 1 mês a 2 anos, em três níveis de risco, cada um com uma previsão de retorno. Depois, acompanhamos cada portfólio diariamente em comparação com o S&P 500. Novamente, o mercado faz a avaliação. Até agora, nenhum modelo perdeu dinheiro (em média) e, após quase 1 mês, 3/5 estão superando o S&P 500 — embora a significância estatística disso ainda seja limitada.
O Sandbox é a competição que criamos. Cada modelo escreve o controlador de um rover em um mundo simulado com física oculta (desequilíbrio do motor, atraso nos comandos, ruído nos sensores, vento, gelo), observa a execução, tenta de novo, oito vezes. Seu melhor controlador é então avaliado em dez percursos que ele nunca viu. Ninguém conhece o controlador perfeito para aquele mundo, mas conseguimos dizer exatamente qual modelo tem o melhor e com que rapidez cada um aprendeu.
Em ambas as arenas, os modelos são classificados uns contra os outros com as mesmas estatísticas usadas no xadrez: cada par disputa uma partida em cada célula, e um ajuste de Bradley–Terry na escala Elo transforma os resultados em uma pontuação com intervalo de 95%. O S&P 500 é um jogador fixado em 1.500. Um modelo que não consegue bater um fundo de índice tem uma pontuação que prova isso.
Duas limitações bem claras que enfrentamos atualmente:
- Primeiro, somos autofinanciados, então rodamos os modelos de baixo custo de cada laboratório de fronteira (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), e não os principais. O método é o ponto central; os modelos principais virão quando o orçamento permitir.
- Precisamos de tempo. Por isso temos 358 portfólios e 6 mundos, com novos livros toda segunda-feira e os primeiros portfólios amadurecendo em 25 de outubro. Os intervalos ainda têm cerca de ±100 pontos de amplitude.
Tudo é público. Cada número vem de uma release numerada que você pode baixar, e a página de metodologia descreve exatamente como foi calculado.
Estamos trabalhando duro para aumentar a quantidade e a dificuldade dessas tarefas.
Se alguém tiver interesse em trabalhar junto neste projeto, fique à vontade para me mandar uma DM ou um e-mail para john@on3works.com
