Em abril de 1965, agências de notícias soviéticas anunciaram a descoberta de uma supercivilização. Todo o pânico partiu do trabalho de um único homem: Nikolai Kardashev, um astrônomo soviético obcecado com a seguinte pergunta: se você detectasse uma civilização muito além da sua, seria capaz de dizer algo rigoroso sobre ela?
Ele ficou famoso por sua solução. Em vez de focar em inteligência, intencionalidade ou comportamento — coisas muito complexas e difíceis de avaliar —, ele criou uma teoria sobre como as civilizações usam energia. A termodinâmica é indiferente à inteligência — argumentava ele.
No fim, tudo não passava de um quasar. A medição estava correta; só não havia nenhum alienígena por trás dela.
BENCHMARKING NA ERA DA SUPERINTELIGÊNCIA
Sessenta e um anos depois, vivemos um pânico estranhamente parecido: parecemos estar prestes a criar uma inteligência que vai superar o ser humano mais inteligente que já existiu. E, ainda assim, é de importância vital que consigamos dizer algo significativo sobre elas, ou seja, precisamos avaliá-las com benchmarks.
O motivo é simples: alocação de recursos. Independentemente de sua inteligência muito superior, continuaremos querendo o melhor retorno pelo nosso tempo e dinheiro. Ninguém usa o Stockfish 13 no xadrez para análises profundas quando o modelo de 2026 é simplesmente melhor.
Então, por que não podemos usar os benchmarks atuais?
O problema imediato é a saturação. Um teste fixo deixa de ser útil no momento em que todos os modelos tiram 100% nele, e isso já está acontecendo: benchmarks considerados difíceis há três anos agora são resolvidos por modelos baratos. Você pode continuar criando testes mais difíceis, mas apenas até o limite do teste mais difícil que um humano consegue escrever. O que nos leva ao verdadeiro problema.
Até agora, medimos a inteligência principalmente usando testes fechados. Quando digo "fechados", refiro-me a testes cuja pontuação conhecemos antes mesmo de começarem (testes de QI, provas de matemática, programação...). Usamos esse tipo de teste por razões óbvias: 1. é objetivo. 2. É relativamente rápido de avaliar. 3. Inércia: é assim que costumamos testar humanos.
Porém, assim que você começa a pensar em aplicar esses testes a IAs mais inteligentes, o problema fica evidente: esses exames foram criados para que uma inteligência superior avalie uma inferior: um professor e um aluno. É exatamente por isso que precisamos começar a pensar e projetar um novo tipo de avaliação. Nós, a inteligência inferior — o aluno —, teremos que avaliar uma SI — o professor — garantindo, ao mesmo tempo, a objetividade.
Esse problema, como uma inteligência inferior pode avaliar rigorosamente uma superior, eu chamo de problema de Kardashev, e é aquilo pelo qual sou pessoalmente mais apaixonado (e o motivo pelo qual decidi criar o Kardashevian.com).
FUTUROS BENCHMARKS DE SUPERINTELIGÊNCIA
Temos a nosso favor um princípio salvador: verificar uma resposta candidata é radicalmente mais fácil do que encontrá-la. Resolver um Sudoku exige esforço; conferir uma grade preenchida leva trinta segundos. E, na maioria dos casos, um verificador externo nos ajudará a ser o mais objetivos possível quanto à qualidade e à inteligência desses sistemas altamente avançados.
Vejo 4 sistemas diferentes de verificação externa para o futuro dos benchmarks:
- O Mundo é o Verificador. Missões Abertas: objetivos; não perguntas e respostas. O mundo avalia o objetivo. Quanto maior ou mais otimizado, melhor.
**-Exemplo: simulação de investimentos em valor (value investing) no mercado de ações.
**
Nesse cenário, a complexidade do mundo real é tão vasta e dinâmica (em constante mudança e reação) que torna a saturação desse desafio praticamente impossível. Pretendo escrever outro ensaio mais adiante explicando por que acredito que o value investing seja um ótimo teste de inteligência; a ideia central está na suposição de que um sistema capaz de prever de forma confiável como o mundo, incluindo humanos e mercados, vai se comportar, apresenta um dos sinais mais claros de inteligência**.
2. As regras e o jogo são o verificador. Competição. O xadrez, novamente, mostra que, apesar de existirem jogadores superiores aos humanos, ainda conseguimos saber que o Modelo X é melhor que o Modelo Z. O sistema ELO, que usamos no Kardashevian.com, também nos permite não apenas ver o vencedor, mas manter um placar estatisticamente significativo.
-Exemplo: Xadrez, Go ou qualquer jogo infinitamente mais complexo que possa ser criado apenas para esse propósito.
**
- A Física e a Química são o verificador. Engenharia Complexa. Limitamos o teste à física e à química e deixamos a natureza dar a nota. **
-Exemplo: projetar um material com uma determinada propriedade, depois sintetizá-lo em um laboratório automatizado e testá-lo.
4. A Lógica é o verificador. Prova Formal. Matemática escrita em uma linguagem que o computador consegue checar.
-Exemplo: Melhorar um limite conhecido ou resolver uma conjectura aberta no Lean.
Os riscos são: os limites conhecidos são definidos por humanos, assim como as conjecturas propostas. Ainda assim, é muito difícil saturar.
KARDASHEVIAN.COM
**O que estamos fazendo:
**O Kardashevian é uma primeira tentativa de reunir todas essas quatro ideias, construído no meu tempo livre e com um orçamento pequeno :)
Todas as arenas funcionam da mesma maneira: as entradas são congeladas, os modelos assumem seus compromissos e, em seguida, algo que eles não podem ver nem influenciar faz a avaliação. Nenhum dos testes tem uma "resposta" específica.
Como era de se esperar, o value investing no mercado é a missão aberta. É uma versão menor daquela mencionada no ensaio: os modelos recebem dados de negociação de um pacote com 300 ações americanas, ETFs e pares de criptomoedas. O objetivo deles é criar 15 portfólios exclusivamente comprados (long-only): cinco horizontes de 1 mês a 2 anos, em três níveis de risco, cada um com uma previsão de retorno. Depois, acompanhamos cada portfólio diariamente em comparação com o S&P 500. Novamente, o mercado dá a nota. Até agora, nenhum modelo perdeu dinheiro (na média) e, em quase 1 mês, 3/5 estão superando o S&P 500 — embora a significância estatística disso ainda seja limitada.
O Sandbox é a competição que criamos. Cada modelo escreve o controlador de um rover em um mundo simulado com física oculta (desequilíbrio do motor, atraso nos comandos, ruído nos sensores, vento, gelo), observa o desempenho, tenta de novo, oito vezes. Seu melhor controlador é então avaliado em dez pistas que ele nunca viu. Ninguém conhece o controlador perfeito para aquele mundo, mas conseguimos dizer exatamente qual modelo é melhor e com que rapidez cada um aprendeu.
Em ambas as arenas, os modelos são classificados uns contra os outros com as mesmas estatísticas usadas no xadrez: cada par disputa uma partida em cada célula, e um ajuste de Bradley–Terry na escala Elo transforma os resultados em uma classificação com intervalo de 95%. O S&P 500 é um jogador fixado em 1.500. Um modelo que não consegue bater um fundo de índice terá uma pontuação que prova isso.
Duas limitações bem claras que enfrentamos atualmente:
- Primeiro, somos autofinanciados, então rodamos os modelos de baixo custo de cada laboratório de ponta (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), e não os principais. O método é o ponto central; os modelos top de linha virão quando o orçamento permitir.
- Precisamos de tempo. Por isso, temos 358 portfólios e 6 mundos, com novos livros toda segunda-feira e os primeiros portfólios amadurecendo em 25 de outubro. Os intervalos ainda têm cerca de ±100 pontos de largura.
Tudo é público. Cada número vem de uma versão numerada que você pode baixar, e a página de metodologia descreve exatamente como ele foi calculado.
Estamos trabalhando duro para aumentar a quantidade e a dificuldade dessas tarefas.
Se alguém tiver interesse em trabalhar junto neste projeto, fique à vontade para me mandar uma mensagem direta ou um e-mail para john@on3works.com
