Olá, Entusiastas de IA!
A OpenAI tornou oficial esta semana: bem-vindos à Era da AGI.
O GPT-6 Astra foi lançado, e a OpenAI o vende como um salto geracional — grandes avanços no uso do computador, programação, pesquisa e aquele tipo de trabalho longo e bagunçado que antes precisava de um humano supervisionando o tempo todo.
Vou levar o marketing ao pé da letra por um segundo, porque isso traz à tona uma pergunta que a indústria vem evitando silenciosamente: como medimos isso de fato?
Por alguns anos agora, a IA tem funcionado com base em benchmarks. Todo lançamento vem com uma tabela provando que o novo modelo é 3% melhor aqui, 7% melhor ali e, misteriosamente, 12% mais inteligente de acordo com um benchmark que não existia na primavera passada. Nós os classificamos, colorimos, empilhamos em rankings e coroamos um vencedor. Funcionou bem o suficiente quando os modelos basicamente respondiam perguntas. Para de funcionar no momento em que os modelos começam a fazer coisas.
Aqui está o problema central: um benchmark é apenas um banco de perguntas. Você entrega um problema ao modelo, ele produz uma resposta, você confere a resposta com um gabarito. Até os benchmarks sofisticados de uso do computador são, no fundo, uma pilha de tarefas pré-escritas rodando em ambientes pré-construídos. Isso é genuinamente útil. Mas também não se parece em nada com o que acontece quando você coloca um agente em uma máquina real e diz para ele fazer algo.
A vida real não vem com um arquivo de benchmark. Nada na sua área de trabalho diz exatamente como é o "pronto".
Um computador real é um navegador que trava no meio da tarefa, um site que silenciosamente redesenhou sua interface ontem, uma planilha com três versões contraditórias, uma permissão que ninguém mencionou, um PDF enterrado seis pastas abaixo, uma API que expira na pior requisição possível e um humano que diz "pode só cuidar disso?" e depois sai sem definir o que é "isso".
O agente tem que descobrir. E a parte que ninguém avalia bem: ele tem que se recuperar quando a primeira tentativa falha. Essa é uma habilidade completamente diferente de obter a resposta certa.
É por isso que os relatos de que a OpenAI comprou dezenas de milhares de Macs para consumidores para aprendizado por reforço e treinamento de uso do computador são mais reveladores do que parecem. Os números exatos foram relatados, não auditados — mas a direção é inconfundível. Os laboratórios de ponta querem seus modelos em máquinas reais, não presos em uma caixa de chat. E isso silenciosamente quebra todo o jogo dos benchmarks.
Imagine dois agentes, no mesmo computador, com a mesma instrução vaga:
Pesquise este mercado, escolha três empresas promissoras, construa uma comparação financeira e prepare uma apresentação para o comitê de investimentos.
Não existe uma maneira certa de fazer isso. Existem cem. Um agente navega por duas horas. Outro escreve um script. Um terceiro tropeça em uma fonte de dados melhor no meio do caminho e descarta seu plano original. Um quarto comete um erro, percebe e o corrige. Um quinto entrega uma apresentação linda construída com números completamente errados.
Então, qual deles venceu? O autor do benchmark não pode pré-escrever a resposta, porque não existe uma.
E é aqui que fica genuinamente desconfortável. A parte mais difícil de avaliar um agente pode não ser mais a resposta estava correta. É isso foi realmente útil. Isso parece um detalhe irrelevante. Não é.
Pegue um agente que atinge 95% de um benchmark de uso do computador e, em seguida, coloque-o em uma empresa real por uma semana. Ele cria a estrutura de pastas errada, sobrescreve uma planilha ativa, perde seis horas perseguindo uma pista falsa, cita com confiança uma estatística de 2023 e fica preso em uma barreira de permissão que nunca pensa em questionar. Todas as tarefas do benchmark: perfeitas. Ninguém o manteria empregado por uma segunda semana.
Agora pegue um agente que atinge apenas 85% — mas sabe quando está confuso, faz a pergunta que o desbloqueia, muda de estratégia quando algo quebra e, silenciosamente, entrega um trabalho que você pode realmente usar. Qual é o mais inteligente? O ranking não faz ideia. Honestamente, nós também não.
É por isso que acho que os benchmarks independentes estão encontrando um obstáculo. Não porque os pesquisadores estão relaxando — eles estão construindo testes mais difíceis e realistas do que nunca. O problema é que a realidade continua ficando maior que o teste. Você pode tornar o benchmark mais longo, adicionar mais ferramentas, mais sites, mais aplicativos, mais etapas, mais aleatoriedade. Não importa. Você ainda está construindo um jogo com regras, e no momento em que um modelo aprende a jogar o jogo, você volta à estaca zero.
Então, teremos as pontuações. 91,4%. 94,7%. 97,2%. 98,1%. As pessoas vão discutir se o Modelo A vence o Modelo B. Alguém vai lançar outro ranking. Outra pessoa vai lançar um ranking dos rankings. E o tempo todo, o modelo estará sentado em um computador real fazendo coisas que nenhum desses números consegue descrever.
Esse é o paradoxo do benchmark: quanto mais a IA se aproxima da inteligência de propósito geral, menos um banco de perguntas pré-escritas te diz sobre ela.
Então, o que a substitui? Não acho que a resposta seja "um benchmark melhor". Acho que é algo diferente em essência. Pare de entregar uma pergunta ao agente e entregue um objetivo. Pare de dar a ele uma caixa de areia arrumada e dê uma bagunçada. Pare de pontuar se ele seguiu os passos esperados e pontue se ele obteve o resultado. Pare de executar o mesmo teste público e jogue-o em ambientes que continuam mudando, em tarefas privadas que ele nunca viu.
E pare de perguntar apenas se ele teve sucesso. Pergunte com que confiabilidade ele tem sucesso, quanto custou, quanto tempo levou, quantas vezes precisou de um humano, quão seguro foi seu comportamento e se o trabalho sobreviveu ao contato com a realidade.
Simplificando: a próxima geração de avaliação de IA deve se parecer menos com um exame e mais com um estágio.
Não pergunte ao modelo:
Ele passou no teste?
Dê a ele um laptop, uma conta, um orçamento, um objetivo e uma semana. Então observe o que ele faz. Isso te diria muito mais sobre sua inteligência — e seria um pesadelo para padronizar. Que é exatamente o ponto.
A inteligência do mundo real é bagunçada, contextual, adaptativa e de final aberto. No segundo em que você a achata em uma lista limpa de perguntas com respostas fixas, você parou de medir inteligência. Você está medindo capacidade de fazer provas.
E é por isso que o Astra chega de forma diferente para mim. A OpenAI está nos dizendo, abertamente, que entramos na Era da AGI. Tudo bem. Mas, se isso é verdade, provavelmente deveríamos parar de entregar à AGI o exame padronizado que projetamos para chatbots.
A pergunta interessante não é mais "qual foi a pontuação?" É "o que acontece quando você dá a ela um computador e diz para fazer algo?" E suspeito que estamos prestes a descobrir que ainda não temos uma boa resposta.
Então — bem-vindos à Era da AGI. E, silenciosamente, ao mesmo tempo: bem-vindos à Era da IA Inclassificável. O benchmark não piorou. A coisa que estamos tentando medir simplesmente saiu dele.
