Gemini 3 Pro foi o vencedor da corrida, obtendo 16 insígnias, derrotando a Elite Four e o Campeão, e derrotando o chefe oculto Red em aproximadamente metade dos tokens e turnos que o Gemini 2.5 Pro levou para adquirir apenas quatro insígnias. Esta corrida frente a frente totalmente autônoma em Pokémon Crystal foi conduzida por Joel Zhang (@TheCodeOfJoel) da ARISE Foundation (e transmitida na Twitch). Seu post de blog detalhado comparando os modelos revelou múltiplas diferenças fascinantes em seu comportamento; no geral, o Gemini 3 Pro é pelo menos 2x mais rápido que o Gemini 2.5 Pro para completar Crystal, e se extrapolarmos, uma estimativa mais precisa sugere que o modelo mais antigo é cerca de 8x mais lento.
A taxa de conclusão do Gemini 3 Pro em comparação com o Gemini 2.5 Pro. Crédito: Joel Zhang
Isso culminou na batalha final contra Red. Enfrentando uma desvantagem de nível, o agente 3.0 elaborou uma estratégia complexa de múltiplos estágios que chamou de "Operação Fênix Zumbi", combinando recuperação passiva, redução de estatísticas, exaustão de recursos e um "loop de revive" para garantir a vitória em uma batalha maratona de 7 horas.
0:52
A vitória sobre Red. Crédito: Joel Zhang
Um prompt de cientista de IA
A configuração do harness para esta corrida foi idêntica entre os dois agentes para garantir uma comparação justa. Notavelmente, os agentes não foram instruídos a "completar o jogo o mais rápido possível", mas sim a empregar o método científico e não assumir que seu conhecimento prévio sobre o jogo estava correto. A função notepad (bloco de notas) não estruturada permitiu que os agentes registrassem hipóteses e testassem ideias, enquanto acompanhavam seu progresso no jogo.
Essa filosofia está alinhada com a flexibilidade do harness que permitiu que os agentes projetassem suas próprias ferramentas de código e subagentes dentro do harness. De certa forma, esta corrida também testou a rapidez com que os agentes podiam se adaptar ao seu ambiente e construir uma configuração funcional para ter sucesso no mundo de Pokémon Crystal.
Descartando as "rodinhas de apoio"
O Gemini 3 Pro exibe uma maior probabilidade de confiar em suas ferramentas. Quando uma ação falha, ele reavalia o ambiente em vez da base de código. Essa consciência levou a um comportamento fascinante em relação às restrições do harness.
O harness impõe um tratamento rigoroso de entrada, proibindo "entradas de botão mistas" (por exemplo, pressionar A e Cima em sequência) para manter o 2.5 Pro estável e evitar dessincronizações do emulador. Quando o Gemini 3 Pro encontrou uma situação que exigia sequências de entrada complexas — especificamente para dar um apelido a um Pokémon — ele achou a restrição de pressionamento único ineficiente.
Em vez de aceitar a restrição, ele utilizou a capacidade define_tool para escrever uma ferramenta personalizada chamada press_sequence, já que as ferramentas personalizadas não possuem a restrição de entrada mista para pressionamentos de botão.
Este script permitiu que ele agrupasse sequências de entrada localmente, efetivamente escrevendo seu próprio driver para contornar as restrições do harness e melhorar sua eficiência através da engenhosa brecha pretendida. O agente 3.0 tratou as restrições do harness como problemas de engenharia a serem resolvidos, não como leis imutáveis.
Vantagem multimodal
No 8º Ginásio, a solução exige derrubar pedras de um andar superior para traçar um caminho através de um andar feito de lava. A mudança de estado do andar inferior é difícil de rastrear baseando-se apenas nos dados de RAM do harness, já que não há menções de pedras caídas nos dados.
O Gemini 3 Pro utilizou o feed visual para identificar as pedras caídas e se desvencilhar de um loop em que havia caído, assumindo que o quebra-cabeça ainda não estava resolvido (um fato agravado pelas pedras chamariz que permaneciam no segundo nível). Ele ignorou os dados de estado potencialmente confusos e confiou na captura de tela para identificar as posições das pedras, corrigindo sua estratégia com base em evidências visuais. Essa capacidade de alternar entre modalidades de dados — da inspeção de RAM para a visão bruta — ajudou o agente 3.0 a escapar de um estado "travado" que o deixou em loop por horas.
Também notável foi a capacidade do agente 3.0 de "ler" a barra de vida dos oponentes. Esta informação, incrivelmente significativa para entender o movimento ideal a ser feito em uma batalha, não é fornecida pelo estado da RAM e deve ser deduzida pelo agente a partir da tela. O agente 3.0 foi capaz de estimar com bastante precisão a fração de vida restante durante a batalha contra Red, um fato que provavelmente contribuiu para seu sucesso.
Eficiência de batalha e gerenciamento de estado
A diferença de eficiência e o desempenho aprimorado no raciocínio de batalha foram extremamente significativos para a vitória do Gemini 3 Pro. O Gemini 2.5 Pro perdeu duas vezes para o líder do 3º Ginásio (Whitney) devido a capacidades de estratégia inferiores e, como resultado, passou uma quantidade excessiva de tempo aumentando o nível muito além do necessário para obter a 3ª insígnia.
O Gemini 3 Pro completou todo o jogo, incluindo a batalha final contra o chefe oculto Red, sem uma única derrota.
Ele demonstrou raciocínio tático superior, realizando cálculos de dano ao vivo para otimizar a seleção de movimentos. Por exemplo, ele escolheu corretamente Ataque Rápido em vez de Lança-Chamas após reconhecer que o Snorlax do oponente havia aumentado sua Defesa Especial, e também levou em consideração cálculos baseados no clima (chuva reduz o dano de fogo). Durante a sequência da Elite Four, ele gerenciou a conservação de pontos de vida proativamente, usando itens para completar a vida entre as rodadas — um comportamento que o 2.5 Pro historicamente tem dificuldade em priorizar em detrimento de movimentos de combate imediatos.
Limitações atuais
Apesar do salto de desempenho, o Gemini 3 Pro não está isento de falhas.
- Suposições sem verificação: O maior modo de falha observado foi formar uma hipótese e se recusar a testá-la. Em uma ocasião, o agente 3.0 assumiu que a interface do rádio funcionava como um menu padrão (Esquerda/Direita) em vez de um dial visual (Cima/Baixo), ignorando dicas visuais e perdendo horas em um loop. Em outro caso, o agente 3.0 passou muito tempo testando teorias cada vez mais complicadas sobre um quebra-cabeça de porta trancada, deixando de falar com os NPCs próximos que davam dicas.
- Planejamento proativo: Embora as táticas reativas sejam fortes, o gerenciamento proativo de metas permanece inconsistente. O agente 3.0 frequentemente identifica uma necessidade estratégica (por exemplo, "trocar a ordem dos Pokémon"), mas falha em executá-la até que a batalha já tenha começado.
- Execuções a seco (dry runs): Há muitas instâncias em que o agente 3.0 chamou uma ferramenta, mas cometeu um erro no parâmetro da chamada, resultando em uma execução a seco. No entanto, ao contrário do agente 2.5, ele normalmente reconhece esse erro e se autocorrige no turno subsequente.
- Planejamento paralelo: O agente 3.0 tem dificuldade em planejar a execução de múltiplos grandes objetivos em paralelo para ganhos de eficiência, preferindo resolver tarefas uma de cada vez, mesmo que fosse possível progredir em vários objetivos simultaneamente.
A conclusão
Nesta corrida, o Gemini 3 Pro foi além do simples seguimento de instruções e demonstrou raciocínio espacial genuíno, criação improvisada de ferramentas e uma abordagem "científica" para testar hipóteses.
Essa capacidade de raciocínio se traduziu diretamente em eficiência. O Gemini 3 Pro completou a execução em 17 dias usando 1,88 bilhão de tokens. Com base no marco da Insígnia Mineral, projeta-se que o Gemini 2.5 Pro precisaria de 69 dias e mais de 15 bilhões de tokens para alcançar o mesmo resultado.
Para começar a construir seus próprios agentes autônomos, consulte a documentação do Gemini 3 para obter detalhes de implementação técnica.
