Gemini 3 Pro foi o vencedor da corrida, obtendo 16 medalhas, derrotando a Elite Four e o Campeão, e derrotando o chefão oculto Red em aproximadamente metade dos tokens e turnos que o Gemini 2.5 Pro levou para adquirir apenas quatro medalhas. Esta corrida frente a frente totalmente autônoma em Pokémon Crystal foi conduzida por Joel Zhang (@TheCodeOfJoel) da ARISE Foundation (e transmitida ao vivo na Twitch). Seu post de blog detalhado comparando os modelos revelou múltiplas distinções fascinantes em seus comportamentos; no geral, o Gemini 3 Pro é pelo menos 2x mais rápido que o Gemini 2.5 Pro para completar o Crystal, e se extrapolarmos, uma estimativa mais precisa sugere que o modelo antigo é cerca de 8x mais lento.
A taxa de conclusão do Gemini 3 Pro em comparação com o Gemini 2.5 Pro. Crédito: Joel Zhang
Isso culminou na batalha final contra o Red. Enfrentando uma desvantagem de nível, o agente 3.0 elaborou uma estratégia complexa de múltiplos estágios que chamou de "Operação Fênix Zumbi", combinando recuperação passiva, redução de atributos, exaustão de recursos e um "loop de reviver" para garantir a vitória em uma batalha maratona de 7 horas.
0:52
A vitória sobre o Red. Crédito: Joel Zhang
Um prompt de cientista de IA
A configuração do harness para esta corrida foi idêntica entre os dois agentes para garantir uma comparação justa. Notavelmente, os agentes não foram instruídos a "completar o jogo o mais rápido possível", mas sim a empregar o método científico e não assumir que seu conhecimento prévio sobre o jogo estava correto. A função não estruturada de bloco de notas permitiu que os agentes registrassem hipóteses e testassem ideias, enquanto acompanhavam seu progresso no jogo.
Essa filosofia está alinhada com a flexibilidade do harness que permitiu que os agentes projetassem suas próprias ferramentas de código e subagentes dentro do harness. De certa forma, esta corrida também testou a rapidez com que os agentes conseguiam se adaptar ao ambiente e construir uma configuração funcional para ter sucesso no mundo de Pokémon Crystal.
Descartando as "rodinhas de apoio"
O Gemini 3 Pro exibe uma maior probabilidade de confiar em suas ferramentas. Quando uma ação falha, ele reavalia o ambiente em vez do código base. Essa consciência levou a um comportamento fascinante em relação às restrições do harness.
O harness impõe um tratamento estrito de entrada, proibindo "entradas de botão mistas" (por exemplo, pressionar A e Cima em sequência) para manter o 2.5 Pro estável e evitar dessincronizações do emulador. Quando o Gemini 3 Pro encontrou uma situação que exigia sequências de entrada complexas — especificamente para dar um apelido a um Pokémon — ele achou a restrição de pressionamento único ineficiente.
Em vez de aceitar a restrição, ele utilizou a capacidade define_tool para escrever uma ferramenta personalizada chamada press_sequence, já que as ferramentas personalizadas não têm a restrição de entrada mista para pressionamentos de botão.
Este script permitiu que ele agrupasse sequências de entrada localmente, efetivamente escrevendo seu próprio driver para contornar as restrições do harness e melhorar sua eficiência por meio da brecha inteligente e intencional. O agente 3.0 tratou as restrições do harness como problemas de engenharia a serem resolvidos, não leis imutáveis.
Vantagem multimodal
No 8º Ginásio, a solução exige derrubar pedregulhos de um andar superior para traçar um caminho através de um andar feito de lava. A mudança de estado para o andar inferior é difícil de rastrear com base apenas nos dados de RAM do harness, pois não há menções a pedregulhos caídos nos dados.
O Gemini 3 Pro utilizou o feed visual para identificar os pedregulhos caídos e se desvencilhar de um loop em que havia caído, assumindo que o quebra-cabeça ainda não estava resolvido (um fato agravado pelos pedregulhos chamariz que permaneciam no segundo nível). Ele ignorou os dados de estado potencialmente confusos e confiou na captura de tela para identificar as posições dos pedregulhos, corrigindo sua estratégia com base em evidências visuais. Essa capacidade de alternar entre modalidades de dados — da inspeção da RAM para a visão bruta — ajudou o agente 3.0 a escapar de um estado "travado" que o deixava em loop por horas.
Também foi notável a capacidade do agente 3.0 de "ler" a barra de saúde dos oponentes. Essa informação, extremamente significativa para entender o movimento ideal a ser feito em uma batalha, não é fornecida pelo estado da RAM e deve ser deduzida pelo agente a partir da tela. O agente 3.0 foi capaz de estimar com bastante precisão a fração de saúde restante durante a batalha contra o Red, um fato que provavelmente contribuiu para seu sucesso.
Eficiência de batalha e gerenciamento de estado
A diferença de eficiência e o desempenho aprimorado no raciocínio de batalha foram extremamente significativos para a vitória do Gemini 3 Pro. O Gemini 2.5 Pro perdeu duas vezes para o 3º líder de ginásio (Whitney) devido a capacidades de estratégia inferiores e, como resultado, passou uma quantidade excessiva de tempo aumentando o nível muito além do necessário para obter a 3ª medalha.
O Gemini 3 Pro completou todo o jogo, incluindo a batalha final contra o chefão oculto Red, sem uma única derrota.
Ele demonstrou raciocínio tático superior, realizando cálculos de dano ao vivo para otimizar a seleção de movimentos. Por exemplo, ele escolheu corretamente Swift em vez de Flamethrower após reconhecer que o Snorlax do oponente havia aumentado sua Defesa Especial, e também levou em consideração cálculos baseados no clima (chuva reduz dano de fogo). Durante a série de batalhas da Elite Four, ele gerenciou a conservação de pontos de vida proativamente, usando itens para completar a saúde entre as rodadas — um comportamento com o qual o 2.5 Pro historicamente tem dificuldade em priorizar em vez de movimentos de combate imediatos.
Limitações atuais
Apesar do salto de desempenho, o Gemini 3 Pro não está isento de falhas.
- Suposições sem verificação: O maior modo de falha observado foi formar uma hipótese e se recusar a testá-la. Em uma instância, o agente 3.0 assumiu que a interface do rádio funcionava como um menu padrão (Esquerda/Direita) em vez de um dial visual (Cima/Baixo), ignorando dicas visuais e perdendo horas em um loop. Em outro caso, o agente 3.0 passou muito tempo testando teorias cada vez mais complicadas sobre um quebra-cabeça de porta trancada, sem falar com os NPCs próximos que davam dicas.
- Planejamento proativo: Embora as táticas reativas sejam fortes, o gerenciamento proativo de objetivos permanece inconsistente. O agente 3.0 frequentemente identifica uma necessidade estratégica (por exemplo, "trocar a ordem dos Pokémon"), mas não a executa até que a batalha já tenha começado.
- Execuções em seco: Existem muitas instâncias em que o agente 3.0 chamou uma ferramenta, mas cometeu um erro no parâmetro da chamada, resultando em uma execução em seco. No entanto, ao contrário do agente 2.5, ele normalmente reconhece esse erro e se autocorrige no turno seguinte.
- Planejamento paralelo: O agente 3.0 tem dificuldade em planejar a execução de múltiplos grandes objetivos em paralelo para ganhos de eficiência, preferindo resolver tarefas uma de cada vez, mesmo que fosse possível progredir em múltiplos objetivos simultaneamente.
A conclusão
Nesta corrida, o Gemini 3 Pro foi além do simples seguimento de instruções e demonstrou raciocínio espacial genuíno, criação improvisada de ferramentas e uma abordagem "científica" para o teste de hipóteses.
Essa capacidade de raciocínio se traduziu diretamente em eficiência. O Gemini 3 Pro completou a execução em 17 dias usando 1,88 bilhão de tokens. Com base no marco da Medalha Mineral, projeta-se que o Gemini 2.5 Pro precisaria de 69 dias e mais de 15 bilhões de tokens para alcançar o mesmo resultado.
Para começar a construir seus próprios agentes autônomos, consulte a documentação do Gemini 3 para obter detalhes de implementação técnica.
