Évaluation du raisonnement agentique : Gemini 3 Pro face à Gemini 2.5 Pro dans Pokémon Crystal

Gemini 3 Pro a remporté la course, obtenant 16 badges, battant le Conseil des Quatre et le Maître, et battant le boss caché Red en environ la moitié des tokens et des tours qu'il a fallu à Gemini 2.5 Pro pour n'obtenir que quatre badges. Cette course en tête-à-tête entièrement autonome dans Pokémon Crystal a été menée par Joel Zhang (@TheCodeOfJoel) de la ARISE Foundation (et diffusée sur Twitch). Son article de blog détaillé comparant les modèles a révélé de multiples différences fascinantes dans leur comportement ; globalement, Gemini 3 Pro est au moins 2 fois plus rapide que Gemini 2.5 Pro pour terminer Crystal, et si l'on extrapole, une estimation plus précise suggère que l'ancien modèle est environ 8 fois plus lent.

Le taux d'achèvement de Gemini 3 Pro par rapport à Gemini 2.5 Pro. Crédit : Joel Zhang

Cela a culminé dans le combat final contre Red. Face à un désavantage de niveau, l'agent 3.0 a élaboré une stratégie complexe en plusieurs étapes qu'il a appelée « Opération Zombie Phénix », combinant régénération passive, réduction de statistiques, épuisement des ressources et une « boucle de renaissance » pour remporter la victoire dans un combat marathon de 7 heures.

0:52

La victoire contre Red. Crédit : Joel Zhang

Un prompt d'IA scientifique

La configuration du harnais pour cette course était identique entre les deux agents afin de garantir une comparaison équitable. Notamment, les agents n'avaient pas pour instruction de « terminer le jeu le plus rapidement possible », mais plutôt d'utiliser la méthode scientifique et de ne pas supposer que leurs connaissances préalables du jeu étaient correctes. La fonction notepad non structurée permettait aux agents d'enregistrer des hypothèses et de tester des idées, tout en suivant leur progression dans le jeu.

Cette philosophie est en phase avec la flexibilité du harnais qui permettait aux agents de concevoir leurs propres outils de code et sous-agents au sein du harnais. Dans un certain sens, cette course testait aussi la rapidité avec laquelle les agents pouvaient s'adapter à leur environnement et construire une configuration fonctionnelle pour réussir dans le monde de Pokémon Crystal.

Abandonner les « roulettes »

Gemini 3 Pro montre une plus grande propension à faire confiance à ses outils. Lorsqu'une action échoue, il réévalue l'environnement plutôt que la base de code. Cette conscience a conduit à un comportement fascinant concernant les restrictions du harnais.

Le harnais impose une gestion stricte des entrées, interdisant les « entrées mixtes de boutons » (par exemple, appuyer sur A et Haut en séquence) pour maintenir la stabilité de 2.5 Pro et éviter les désynchronisations de l'émulateur. Lorsque Gemini 3 Pro a rencontré une situation nécessitant des séquences d'entrée complexes — en particulier pour donner un surnom à un Pokémon — il a trouvé la restriction d'une seule pression inefficace.

Plutôt que d'accepter la contrainte, il a utilisé la capacité define_tool pour écrire un outil personnalisé appelé press_sequence, car les outils personnalisés n'ont pas la restriction d'entrée mixte pour les pressions de boutons.

Ce script lui a permis de traiter par lots les séquences d'entrée localement, écrivant ainsi son propre pilote pour contourner les restrictions du harnais afin d'améliorer son efficacité via l'astuce intentionnelle astucieuse. L'agent 3.0 a traité les contraintes du harnais comme des problèmes d'ingénierie à résoudre, et non comme des lois immuables.

Avantage multimodal

Dans la 8e Arène, la solution consiste à faire tomber des rochers d'un étage supérieur pour tracer un chemin à travers un étage composé de lave. Le changement d'état de l'étage inférieur est difficile à suivre en se basant uniquement sur les données RAM du harnais, car il n'y a aucune mention des rochers tombés dans les données.

Gemini 3 Pro a utilisé le flux visuel pour identifier les rochers tombés et se sortir d'une boucle dans laquelle il était coincé, supposant que le puzzle n'était pas encore résolu (un fait aggravé par les rochers leurres restant au deuxième niveau). Il a ignoré les données d'état potentiellement déroutantes et s'est appuyé sur la capture d'écran pour identifier les positions des rochers, corrigeant sa stratégie sur la base de preuves visuelles. Cette capacité à changer de modalité de données — de l'inspection RAM à la vision brute — a aidé l'agent 3.0 à échapper à un état de « blocage » qui le faisait tourner en boucle pendant des heures.

Également remarquable était la capacité de l'agent 3.0 à « lire » la barre de vie des adversaires. Cette information, extrêmement importante pour comprendre le meilleur mouvement à faire dans un combat, n'est pas fournie par l'état RAM, et doit être déduite par l'agent à partir de l'écran. L'agent 3.0 a pu estimer assez précisément la fraction de vie restante pendant le combat contre Red, un fait qui a probablement contribué à son succès.

Efficacité au combat et gestion d'état

L'écart d'efficacité et l'amélioration des performances de raisonnement au combat ont été extrêmement significatifs dans la victoire de Gemini 3 Pro. Gemini 2.5 Pro a perdu deux fois contre le leader de la 3e Arène (Whitney) en raison de capacités de stratégie plus faibles et, par conséquent, a passé un temps excessif à monter de niveau bien au-delà de ce qui était nécessaire pour obtenir le 3e badge.

Gemini 3 Pro a terminé tout le jeu, y compris le combat final contre le boss caché Red, sans une seule défaite.

Il a démontré un raisonnement tactique supérieur, effectuant des calculs de dégâts en direct pour optimiser la sélection des mouvements. Par exemple, il a correctement choisi Swift plutôt que Flamethrower après avoir reconnu que le Snorlax adverse avait augmenté sa Défense Spéciale, et a également pris en compte des calculs basés sur la météo (la pluie réduit les dégâts de feu). Lors de l'enchaînement du Conseil des Quatre, il a géré la conservation des points de vie de manière proactive, utilisant des objets pour remplir la santé entre les rounds — un comportement que 2.5 Pro a historiquement du mal à prioriser par rapport aux mouvements de combat immédiats.

Limitations actuelles

Malgré le bond en performances, Gemini 3 Pro n'est pas sans défauts.

• Hypothèses sans vérification : Le plus grand mode d'échec observé était de formuler une hypothèse et de refuser de la tester. Dans un cas, l'agent 3.0 a supposé que l'interface radio fonctionnait comme un menu standard (Gauche/Droite) plutôt que comme un cadran visuel (Haut/Bas), ignorant les indices visuels et perdant des heures dans une boucle. Dans un autre cas, l'agent 3.0 a passé beaucoup de temps à tester des théories de plus en plus compliquées sur un puzzle de porte verrouillée, sans parler aux PNJ donneurs d'indices à proximité.
• Planification proactive : Bien que les tactiques réactives soient solides, la gestion proactive des objectifs reste incohérente. L'agent 3.0 identifie souvent un besoin stratégique (par exemple, « changer l'ordre des Pokémon ») mais ne parvient pas à l'exécuter jusqu'à ce que le combat ait déjà commencé.
• Exécutions à blanc : Il y a de nombreux cas où l'agent 3.0 a appelé un outil mais a fait une erreur avec le paramètre d'appel, résultant en une exécution à blanc. Cependant, contrairement à l'agent 2.5, il reconnaît généralement cette erreur et se corrige au tour suivant.
• Planification parallèle : L'agent 3.0 a du mal à planifier l'exécution simultanée de plusieurs objectifs majeurs pour des gains d'efficacité, préférant plutôt résoudre les tâches une par une, même s'il serait possible de progresser sur plusieurs objectifs en même temps.

L'essentiel

Dans cette course, Gemini 3 Pro est allé au-delà du simple suivi d'instructions et a démontré un véritable raisonnement spatial, une création d'outils improvisée et une approche « scientifique » de la vérification d'hypothèses.

Cette capacité de raisonnement s'est directement traduite en efficacité. Gemini 3 Pro a terminé la course en 17 jours en utilisant 1,88 milliard de tokens. Sur la base de l'étape du Badge Minéral, on estime que Gemini 2.5 Pro nécessiterait 69 jours et plus de 15 milliards de tokens pour obtenir le même résultat.

Pour commencer à construire vos propres agents autonomes, consultez la documentation de Gemini 3 pour les détails d'implémentation technique.