Evaluación comparativa del razonamiento de agentes: Gemini 3 Pro frente a Gemini 2.5 Pro en Pokémon Crystal

Gemini 3 Pro fue el ganador de la carrera, obteniendo 16 medallas, derrotando al Alto Mando y al Campeón, y derrotando al jefe oculto Red en aproximadamente la mitad de los tokens y turnos que le tomó a Gemini 2.5 Pro para obtener solo cuatro medallas. Esta carrera completamente autónoma en Pokémon Crystal fue realizada por Joel Zhang (@TheCodeOfJoel) de la ARISE Foundation (y transmitida en Twitch). Su publicación detallada comparando los modelos reveló múltiples diferencias fascinantes en su comportamiento; en general, Gemini 3 Pro es al menos 2 veces más rápido que Gemini 2.5 Pro para completar Crystal, y si extrapolamos, una estimación más precisa sugiere que el modelo anterior es aproximadamente 8 veces más lento.

La tasa de finalización de Gemini 3 Pro en comparación con Gemini 2.5 Pro. Crédito: Joel Zhang

Esto culminó en la batalla final contra Red. Enfrentando una desventaja de nivel, el agente 3.0 ideó una estrategia compleja de múltiples etapas que denominó "Operation Zombie Phoenix", combinando recuperación pasiva, reducción de estadísticas, agotamiento de recursos y un "bucle de reanimación" para asegurar la victoria en una batalla maratónica de 7 horas.

0:52

La victoria sobre Red. Crédito: Joel Zhang

Un prompt de científico de IA

La configuración del harness para esta carrera fue idéntica en ambos agentes para garantizar una comparación justa. En particular, no se les indicó a los agentes que "completaran el juego lo más rápido posible", sino que emplearan el método científico y no asumieran que su conocimiento previo sobre el juego era correcto. La función notepad no estructurada permitió a los agentes registrar hipótesis y probar ideas, mientras mantenían un registro de su juego.

Esta filosofía está en línea con la flexibilidad del harness que permitió a los agentes diseñar sus propias code tools y sub-agents dentro del mismo. En cierto sentido, esta carrera también puso a prueba la rapidez con la que los agentes podían adaptarse a su entorno y construir una configuración funcional para tener éxito en el mundo de Pokémon Crystal.

Descartando las "rueditas de entrenamiento"

Gemini 3 Pro muestra una mayor probabilidad de confiar en sus herramientas. Cuando una acción falla, reevalúa el entorno en lugar del código fuente. Esta conciencia llevó a un comportamiento fascinante con respecto a las restricciones del harness.

El harness impone un manejo estricto de las entradas, prohibiendo las "entradas de botones mixtas" (por ejemplo, presionar A y Arriba en secuencia) para mantener estable a 2.5 Pro y evitar desincronizaciones del emulador. Cuando Gemini 3 Pro se encontró con una situación que requería secuencias de entrada complejas — específicamente, ponerle un apodo a un Pokémon — consideró ineficiente la restricción de una sola pulsación.

En lugar de aceptar la limitación, utilizó la capacidad define_tool para escribir una herramienta personalizada llamada press_sequence, ya que las herramientas personalizadas no tienen la restricción de entrada mixta para las pulsaciones de botones.

Este script le permitió procesar por lotes secuencias de entrada localmente, escribiendo efectivamente su propio controlador para eludir las restricciones del harness y mejorar su eficiencia a través de un inteligente vacío legal intencionado. El agente 3.0 trató las limitaciones del harness como problemas de ingeniería a resolver, no como leyes inmutables.

Ventaja multimodal

En el 8° Gimnasio, la solución requiere dejar caer rocas desde un piso superior para trazar un camino a través de un piso hecho de lava. El cambio de estado del piso inferior es difícil de rastrear basándose únicamente en los datos de RAM del harness, ya que no hay menciones de rocas caídas en los datos.

Gemini 3 Pro utilizó la alimentación visual para identificar las rocas caídas y salir de un bucle en el que había caído, asumiendo que el rompecabezas aún no estaba resuelto (un hecho agravado por las rocas señuelo que permanecían en el segundo nivel). Ignoró los datos de estado potencialmente confusos y se basó en la captura de pantalla para identificar las posiciones de las rocas, corrigiendo su estrategia basándose en evidencia visual. Esta capacidad de cambiar entre modalidades de datos — de la inspección de RAM a la visión directa — ayudó al agente 3.0 a escapar de un estado de "atasco" que lo había dejado en un bucle durante horas.

También fue notable la capacidad del agente 3.0 para "leer" la barra de salud de los oponentes. Esta información, increíblemente significativa para entender el movimiento óptimo a realizar en una batalla, no la proporciona el estado de la RAM y debe ser deducida por el agente a partir de la pantalla. El agente 3.0 pudo estimar con bastante precisión la fracción de salud restante durante la batalla contra Red, un hecho que probablemente contribuyó a su éxito.

Eficiencia en batalla y gestión de estado

La brecha de eficiencia y el mejor rendimiento en el razonamiento de batalla fueron extremadamente significativos en la victoria de Gemini 3 Pro. Gemini 2.5 Pro perdió dos veces contra el líder del 3er Gimnasio (Whitney) debido a sus capacidades de estrategia más pobres y, como resultado, pasó una cantidad excesiva de tiempo subiendo de nivel mucho más allá de lo necesario para obtener la 3ra medalla.

Gemini 3 Pro completó todo el juego, incluyendo la batalla final contra el jefe oculto Red, sin una sola derrota.

Demostró un razonamiento táctico superior, realizando cálculos de daño en vivo para optimizar la selección de movimientos. Por ejemplo, eligió correctamente Swift sobre Flamethrower después de reconocer que el Snorlax del oponente había aumentado su Defensa Especial, y también consideró cálculos basados en el clima (la lluvia reduce el daño de fuego). Durante la serie del Alto Mando, gestionó la conservación de puntos de vida de manera proactiva, usando objetos para mantener la salud al máximo entre rondas — un comportamiento que 2.5 Pro históricamente tiene dificultades para priorizar sobre los movimientos de combate inmediatos.

Limitaciones actuales

A pesar del salto en rendimiento, Gemini 3 Pro no está exento de fallas.

• Suposiciones sin verificación: El modo de fallo más grande observado fue formar una hipótesis y negarse a probarla. En una instancia, el agente 3.0 asumió que la interfaz de radio funcionaba como un menú estándar (Izquierda/Derecha) en lugar de un dial visual (Arriba/Abajo), ignorando las señales visuales y perdiendo horas en un bucle. En otro caso, el agente 3.0 pasó mucho tiempo probando teorías cada vez más complicadas sobre un rompecabezas de puerta cerrada, sin hablar con los NPC cercanos que daban pistas.
• Planificación proactiva: Si bien las tácticas reactivas son sólidas, la gestión proactiva de objetivos sigue siendo inconsistente. El agente 3.0 a menudo identifica una necesidad estratégica (por ejemplo, "cambiar el orden de los Pokémon") pero no logra ejecutarla hasta que la batalla ya ha comenzado.
• Ejecuciones en seco: Hay muchas instancias en las que el agente 3.0 llamó a una herramienta pero cometió un error con el parámetro de la llamada, lo que resultó en una ejecución en seco. Sin embargo, a diferencia del agente 2.5, normalmente reconoce este error y se autocorrige en el turno siguiente.
• Planificación en paralelo: El agente 3.0 tiene dificultades para planificar la ejecución de múltiples objetivos grandes en paralelo para ganar eficiencia, prefiriendo resolver las tareas una a la vez, incluso si fuera posible avanzar en múltiples objetivos simultáneamente.

La conclusión

En esta carrera, Gemini 3 Pro fue más allá de simplemente seguir instrucciones y demostró un razonamiento espacial genuino, creación improvisada de herramientas y un enfoque "científico" para la prueba de hipótesis.

Esta capacidad de razonamiento se tradujo directamente en eficiencia. Gemini 3 Pro completó la ejecución en 17 días usando 1.88 mil millones de tokens. Basándose en el hito de la Medalla Mineral, se proyecta que Gemini 2.5 Pro requeriría 69 días y más de 15 mil millones de tokens para lograr el mismo resultado.

Para empezar a construir tus propios agentes autónomos, consulta la documentación de Gemini 3 para obtener detalles de implementación técnica.