Gemini 3 Pro fue el ganador de la carrera, obteniendo 16 medallas, derrotando al Alto Mando y al Campeón, y venciendo al jefe oculto Red en aproximadamente la mitad de los tokens y turnos que le tomó a Gemini 2.5 Pro conseguir solo cuatro medallas. Esta carrera completamente autónoma cabeza a cabeza en Pokémon Crystal fue realizada por Joel Zhang (@TheCodeOfJoel) de la ARISE Foundation (y transmitida en Twitch). Su detallada entrada de blog comparando los modelos reveló múltiples diferencias fascinantes en su comportamiento; en general, Gemini 3 Pro es al menos 2 veces más rápido que Gemini 2.5 Pro en completar Crystal, y si extrapolamos, una estimación más precisa sugiere que el modelo anterior es alrededor de 8 veces más lento.
La tasa de finalización de Gemini 3 Pro comparada con Gemini 2.5 Pro. Crédito: Joel Zhang
Esto culminó en la batalla final contra Red. Enfrentando una desventaja de nivel, el agente 3.0 ideó una estrategia compleja de múltiples etapas que denominó "Operation Zombie Phoenix", combinando recuperación pasiva, reducción de estadísticas, agotamiento de recursos y un "bucle de reanimación" para asegurar la victoria en una maratónica batalla de 7 horas.
0:52
La victoria sobre Red. Crédito: Joel Zhang
Un prompt de científico de IA
La configuración del harness para esta carrera fue idéntica en ambos agentes para garantizar una comparación justa. En particular, no se les indicó a los agentes que "completaran el juego lo más rápido posible", sino que emplearan el método científico y no asumieran que su conocimiento previo sobre el juego era correcto. La función notepad no estructurada permitió a los agentes registrar hipótesis y probar ideas, manteniendo un registro de su juego.
Esta filosofía está en línea con la flexibilidad del harness que permitió a los agentes diseñar sus propias herramientas de código y subagentes dentro del mismo. En cierto sentido, esta carrera también puso a prueba la rapidez con la que los agentes podían adaptarse a su entorno y construir una configuración funcional para tener éxito en el mundo de Pokémon Crystal.
Descartando las "rueditas de entrenamiento"
Gemini 3 Pro muestra una mayor probabilidad de confiar en sus herramientas. Cuando una acción falla, reevalúa el entorno en lugar del código. Esta conciencia llevó a un comportamiento fascinante con respecto a las restricciones del harness.
El harness impone un manejo estricto de las entradas, prohibiendo "entradas de botones mixtas" (por ejemplo, presionar A y Arriba en secuencia) para mantener estable a 2.5 Pro y evitar desincronizaciones del emulador. Cuando Gemini 3 Pro se encontró con una situación que requería secuencias de entrada complejas (específicamente, poner apodo a un Pokémon), consideró ineficiente la restricción de un solo botón.
En lugar de aceptar la limitación, utilizó la capacidad define_tool para escribir una herramienta personalizada llamada press_sequence, ya que las herramientas personalizadas carecen de la restricción de entrada mixta para las pulsaciones de botones.
Este script le permitió procesar secuencias de entrada por lotes localmente, escribiendo efectivamente su propio controlador para eludir las restricciones del harness y mejorar su eficiencia mediante un inteligente vacío legal previsto. El agente 3.0 trató las restricciones del harness como problemas de ingeniería a resolver, no como leyes inmutables.
Ventaja multimodal
En el 8º Gimnasio, la solución requiere dejar caer rocas desde un piso superior para trazar un camino a través de un piso de lava. El cambio de estado del piso inferior es difícil de rastrear basándose solo en los datos de RAM del harness, ya que no hay menciones de rocas caídas en los datos.
Gemini 3 Pro utilizó el feed visual para identificar las rocas caídas y despegarse de un bucle en el que había caído, asumiendo que el rompecabezas aún no estaba resuelto (un hecho agravado por las rocas señuelo que permanecían en el segundo nivel). Ignoró los datos de estado potencialmente confusos y se basó en la captura de pantalla para identificar las posiciones de las rocas, corrigiendo su estrategia basándose en evidencia visual. Esta capacidad de cambiar entre modalidades de datos (de inspección de RAM a visión directa) ayudó al agente 3.0 a escapar de un estado de "atasco" que lo había dejado en un bucle durante horas.
También fue notable la capacidad del agente 3.0 para "leer" la barra de salud de los oponentes. Esta información, increíblemente significativa para entender el movimiento óptimo en una batalla, no la proporciona el estado de la RAM, y debe deducirse de la pantalla. El agente 3.0 pudo estimar con bastante precisión la fracción de salud restante durante la batalla contra Red, un hecho que probablemente contribuyó a su éxito.
Eficiencia en batalla y gestión de estado
La brecha de eficiencia y el rendimiento mejorado en el razonamiento de batalla fueron extremadamente significativos en la victoria de Gemini 3 Pro. Gemini 2.5 Pro perdió dos veces contra el líder del 3er Gimnasio (Whitney) debido a capacidades de estrategia más pobres y, como resultado, pasó una cantidad excesiva de tiempo subiendo de nivel mucho más allá de lo necesario para obtener la 3ª medalla.
Gemini 3 Pro completó todo el juego, incluyendo la batalla final contra el jefe oculto Red, sin una sola derrota.
Demostró un razonamiento táctico superior, realizando cálculos de daño en vivo para optimizar la selección de movimientos. Por ejemplo, eligió correctamente Swift sobre Flamethrower después de reconocer que el Snorlax del oponente había aumentado su Defensa Especial, y también consideró cálculos basados en el clima (la lluvia reduce el daño de fuego). Durante el recorrido del Alto Mando, gestionó la conservación de puntos de vida de forma proactiva, usando objetos para mantener la salud al máximo entre rondas, un comportamiento que 2.5 Pro históricamente tiene dificultades para priorizar sobre los movimientos de combate inmediatos.
Limitaciones actuales
A pesar del salto en rendimiento, Gemini 3 Pro no está exento de fallos.
- Suposiciones sin verificación: El mayor modo de fallo observado fue formar una hipótesis y negarse a probarla. En una ocasión, el agente 3.0 asumió que la interfaz de radio funcionaba como un menú estándar (Izquierda/Derecha) en lugar de un dial visual (Arriba/Abajo), ignorando las señales visuales y perdiendo horas en un bucle. En otro caso, el agente 3.0 pasó mucho tiempo probando teorías cada vez más complicadas sobre un rompecabezas de puerta cerrada, sin hablar con los NPC cercanos que daban pistas.
- Planificación proactiva: Aunque las tácticas reactivas son sólidas, la gestión proactiva de objetivos sigue siendo inconsistente. El agente 3.0 a menudo identifica una necesidad estratégica (por ejemplo, "cambiar el orden de los Pokémon") pero no logra ejecutarla hasta que la batalla ya ha comenzado.
- Ejecuciones en vacío: Hay muchos casos en los que el agente 3.0 llamó a una herramienta pero cometió un error con el parámetro de la llamada, resultando en una ejecución en vacío. Sin embargo, a diferencia del agente 2.5, normalmente reconoce este error y se autocorrige en el turno siguiente.
- Planificación en paralelo: Al agente 3.0 le cuesta planificar la ejecución de múltiples objetivos grandes en paralelo para ganar eficiencia, prefiriendo resolver las tareas una por una, incluso si fuera posible avanzar en varios objetivos simultáneamente.
Conclusión
En esta carrera, Gemini 3 Pro fue más allá del simple seguimiento de instrucciones y demostró un genuino razonamiento espacial, creación improvisada de herramientas y un enfoque "científico" para la prueba de hipótesis.
Esta capacidad de razonamiento se tradujo directamente en eficiencia. Gemini 3 Pro completó la carrera en 17 días usando 1.88 mil millones de tokens. Basándose en el hito de la Medalla Mineral, se proyecta que Gemini 2.5 Pro requeriría 69 días y más de 15 mil millones de tokens para lograr el mismo resultado.
Para empezar a construir tus propios agentes autónomos, consulta la documentación de Gemini 3 para obtener detalles de implementación técnica.
