Gemini 3 Pro è stato il vincitore della gara, ottenendo 16 medaglie, sconfiggendo il Superquattro e il Campione, e sconfiggendo il boss nascosto Rosso in circa la metà dei token e delle mosse impiegati da Gemini 2.5 Pro per ottenere solo quattro medaglie. Questa gara testa a testa completamente autonoma in Pokémon Cristallo è stata condotta da Joel Zhang (@TheCodeOfJoel) della ARISE Foundation (e trasmessa in streaming su Twitch). Il suo dettagliato articolo del blog che confronta i modelli ha rivelato molteplici differenze affascinanti nel loro comportamento; nel complesso, Gemini 3 Pro è almeno 2 volte più veloce di Gemini 2.5 Pro nel completare Cristallo e, se estrapoliamo, una stima più accurata suggerisce che il modello precedente è circa 8 volte più lento.
Il tasso di completamento di Gemini 3 Pro rispetto a Gemini 2.5 Pro. Crediti: Joel Zhang
Questo è culminato nella battaglia finale contro Rosso. Affrontando uno svantaggio di livello, l'agente 3.0 ha ideato una strategia complessa in più fasi che ha chiamato "Operazione Fenice Zombie", combinando recupero passivo, riduzione delle statistiche, esaurimento delle risorse e un "ciclo di rianimazione" per assicurarsi la vittoria in una battaglia maratona di 7 ore.
0:52
La vittoria su Rosso. Crediti: Joel Zhang
Un prompt da scienziato per l'IA
La configurazione di base per questa gara era identica per i due agenti per garantire un confronto equo. È interessante notare che agli agenti non è stato chiesto di "completare il gioco il più velocemente possibile", ma di impiegare il metodo scientifico e di non dare per scontato che le loro conoscenze pregresse sul gioco fossero corrette. La funzione blocco note non strutturata permetteva agli agenti di registrare ipotesi e testare idee, tenendo traccia del loro gameplay.
Questa filosofia è in linea con la flessibilità dell'impalcatura che consentiva agli agenti di progettare i propri strumenti di codice e sotto-agenti al suo interno. In un certo senso, questa gara ha anche testato la velocità con cui gli agenti potevano adattarsi al loro ambiente e costruire un setup funzionante per avere successo nel mondo di Pokémon Cristallo.
Buttare via le "rotelle di supporto"
Gemini 3 Pro mostra una maggiore propensione a fidarsi dei propri strumenti. Quando un'azione fallisce, rivaluta l'ambiente piuttosto che la base di codice. Questa consapevolezza ha portato a un comportamento affascinante riguardo alle restrizioni dell'impalcatura.
L'impalcatura impone una gestione rigorosa degli input, vietando "input misti di pulsanti" (ad esempio, premere A e Su in sequenza) per mantenere stabile 2.5 Pro e prevenire desincronizzazioni dell'emulatore. Quando Gemini 3 Pro si è trovato di fronte a una situazione che richiedeva sequenze di input complesse—in particolare per rinominare un Pokémon—ha giudicato inefficiente la restrizione della singola pressione.
Invece di accettare il vincolo, ha utilizzato la capacità define_tool per scrivere uno strumento personalizzato chiamato press_sequence, poiché gli strumenti personalizzati non hanno la restrizione di input misti per la pressione dei pulsanti.
Questo script gli ha permesso di raggruppare le sequenze di input localmente, scrivendo di fatto il proprio driver per aggirare le restrizioni dell'impalcatura e migliorare la sua efficienza sfruttando un'astuta scappatoia intenzionale. L'agente 3.0 ha trattato i vincoli dell'impalcatura come problemi di ingegneria da risolvere, non come leggi immutabili.
Vantaggio multimodale
Nell'8° Palestra, la soluzione richiede di far cadere massi da un piano superiore per tracciare un percorso attraverso un pavimento fatto di lava. Il cambiamento di stato per il pavimento inferiore è difficile da monitorare basandosi solo sui dati della RAM dall'impalcatura poiché non ci sono menzioni di massi caduti nei dati.
Gemini 3 Pro ha utilizzato il flusso visivo per identificare i massi caduti e sbloccarsi da un ciclo in cui era finito, presumendo che il puzzle non fosse ancora risolto (un fatto aggravato dai massi esca che rimanevano sul secondo livello). Ha ignorato i dati di stato potenzialmente confusi e si è affidato allo screenshot per identificare le posizioni dei massi, correggendo la sua strategia in base alle prove visive. Questa capacità di cambiare modalità di dati—dall'ispezione della RAM alla visione diretta—ha aiutato l'agente 3.0 a uscire da uno stato di "blocco" che lo aveva fatto rimanere in un loop per ore.
È stata notevole anche la capacità dell'agente 3.0 di "leggere" la barra della salute degli avversari. Questa informazione, estremamente significativa per capire la mossa ottimale da fare in una battaglia, non viene fornita dallo stato della RAM e deve essere dedotta dall'agente dallo schermo. L'agente 3.0 è stato in grado di stimare in modo abbastanza accurato la frazione di salute rimanente durante la battaglia con Rosso, un fattore che ha probabilmente contribuito al suo successo.
Efficienza in battaglia e gestione dello stato
Il divario di efficienza e le migliori prestazioni di ragionamento in battaglia sono stati estremamente significativi per la vittoria di Gemini 3 Pro. Gemini 2.5 Pro ha perso due volte contro il Capopalestra della 3ª Palestra (Chiara) a causa di capacità di strategia inferiori e, di conseguenza, ha speso una quantità eccessiva di tempo a far salire di livello il suo Pokémon ben oltre quanto necessario per ottenere la 3ª medaglia.
Gemini 3 Pro ha completato l'intero gioco, inclusa la battaglia finale contro il boss nascosto Rosso, senza una singola sconfitta.
Ha dimostrato un ragionamento tattico superiore, eseguendo calcoli dei danni in tempo reale per ottimizzare la scelta della mossa. Ad esempio, ha scelto correttamente Velo Baleno invece di Lanciafiamme dopo aver riconosciuto che il Ronflex avversario aveva aumentato la sua Difesa Speciale, e ha anche tenuto conto dei calcoli basati sul meteo (la pioggia riduce il danno del fuoco). Durante la serie di combattimenti del Superquattro, ha gestito la conservazione dei punti salute in modo proattivo, usando oggetti per rifornire la salute tra un round e l'altro—un comportamento che 2.5 Pro storicamente fa fatica a dare priorità rispetto alle mosse di combattimento immediate.
Limitazioni attuali
Nonostante il balzo in avanti nelle prestazioni, Gemini 3 Pro non è esente da difetti.
- Presupposti senza verifica: La modalità di fallimento più grande osservata è stata quella di formulare un'ipotesi e rifiutarsi di testarla. In un'occasione, l'agente 3.0 ha presunto che l'interfaccia radio funzionasse come un menu standard (Sinistra/Destra) piuttosto che come un dial visivo (Su/Giù), ignorando i segnali visivi e sprecando ore in un ciclo. In un altro caso, l'agente 3.0 ha passato molto tempo a testare teorie sempre più complicate su un puzzle di una porta bloccata, senza riuscire a parlare con i PNG vicini che fornivano indizi.
- Pianificazione proattiva: Mentre le tattiche reattive sono forti, la gestione proattiva degli obiettivi rimane incoerente. L'agente 3.0 spesso identifica un'esigenza strategica (ad esempio, "cambiare l'ordine dei Pokémon") ma non riesce a eseguirla fino a quando la battaglia non è già iniziata.
- Esecuzioni a vuoto: Ci sono molti casi in cui l'agente 3.0 ha invocato uno strumento ma ha commesso un errore con il parametro di invocazione, risultando in un'esecuzione a vuoto. Tuttavia, a differenza dell'agente 2.5, in genere riconosce questo errore e si autocorregge nella mossa successiva.
- Pianificazione parallela: L'agente 3.0 ha difficoltà a pianificare l'esecuzione parallela di più obiettivi di grandi dimensioni per guadagni di efficienza, preferendo invece risolvere i compiti uno alla volta, anche se sarebbe possibile fare progressi su più obiettivi contemporaneamente.
Il punto fondamentale
In questa gara, Gemini 3 Pro è andato oltre il semplice seguire le istruzioni e ha dimostrato un genuino ragionamento spaziale, la creazione improvvisata di strumenti e un approccio "scientifico" alla verifica delle ipotesi.
Questa capacità di ragionamento si è tradotta direttamente in efficienza. Gemini 3 Pro ha completato la corsa in 17 giorni utilizzando 1,88 miliardi di token. Basandosi sulla tappa della Medaglia Minerale, si prevede che Gemini 2.5 Pro impiegherà 69 giorni e oltre 15 miliardi di token per ottenere lo stesso risultato.
Per iniziare a costruire i tuoi agenti autonomi, consulta la documentazione di Gemini 3 per i dettagli tecnici di implementazione.
