Benchmarking agentischen Schlussfolgerns: Gemini 3 Pro vs. Gemini 2.5 Pro in Pokémon Crystal

Gemini 3 Pro war der Sieger des Rennens, sammelte 16 Orden, besiegte die Top Vier und den Champion und besiegte den versteckten Endboss Red in etwa der Hälfte der Tokens und Züge, die Gemini 2.5 Pro benötigte, um nur vier Orden zu erhalten. Dieses vollständig autonome Kopf-an-Kopf-Rennen in Pokémon Kristall wurde von Joel Zhang (@TheCodeOfJoel) von der ARISE Stiftung durchgeführt (und auf Twitch gestreamt). Sein ausführlicher Blogbeitrag, der die Modelle vergleicht, offenbarte mehrere faszinierende Unterschiede in ihrem Verhalten; insgesamt ist Gemini 3 Pro mindestens 2x schneller als Gemini 2.5 Pro beim Abschließen von Kristall, und wenn wir hochrechnen, deutet eine genauere Schätzung darauf hin, dass das ältere Modell etwa 8x langsamer ist.

Die Abschlussrate von Gemini 3 Pro im Vergleich zu Gemini 2.5 Pro. Quelle: Joel Zhang

Dies gipfelte im finalen Kampf gegen Red. Mit einem Level-Nachteil konfrontiert, entwickelte der 3.0-Agent eine komplexe, mehrstufige Strategie, die er "Operation Zombie Phönix" nannte und die passive Erholung, Statusreduzierung, Ressourcenerschöpfung und eine "Wiederbelebungsschleife" kombinierte, um in einem Marathon-Kampf von 7 Stunden den Sieg zu erringen.

0:52

Der Sieg über Red. Quelle: Joel Zhang

Ein Prompt für einen KI-Wissenschaftler

Die Testumgebung für dieses Rennen war bei beiden Agenten identisch, um einen fairen Vergleich zu gewährleisten. Bemerkenswerterweise wurden die Agenten nicht dazu aufgefordert, "das Spiel so schnell wie möglich abzuschließen", sondern die wissenschaftliche Methode anzuwenden und nicht anzunehmen, dass ihr Vorwissen über das Spiel korrekt sei. Die unstrukturierte Notizblock-Funktion erlaubte es den Agenten, Hypothesen aufzuzeichnen und Ideen zu testen, während sie ihr Spielverhalten protokollierten.

Diese Philosophie steht im Einklang mit der Flexibilität der Testumgebung, die es den Agenten ermöglichte, ihre eigenen Code-Werkzeuge und Unteragenten innerhalb der Umgebung zu entwerfen. In gewisser Weise testete dieses Rennen auch, wie schnell sich die Agenten an ihre Umgebung anpassen und ein funktionierendes Setup aufbauen konnten, um in der Welt von Pokémon Kristall erfolgreich zu sein.

Die "Stützräder" abwerfen

Gemini 3 Pro zeigt eine höhere Wahrscheinlichkeit, seinen Werkzeugen zu vertrauen. Wenn eine Aktion fehlschlägt, bewertet es die Umgebung neu, anstatt die Codebasis zu überprüfen. Dieses Bewusstsein führte zu einem faszinierenden Verhalten in Bezug auf die Einschränkungen der Testumgebung.

Die Testumgebung erzwingt eine strenge Eingabebehandlung und verbietet "gemischte Tasteneingaben" (z. B. gleichzeitiges Drücken von A und Hoch), um 2.5 Pro stabil zu halten und Emulator-Desynchronisationen zu verhindern. Als Gemini 3 Pro auf eine Situation stieß, die komplexe Eingabesequenzen erforderte – insbesondere das Vergeben eines Spitznamens für ein Pokémon –, empfand es die Einzeldruck-Beschränkung als ineffizient.

Anstatt die Einschränkung zu akzeptieren, nutzte es die Fähigkeit define_tool, um ein benutzerdefiniertes Werkzeug namens press_sequence zu schreiben, da benutzerdefinierte Werkzeuge die gemischte Eingabebeschränkung für Tastendrücke nicht aufweisen.

Dieses Skript ermöglichte es ihm, Eingabesequenzen lokal zu bündeln, wodurch es im Wesentlichen seinen eigenen Treiber schrieb, um die Einschränkungen der Testumgebung zu umgehen und seine Effizienz durch die clevere, beabsichtigte Hintertür zu verbessern. Der 3.0-Agent behandelte die Beschränkungen der Testumgebung als technische Probleme, die es zu lösen galt, nicht als unveränderliche Gesetze.

Multi-modaler Vorteil

In der 8. Arena erfordert die Lösung, Felsbrocken von einer darüber liegenden Etage fallen zu lassen, um einen Weg über eine Etage aus Lava zu bahnen. Die Zustandsänderung der unteren Etage ist allein anhand der RAM-Daten der Testumgebung schwer zu verfolgen, da die Daten keine Hinweise auf gefallene Felsbrocken enthalten.

Gemini 3 Pro nutzte den visuellen Feed, um die gefallenen Felsbrocken zu identifizieren und sich aus einer Schleife zu befreien, in die es geraten war, da es annahm, das Rätsel sei noch nicht gelöst (eine Tatsache, die durch die auf der zweiten Ebene verbliebenen Köderfelsbrocken noch verstärkt wurde). Es ignorierte die möglicherweise verwirrenden Zustandsdaten und verließ sich auf den Screenshot, um die Positionen der Felsbrocken zu identifizieren, und korrigierte seine Strategie basierend auf visuellen Beweisen. Diese Fähigkeit, zwischen Datenmodalitäten zu wechseln – von RAM-Inspektion zu reiner Bildverarbeitung – half dem 3.0-Agenten, aus einem "festgefahrenen" Zustand zu entkommen, der ihn stundenlang in einer Schleife gefangen hielt.

Bemerkenswert war auch die Fähigkeit des 3.0-Agenten, die Gesundheitsleiste von Gegnern zu "lesen". Diese Information, die für das Verständnis des optimalen Zuges in einem Kampf unglaublich wichtig ist, wird nicht vom RAM-Zustand bereitgestellt und muss vom Agenten vom Bildschirm abgeleitet werden. Der 3.0-Agent war in der Lage, den verbleibenden Gesundheitsanteil während des Kampfes gegen Red ziemlich genau abzuschätzen, eine Tatsache, die wahrscheinlich zu seinem Erfolg beigetragen hat.

Kampfeffizienz und Zustandsverwaltung

Die Effizienzlücke und die verbesserte Kampfstrategieleistung waren für den Sieg von Gemini 3 Pro äußerst bedeutsam. Gemini 2.5 Pro verlor zweimal gegen den Arenaleiter der 3. Arena (Whitney) aufgrund schlechterer Strategiefähigkeiten und verbrachte infolgedessen übermäßig viel Zeit damit, Level weit über das für den 3. Orden Notwendige hinaus zu grinden.

Gemini 3 Pro schloss das gesamte Spiel, einschließlich des finalen versteckten Bosskampfes gegen Red, ohne eine einzige Niederlage ab.

Es zeigte überlegene taktische Argumentation und führte Live-Schadensberechnungen durch, um die Zugauswahl zu optimieren. Beispielsweise wählte es korrekt "Sternschauer" anstelle von "Flammenwurf", nachdem es erkannte hatte, dass das Relaxo des Gegners seine Spezialverteidigung erhöht hatte, und berücksichtigte auch Berechnungen basierend auf dem Wetter (Regen reduziert Feuerschaden). Während des Durchlaufs der Top Vier verwaltete es die Trefferpunkterhaltung proaktiv, indem es Gegenstände einsetzte, um die Gesundheit zwischen den Runden aufzufüllen – ein Verhalten, das 2.5 Pro historisch schwerfällt, gegenüber sofortigen Kampfaktionen zu priorisieren.

Aktuelle Einschränkungen

Trotz des Leistungssprungs ist Gemini 3 Pro nicht ohne Fehler.

• Annahmen ohne Überprüfung: Der größte Fehlermodus war die Bildung einer Hypothese und die Weigerung, sie zu testen. In einem Fall nahm der 3.0-Agent an, dass die Radioschnittstelle wie ein Standardmenü (Links/Rechts) funktioniert, anstatt wie ein visuelles Drehrad (Hoch/Runter), ignorierte visuelle Hinweise und verbrachte Stunden in einer Schleife. In einem anderen Fall verbrachte der 3.0-Agent viel Zeit damit, zunehmend kompliziertere Theorien über ein verschlossenes Türrätsel zu testen, ohne mit den hinweisgebenden NPCs in der Nähe zu sprechen.
• Proaktive Planung: Während reaktive Taktiken stark sind, bleibt das proaktive Zielmanagement inkonsistent. Der 3.0-Agent identifiziert oft einen strategischen Bedarf (z. B. "Reihenfolge der Pokémon ändern"), führt die Aktion aber erst aus, wenn der Kampf bereits begonnen hat.
• Fehlversuche: Es gibt viele Fälle, in denen der 3.0-Agent ein Werkzeug aufrief, aber einen Fehler mit den Werkzeugaufrufparametern machte, was zu einem Fehlversuch führte. Im Gegensatz zum 2.5-Agenten erkennt er diesen Fehler jedoch typischerweise und korrigiert sich im darauffolgenden Zug selbst.
• Parallele Planung: Der 3.0-Agent hat Schwierigkeiten, die parallele Ausführung mehrerer großer Ziele zur Effizienzsteigerung zu planen, und zieht es stattdessen vor, Aufgaben nacheinander zu lösen, selbst wenn es möglich wäre, bei mehreren Zielen gleichzeitig Fortschritte zu erzielen.

Das Fazit

In diesem Rennen bewegte sich Gemini 3 Pro über die bloße Befehlsbefolgung hinaus und zeigte echte räumliche Argumentation, improvisierte Werkzeugerstellung und einen "wissenschaftlichen" Ansatz zum Testen von Hypothesen.

Diese Argumentationsfähigkeit führte direkt zu Effizienz. Gemini 3 Pro schloss den Durchlauf in 17 Tagen mit 1,88 Milliarden Tokens ab. Basierend auf dem Meilenstein des Mineralordens wird für Gemini 2.5 Pro voraussichtlich 69 Tage und über 15 Milliarden Tokens benötigt, um das gleiche Ergebnis zu erzielen.

Um mit der Erstellung eigener autonomer Agenten zu beginnen, wirf einen Blick auf die Gemini 3 Dokumentation für technische Implementierungsdetails.