Gemini 3 Pro はレースの勝者となり、16 個のバッジを獲得し、四天王とチャンピオンを倒し、隠しボスのレッドを倒す までのトークン数とターン数が、Gemini 2.5 Pro がわずか 4 個のバッジを獲得するのにかかった数の約半分でした。この ポケットモンスター クリスタルにおける完全自律型の一騎打ちレース は、ARISE Foundation の Joel Zhang (@TheCodeOfJoel) によって実施され（Twitch で配信されました）。彼の詳細な ブログ記事 では、両モデルの挙動における数多くの魅力的な違いが明らかにされています。全体的に、Gemini 3 Pro は Gemini 2.5 Pro よりもクリスタルのクリア速度が少なくとも 2 倍速く、外挿すると、旧モデルは約 8 倍遅いという、より正確な推定値が得られます。
Gemini 3 Pro と Gemini 2.5 Pro のクリア速度の比較。クレジット: Joel Zhang
このレースは、レッドとの最終決戦で頂点に達しました。レベルの不利に直面した 3.0 エージェントは、「オペレーション・ゾンビ・フェニックス」と名付けた複雑な多段階戦略を考案し、受動的な回復、能力低下、リソース枯渇、「リバイブループ」を組み合わせて、7 時間に及ぶマラソン戦を制しました。
0:52
レッド戦での勝利。クレジット: Joel Zhang
AI 科学者プロンプト
このレースのハーネス設定は、公正な比較を確保するために、両エージェントで同一でした。注目すべき点として、エージェントには「できるだけ早くゲームをクリアする」ように指示されたのではなく、科学的方法を採用し、ゲームに関する事前知識が正しいと仮定しないように指示されました。構造化されていない メモ帳 機能により、エージェントは仮説を記録し、アイデアをテストしながら、ゲームプレイを追跡することができました。
この哲学は、エージェントがハーネス内で独自の コードツール や サブエージェント を設計できるようにするハーネスの柔軟性と一致しています。ある意味で、このレースは、エージェントが環境に適応し、ポケットモンスター クリスタルの世界で成功するための動作環境を構築する速さもテストしました。
「補助輪」を外す
Gemini 3 Pro は、自身のツールを信頼する傾向が高いです。アクションが失敗した場合、コードベースではなく環境を再評価します。この認識が、ハーネスの制限に関する興味深い挙動につながりました。
ハーネスは厳格な入力処理を強制し、2.5 Pro を安定させ、エミュレータの同期ずれを防ぐために「複合ボタン入力」（例：A と上を順に押す）を禁止しています。Gemini 3 Pro が複雑な入力シーケンスを必要とする状況—具体的にはポケモンにニックネームを付けること—に遭遇したとき、単一キー押下の制限が非効率的であると判断しました。
制約を受け入れる代わりに、define_tool 機能を利用して、press_sequence というカスタムツールを作成しました。カスタムツールには、ボタン押下に対する複合入力の制限がないためです。
このスクリプトにより、入力シーケンスをローカルでバッチ処理できるようになり、事実上、自身のドライバを記述してハーネスの制限を回避し、巧妙に意図された抜け穴を介して効率を向上させました。3.0 エージェントは、ハーネスの制約を不変の法則としてではなく、解決すべきエンジニアリングの問題として扱いました。
マルチモーダルの利点
8番目のジムでは、上の階から岩を落として、溶岩でできた床の上に道を作るという解決策が必要です。下の階の状態変化は、ハーネスからの RAM データだけでは追跡が困難です。なぜなら、データに落下した岩に関する記述がないからです。
Gemini 3 Pro は、視覚フィードを利用して落下した岩を特定し、パズルがまだ解かれていないと仮定して陥ったループから脱出しました（この事実は、第 2 階層に残ったおとりの岩によって悪化しました）。混乱を招く可能性のある状態データを無視し、スクリーンショットに依存して岩の位置を特定し、視覚的な証拠に基づいて戦略を修正しました。RAM 検査から生の視覚へとデータモダリティを切り替えるこの能力は、3.0 エージェントが何時間もループしていた「スタック」状態から抜け出すのに役立ちました。
また、注目すべきは、3.0 エージェントが対戦相手の HP バーを「読み取る」能力です。戦闘で最適な行動を理解するために非常に重要なこの情報は、RAM の状態からは提供されず、エージェントが画面から推測する必要があります。3.0 エージェントは、レッドとの戦闘中に残り HP の割合を非常に正確に推定することができ、このことが成功に貢献した可能性があります。
戦闘効率と状態管理
効率の差と戦闘推論能力の向上は、Gemini 3 Pro の勝利において非常に重要でした。Gemini 2.5 Pro は、戦略立案能力の低さにより、3人目のジムリーダー（アカネ）に 2 回敗れ、その結果、3 つ目のバッジを獲得するのに必要以上の時間をレベル上げに費やしました。
Gemini 3 Pro は、レッドとの最終隠しボス戦を含め、ゲーム全体を一度の敗北もなくクリアしました。
優れた戦術的推論力を示し、ライブでダメージ計算を行って技の選択を最適化しました。例えば、相手のカビゴンが特防を上げたことを認識した後、スウィフトを正しく選択し、天候に基づく計算も考慮しました（雨は炎技のダメージを減少させる）。四天王との連戦では、HP の温存を積極的に管理し、ラウンド間でアイテムを使用して HP を補充しました。これは、2.5 Pro が即時の戦闘行動よりも優先するのが歴史的に苦手とする挙動です。
現在の制限事項
パフォーマンスの飛躍的な向上にもかかわらず、Gemini 3 Pro にも欠点はあります。
- 検証なき仮定： 観測された最大の失敗モードは、仮説を立ててそれをテストすることを拒否することです。ある事例では、3.0 エージェントは、ラジオのインターフェースがビジュアルダイヤル（上/下）ではなく標準メニュー（左/右）のように機能すると仮定し、視覚的な手がかりを無視して何時間もループに費やしました。別の事例では、3.0 エージェントは、施錠されたドアのパズルについてますます複雑化する理論をテストするのに長い時間を費やし、近くにいるヒントを与える NPC に話しかけることができませんでした。
- 事前計画： 反応的な戦術は強力ですが、事前の目標管理には一貫性がありません。3.0 エージェントは、戦略的な必要性（例：「ポケモンの順番を入れ替える」）を特定しても、戦闘が始まるまでそれを実行できないことがよくあります。
- 空振り： 3.0 エージェントがツールを呼び出したが、ツール呼び出しのパラメータを間違え、結果的に空振りになるインスタンスが多数あります。しかし、2.5 エージェントとは異なり、通常はこの間違いを認識し、次のターンで自己修正します。
- 並列計画： 3.0 エージェントは、効率化のために複数の大きな目標を並行して計画して実行することが非常に苦手で、たとえ複数の目標で同時に進捗を生み出すことが可能であっても、一度に一つのタスクを解決することを好みます。
まとめ
このレースで、Gemini 3 Pro は単なる指示の追従を超え、真の空間推論、即興のツール作成、そして仮説検証への「科学的」アプローチを示しました。
この推論能力は、効率性に直接的に現れました。Gemini 3 Pro は、17 日間で 18.8 億トークンを使用して走行を完了しました。ミネラルバッジのマイルストーンに基づくと、Gemini 2.5 Pro は同じ結果を達成するために 69 日間と 150 億トークン以上を必要とすると予測されます。
独自の自律エージェントの構築を始めるには、技術的な実装の詳細について Gemini 3 ドキュメント を参照してください。
