Agent 推理能力基準測試：Gemini 3 Pro 對決 Gemini 2.5 Pro 在《寶可夢 水晶版》中的表現

Gemini 3 Pro 在這場競賽中勝出，獲得了 16 枚徽章，擊敗了四天王與冠軍，並且擊敗了隱藏頭目 Red，所用的 Token 與回合數大約只有 Gemini 2.5 Pro 獲得四枚徽章時的一半。這場在《寶可夢 水晶版》中進行的完全自主的正面對決，由 ARISE 基金會 (ARISE Foundation) 的 Joel Zhang (@TheCodeOfJoel) 主導（並在 Twitch 上直播）。他詳細的部落格文章在比較兩模型時，揭示了它們行為上的多個顯著差異；整體而言，Gemini 3 Pro 完成《水晶版》的速度至少是 Gemini 2.5 Pro 的 2 倍，而如果進一步推估，更準確的估算顯示舊模型的速度大約慢了 8 倍。

Gemini 3 Pro 與 Gemini 2.5 Pro 的完成速率比較。圖片來源：Joel Zhang

整個競賽的高潮是與 Red 的最終決戰。面對等級劣勢，3.0 Agent 設計了一個複雜的多階段策略，稱之為「殭屍鳳凰行動 (Operation Zombie Phoenix)」，結合了被動恢復、能力降低、資源耗盡以及「復活循環 (revive loop)」，最終在一場歷時 7 小時的馬拉松戰鬥中取得勝利。

0:52

擊敗 Red 的勝利畫面。圖片來源：Joel Zhang

AI 科學家提示詞

為了確保公平比較，這次競賽的操控環境設定在兩個 Agent 之間是完全相同的。值得注意的是，Agent 收到的提示詞並非「以最快速度完成遊戲」，而是要求它們運用科學方法，不要假設自己對遊戲的先備知識是正確的。非結構化的 記事本 (notepad) 功能讓 Agent 能夠記錄假設、測試想法，並同時追蹤自己的遊戲進度。

這個理念與操控環境的靈活性一致，允許 Agent 在環境內設計自己的程式碼工具 (code tools) 和子 Agent (sub-agents)。從某種意義上說，這場競賽也測試了 Agent 能多快適應環境，並建立一套可行的工作體系，以在《寶可夢 水晶版》的世界中取得成功。

拋棄「輔助輪」

Gemini 3 Pro 更傾向於信任自己的工具。當某個動作失敗時，它會重新評估環境，而不是審查程式碼。這種認知帶來了一種關於環境限制的有趣行為。

操控環境強制執行嚴格的輸入處理，禁止「混合按鍵輸入 (mixed button inputs)」（例如依序按下 A 和上），以維持 2.5 Pro 的穩定性並防止模擬器不同步。當 Gemini 3 Pro 遇到需要複雜輸入序列的情況——特別是為寶可夢取名時——它發現單次按壓的限制效率太低。

它並沒有接受這個限制，而是利用 define_tool 功能編寫了一個名為 press_sequence 的自訂工具，因為自訂工具沒有按鍵輸入的混合限制。

這個腳本讓它能批次處理本地的輸入序列，實際上等於為自己編寫了驅動程式，繞過環境限制，並透過這個巧妙的預留漏洞來提升效率。3.0 Agent 將環境的限制視為可以解決的工程問題，而不是不可改變的法則。

多模態優勢

在第 8 道館，解法是從上層地板推落岩石，以在岩漿地板上開出一條路。僅根據環境提供的 RAM 資料來追蹤下層地板的狀態變化相當困難，因為資料中並未提及已落下的岩石。

Gemini 3 Pro 利用視覺畫面來辨識已落下的岩石，從而擺脫了陷入的循環——它原本假設謎題尚未解開（第二層殘留的偽裝岩石讓這個情況更加惡化）。它忽略了可能造成混淆的狀態資料，轉而依賴螢幕截圖來辨識岩石位置，並根據視覺證據修正策略。這種能夠切換資料模態——從 RAM 檢查到原始視覺——的能力，幫助 3.0 Agent 逃脫了讓它循環數小時的「卡住 (stuck)」狀態。

同樣值得注意的是 3.0 Agent 「讀取」對手血量條的能力。這個資訊對於理解戰鬥中最優行動至關重要，但 RAM 狀態並未提供，Agent 必須從畫面中推斷出來。3.0 Agent 能夠相當準確地估算與 Red 戰鬥時的剩餘血量比例，這很可能是它成功的關鍵因素之一。

戰鬥效率與狀態管理

效率差距與改進後的戰鬥推理能力，是 Gemini 3 Pro 勝出的極其關鍵因素。Gemini 2.5 Pro 曾兩次輸給第 3 道館館主（小茜），原因是策略規劃能力較差，結果花費了過多時間去練等，遠超過獲得第 3 枚徽章所需的程度。

Gemini 3 Pro 則完成了整個遊戲，包括與 Red 的最終隱藏頭目戰鬥，未曾落敗一次。

它展現了優越的戰術推理能力，能進行即時傷害計算來優化招式選擇。例如，在察覺對手的卡比獸提升了特防後，它正確地選擇了使用「高速星星」而非「噴射火焰」，同時也考慮了基於天氣的計算（下雨會降低火屬性傷害）。在挑戰四天王的過程中，它主動管理 HP 的消耗，在回合間使用道具補滿血量——這是 2.5 Pro 歷來難以優先執行的行為，它往往更傾向於使用當前的攻擊招式。

當前限制

儘管效能大幅躍進，Gemini 3 Pro 並非沒有缺點。

• 未經驗證的假設：觀察到最大的失敗模式是形成假設後拒絕驗證。在一個案例中，3.0 Agent 假設收音機界面像標準選單（左/右）一樣運作，而非視覺撥盤（上/下），忽略了視覺線索，浪費了數小時在循環中。在另一個案例中，3.0 Agent 花了很長時間測試關於一個鎖住門的謎題的越來越複雜的理論，卻沒有與附近提供提示的 NPC 對話。
• 主動規劃：雖然反應戰術很強，但主動目標管理仍然不一致。3.0 Agent 經常識別出一個策略需求（例如「切換寶可夢順序」），但卻未能執行，直到戰鬥已經開始。
• 空轉 (Dry runs)：有許多情況是 3.0 Agent 呼叫了某個工具，但在工具呼叫參數上犯了錯誤，導致了空轉。不過，與 2.5 Agent 不同，它通常能識別這個錯誤並在下一回合自我修正。
• 平行規劃：3.0 Agent 難以規劃同時執行多個大型目標以提升效率，它傾向於一次解決一個任務，即使有可能同時在多個目標上取得進展。

總結

在這場競賽中，Gemini 3 Pro 超越了單純的指令遵循，展現了真正的空間推理能力、臨場建立工具的能力，以及一種「科學」的假設驗證方法。

這種推理能力直接轉化為效率。Gemini 3 Pro 在 17 天內使用了 18.8 億個 Token 完成了這次挑戰。根據礦石徽章的里程碑推估，Gemini 2.5 Pro 預計需要 69 天和超過 150 億個 Token 才能達到相同的結果。

若要開始建構你自己的自主 Agent，請查閱 Gemini 3 文件以了解技術實作細節。