Agent 推理能力基准测试：Gemini 3 Pro 对决 Gemini 2.5 Pro 在《宝可梦水晶》中的表现

Gemini 3 Pro 赢得了这场竞赛，获得 16 枚徽章，击败了四天王和冠军，并在大约 Gemini 2.5 Pro 仅获得四枚徽章所需 token 和回合数的一半内，击败了隐藏 Boss Red。这场在《宝可梦 水晶》中进行的完全自主的面对面竞赛由 Joel Zhang (@TheCodeOfJoel) 和 ARISE 基金会 组织（并在 Twitch 上直播）。他详细的博客文章对比了两款模型，揭示了许多有趣的行为差异；总体而言，Gemini 3 Pro 完成《水晶》的速度至少是 Gemini 2.5 Pro 的 2 倍，如果进一步推算，旧模型大约慢 8 倍。

Gemini 3 Pro 与 Gemini 2.5 Pro 的完成速度对比。图片来源：Joel Zhang

最终以与 Red 的决战告终。面对等级劣势，3.0 Agent 设计了一个复杂的多阶段策略，称之为“僵尸凤凰行动”，结合被动回复、能力降低、资源消耗和“复活循环”，在长达 7 小时的马拉松战斗中取得了胜利。

0:52

击败 Red。图片来源：Joel Zhang

AI 科学家提示词

本次竞赛的测试环境在两款 Agent 之间完全相同，以确保公平比较。值得注意的是，Agent 没有被提示“尽快完成游戏”，而是要求运用科学方法，并且不要假设它们对游戏的先验知识是正确的。无结构的记事本功能允许 Agent 记录假设并测试想法，同时跟踪游戏进程。

这一理念与测试环境的灵活性一致，该环境允许 Agent 在设计自己的代码工具和子 Agent 时发挥创造力。从某种意义上说，这场竞赛也测试了 Agent 适应环境并建立成功运行设置的速度。

摒弃“辅助轮”

Gemini 3 Pro 更倾向于信任自己的工具。当某个操作失败时，它会重新评估环境，而不是代码库。这种意识导致了关于测试环境限制的有趣行为。

测试环境强制严格的输入处理，禁止“混合按钮输入”（例如，依次按下 A 和 B），以保持 2.5 Pro 的稳定性并防止模拟器不同步。当 Gemini 3 Pro 遇到需要复杂输入序列的情况（具体是给宝可梦起昵称）时，它发现单次按压限制效率低下。

它没有接受这个限制，而是利用 define_tool 能力编写了一个名为 press_sequence 的自定义工具，因为自定义工具没有按钮混合输入的限制。

这个脚本允许它在本地批量处理输入序列，实际上是通过巧妙的预期漏洞编写自己的驱动程序来绕过测试环境的限制，从而提高效率。3.0 Agent 将测试环境的约束视为需要解决的工程问题，而不是不可改变的法律。

多模态优势

在第八个道馆中，解决方案需要从上层地板推下岩石，以在熔岩地板上开辟一条路径。底层地板的状态变化很难仅通过测试环境的 RAM 数据跟踪，因为数据中没有提及落下的岩石。

Gemini 3 Pro 利用视觉输入识别落下的岩石，从而摆脱了陷入的循环——假设谜题尚未解决（由于第二层遗留的诱饵岩石，这一事实被加剧了）。它忽略了可能令人困惑的状态数据，而是依赖截图来确定岩石位置，根据视觉证据纠正了策略。这种从 RAM 检查切换到原始视觉的数据模态切换能力，帮助 3.0 Agent 摆脱了长达数小时的“卡死”状态。

同样值得注意的是 3.0 Agent“读取”对手血条的能力。这一信息对于理解战斗中最佳行动至关重要，但 RAM 状态并未提供，必须由 Agent 从屏幕中推断。在对抗 Red 的战斗中，3.0 Agent 能够相当准确地估算剩余生命值的比例，这很可能是其成功的原因之一。

战斗效率与状态管理

效率差距和战斗推理能力的显著提升是 Gemini 3 Pro 获胜的关键。Gemini 2.5 Pro 因策略能力较差而两次败给第三道馆馆主（小茜），并因此花费了大量时间进行远超获得第三枚徽章所需的等级 grind。

Gemini 3 Pro 完成了整个游戏，包括最终的隐藏 Boss Red 战，且未败一场。

它展示了卓越的战术推理能力，进行了实时伤害计算以优化招式选择。例如，在意识到对手的卡比兽提升了特防后，它正确选择了 Swift 而不是 Flamethrower，并且还根据天气（雨天降低火系伤害）进行了计算。在四天王连续战中，它主动管理生命值，在回合间使用道具补满血量——而 2.5 Pro 历史上很难优先考虑这一点，往往倾向于立即投入战斗。

当前局限性

尽管性能大幅提升，Gemini 3 Pro 并非没有缺陷。

• 未经验证的假设： 观察到的最大的失败模式是形成假设后拒绝测试。有一次，3.0 Agent 假设收音机界面像一个标准菜单（左/右），而不是视觉拨盘（上/下），忽略了视觉线索，浪费了数小时在循环中。另一次，3.0 Agent 花了很长时间测试关于一扇锁着的门谜题的日益复杂的理论，却没有与附近提供线索的 NPC 对话。
• 主动规划： 虽然反应性战术很强，但主动目标管理仍然不一致。3.0 Agent 经常识别出战略需求（例如“调整宝可梦顺序”），但直到战斗开始才执行。
• 空运行： 有许多实例中，3.0 Agent 调用工具但在工具调用参数上出错，导致空运行。不过，与 2.5 Agent 不同，它通常能识别这个错误并在后续回合中自我纠正。
• 并行规划： 3.0 Agent 很难为效率提升而并行执行多个大型目标，更喜欢一次解决一个任务，即使可能同时推进多个目标。

总结

在这场竞赛中，Gemini 3 Pro 超越了简单的指令遵循，展示了真正的空间推理、即兴工具创建以及测试假设的“科学”方法。

这种推理能力直接转化为效率。Gemini 3 Pro 在 17 天内使用 18.8 亿 token 完成了运行。基于 Mineral Badge 里程碑，Gemini 2.5 Pro 预计需要 69 天和超过 150 亿 token 才能达到相同效果。

要开始构建你自己的自主 Agent，请查看 Gemini 3 文档 了解技术实现细节。