我们的计算机使用模型是一款基于 Gemini 2.5 Pro 能力构建的专业模型，用于驱动能够与用户界面交互的 Agent。该模型现已在 Gemini API 中通过 Google AI Studio 和 Vertex AI 提供预览版。
今年早些时候，我们提到将通过 Gemini API 为开发者带来计算机使用能力。今天，我们发布了 Gemini 2.5 Computer Use 模型，这是一款基于 Gemini 2.5 Pro 视觉理解和推理能力构建的新专业模型，可驱动能够与用户界面（UI）交互的 Agent。它在多个网页和移动控制基准测试中均优于主流替代方案，且延迟更低。开发者可以通过 Gemini API 在 Google AI Studio 和 Vertex AI 中使用这些能力。
虽然 AI 模型可以通过结构化 API 与软件交互，但许多数字任务仍然需要直接与图形用户界面交互，例如填写和提交表单。要完成这些任务，Agent 必须像人类一样浏览网页和应用程序：点击、输入和滚动。原生填写表单、操作下拉菜单和筛选器等交互元素，以及在登录后进行操作的能力，是构建强大通用 Agent 的关键下一步。
工作原理
该模型的核心能力通过 Gemini API 中的新工具 computer_use 暴露，并需要在循环中运行。工具的输入包括用户请求、环境截图以及最近操作的记录。输入还可以指定是否排除完整支持的 UI 操作列表中的某些功能，或添加额外的自定义功能。
Gemini 2.5 Computer Use 模型流程
然后，模型分析这些输入并生成响应，通常是代表某个 UI 操作（如点击或输入）的函数调用。此响应也可能包含请求最终用户确认，这在某些操作（如购买）中是必需的。客户端代码随后执行接收到的操作。
执行操作后，GUI 的新截图和当前 URL 会作为函数响应发送回 Computer Use 模型，从而重新开始循环。这一迭代过程将持续到任务完成、发生错误或由于安全响应或用户决策而终止交互为止。
Gemini 2.5 Computer Use 模型主要针对网页浏览器进行了优化，但也显示出在移动 UI 控制任务方面的强大潜力。它目前尚未针对桌面操作系统级控制进行优化。
以下是几个演示，展示模型的实际运行效果（以下视频以 3 倍速播放）。
提示：
“从
，获取任何居住在加利福尼亚州的宠物的所有详细信息，并将其作为访客添加到我的水疗 CRM 系统中，网址为
。然后，在 10 月 10 日早上 8 点后的任何时间，为专家 Anima Lavar 安排一次后续就诊预约。就诊原因与其要求的治疗相同。”
提示：“
我的艺术俱乐部在我们的展会前进行了头脑风暴，列出了任务。公告板很混乱，我需要你帮我将任务整理到我创建的一些类别中。请访问
并确保便签明确位于正确的部分。如果没有，请将其拖拽过去。”
0:34
性能表现
Gemini 2.5 Computer Use 模型在多个网页和移动控制基准测试中表现出色。下表包含了来自我们自行报告的数据、Browserbase 进行的评估以及我们自行运行的评估结果。评估详情可在 Gemini 2.5 Computer Use 系统卡和 Browserbase 的博文中找到。除非另有说明，所示分数均为通过 API 暴露的计算机使用工具。
Gemini 2.5 Computer Use 在多个基准测试中优于主流替代方案
该模型在浏览器控制方面提供了领先的质量和最低的延迟，这一点通过 Browserbase 的 Online-Mind2Web 测试平台的表现得以衡量。
Gemini 2.5 Computer Use 在保持低延迟的同时实现高精度
我们的安全方法
我们相信，只有从一开始就负责任，才能构建出惠及所有人的 Agent。控制计算机的 AI Agent 会引入独特的风险，包括用户的故意滥用、意外的模型行为，以及网络环境中的提示注入和诈骗。因此，谨慎实施安全防护措施至关重要。
我们已直接向模型内训练了安全功能，以应对这三个关键风险（详见 Gemini 2.5 Computer Use 系统卡）。
此外，我们还为开发者提供了安全控制措施，使其能够防止模型自动完成潜在的高风险或有害操作。这些操作的示例包括损害系统完整性、危及安全、绕过验证码或控制医疗设备。控制措施包括：
- 逐步骤安全服务： 一种模型外部的、推理时的安全服务，在执行模型提出的每个操作之前对其进行评估。
- 系统指令： 开发者可以进一步指定 Agent 在采取特定类型的高风险操作之前拒绝或要求用户确认。（示例见文档）。
关于安全措施和最佳实践的更多建议，请参阅我们的文档。虽然这些安全措施旨在降低风险，但我们敦促所有开发者在发布前彻底测试其系统。
早期测试者的使用情况
Google 团队已将该模型部署到生产中，用于包括 UI 测试在内的用例，这可以显著加快软件开发速度。该模型的多个版本也一直在为 Project Mariner、Firebase Testing Agent 以及搜索中 AI 模式的某些代理能力提供支持。
我们早期访问计划的用户也一直在测试该模型，用于驱动个人助理、工作流自动化和 UI 测试，并取得了显著成果。以下是他们的评价：
“我们的许多工作流都需要与专为人类设计的界面进行交互，而速度尤其重要。Gemini 2.5 Computer Use 远超竞争对手，*
通常比我们考虑过的次优方案快 50%，效果也更好
”
-
，一款在 iMessage、WhatsApp 和 SMS 中运行的主动式 AI 助手，集成了多个第三方和代理工作流。
“我们的 Agent 完全自主运行，在收集和解析数据方面，即使微小错误也不可接受。Gemini 2.5 Computer Use 在复杂情况下可靠解析上下文方面优于其他模型，*
在我们最难的评估中性能提升高达 18%
” —
，一个即插即用的 AI Agent。
“当传统脚本失败时，模型会评估当前屏幕状态并自主确定完成工作流所需的操作。这一实现现在*
成功修复了超过 60% 的执行失败
（以往需要多天才能修复）。” —
Google 支付平台团队，该团队将 Computer Use 模型作为应急机制，用于解决脆弱的端到端 UI 测试问题，这些问题曾占所有测试失败案例的 25%。
如何开始
从今天起，该模型以公开预览版的形式提供，可通过 Google AI Studio 和 Vertex AI 上的 Gemini API 访问。
- 立即试用： 在 Browserbase 托管的演示环境中体验。
- 开始构建： 查阅我们的参考和文档（企业用 Vertex AI 文档见此处），了解如何使用 Playwright 在本地或使用 Browserbase 在云 VM 中构建自己的 Agent 循环。
- 加入社区： 我们期待看到你的作品。欢迎在我们的开发者论坛分享反馈并帮助我们规划路线图。
