隆重介紹 Gemini 2.5 Computer Use 模型

我們全新的 Computer Use 模型是一款基於 Gemini 2.5 Pro 功能建置的專用模型，可驅動能與使用者介面互動的 Agent，目前可透過 Gemini API 在 Google AI Studio 和 Vertex AI 預覽使用。

今年稍早，我們曾提到將透過 Gemini API 為開發者提供電腦使用功能。今天，我們正式發布 Gemini 2.5 Computer Use 模型，這款基於 Gemini 2.5 Pro 的視覺理解與推理能力而打造的全新專用模型，能驅動可與使用者介面 (UI) 互動的 Agent。它在多項網頁與行動控制基準測試中均超越領先對手，同時延遲更低。開發者現在可以透過 Gemini API 在 Google AI Studio 和 Vertex AI 使用這些功能。

雖然 AI 模型可以透過結構化 API 與軟體互動，但許多數位任務仍需直接操作圖形使用者介面，例如填寫和提交表單。要完成這些任務，Agent 必須像人類一樣瀏覽網頁和應用程式：進行點擊、輸入和滾動操作。能夠原生填寫表單、操作下拉選單和篩選器等互動元素，以及在登入後執行操作，是打造強大通用 Agent 的關鍵下一步。

運作方式

模型的核心功能透過 Gemini API 中新的 computer_use 工具暴露出來，並且應該在一個迴圈中執行。工具的輸入包含使用者請求、環境的螢幕截圖，以及近期動作的歷史記錄。輸入也可以指定是否從支援的 UI 動作完整清單中排除某些功能，或指定要納入的其他自訂功能。

Gemini 2.5 Computer Use 模型流程圖

接著，模型會分析這些輸入並產生回應，通常是一個代表某個 UI 動作（例如點擊或輸入）的函式呼叫。此回應也可能包含要求最終使用者確認的請求，這對於某些動作（例如進行購買）是必要的。然後，客戶端程式碼會執行接收到的動作。

動作執行後，會將 GUI 的新螢幕截圖與當前 URL 作為函式回應傳送回 Computer Use 模型，重新開始這個迴圈。這個迭代過程會持續進行，直到任務完成、發生錯誤，或互動因安全回應或使用者決定而終止。

Gemini 2.5 Computer Use 模型主要針對網頁瀏覽器進行最佳化，但在行動 UI 控制任務上也展現出強大的潛力。目前尚未針對桌面作業系統層級的控制進行最佳化。

請觀看下方幾個展示，了解模型的實際運作（此處以 3 倍速播放）。

提示：

「從

https://tinyurl.com/pet-care-signup

中，取得所有居住在加州的寵物的詳細資訊，並將他們作為訪客新增到我的 Spa CRM 系統中，

網站為

https://pet-luxe-spa.web.app/

。然後，為他們安排與專家 Anima Lavar 在 10 月 10 日上午 8 點後的任何時間進行後續診療。就診原因與他們要求的治療項目相同。」

提示：「

我的美術社團在籌備展覽前腦力激盪出一些任務。這個專案很混亂，我需要你幫忙將這些任務整理到我建立的一些分類中。請前往

sticky-note-jam.web.app

，確保所有便利貼都清楚地歸類在正確的區塊中。如果沒有，請將它們拖曳過去。」

0:34

效能表現

Gemini 2.5 Computer Use 模型在多項網頁與行動控制基準測試中表現出色。下表包含我們自己報告的數據、Browserbase 執行的評估結果，以及我們自行執行的評估。詳細的評估資訊可參閱 Gemini 2.5 Computer Use 系統卡 和 Browserbase 的部落格文章。除非另有說明，否則顯示的分數皆為透過 API 暴露的電腦使用工具。

Gemini 2.5 Computer Use 在多項基準測試中優於領先對手

該模型在瀏覽器控制方面，以最低的延遲提供領先的品質，這可從其在 Browserbase harness 上針對 Online-Mind2Web 的效能表現看出。

Gemini 2.5 Computer Use 在維持低延遲的同時，提供高準確度

我們如何處理安全問題

我們相信，要打造惠及所有人的 Agent，唯一的方法就是從一開始就負起責任。控制電腦的 AI Agent 會帶來獨特的風險，包括使用者的蓄意濫用、模型意外行為，以及網頁環境中的提示注入和詐騙。因此，謹慎實作安全防護措施至關重要。

我們已將安全功能直接訓練進模型中，以應對這三項主要風險（詳見 Gemini 2.5 Computer Use 系統卡）。

此外，我們也為開發者提供安全控制項，使開發者能夠防止模型自動完成潛在的高風險或有害動作。這些動作的範例包括：危害系統完整性、損害安全性、繞過 CAPTCHA，或控制醫療設備。控制項包含：

• 逐步安全服務： 一種模型外的推論時安全服務，在模型提出的每個動作執行前對其進行評估。
• 系統指令： 開發者可以進一步指定，讓 Agent 在採取特定高風險動作前，拒絕執行或要求使用者確認。（文件中的範例）。

關於安全措施和最佳實務的其他建議，開發者可參閱我們的文件。雖然這些防護措施旨在降低風險，但我們強烈建議所有開發者在發布前徹底測試其系統。

早期測試者的使用方式

Google 團隊已將該模型部署到生產環境中，用於 UI 測試等使用案例，這可以顯著加快軟體開發速度。該模型的某些版本也一直為 Project Mariner、Firebase 測試 Agent，以及搜尋 AI 模式中的部分代理功能提供支援。

我們早期存取計畫的使用者也在測試該模型，以驅動個人助理、工作流程自動化和 UI 測試，並看到了強勁的成果。以下為他們的回饋：

「我們許多工作流程都需要與專為人類設計的介面互動，而速度在其中尤其重要。Gemini 2.5 Computer Use 遠遠領先競爭對手，

通常快上 50% 且效果更好

，優於我們考慮過的其他頂尖解決方案。」

-

Poke.com

，一個專注於 iMessage、WhatsApp 和 SMS 的主動式 AI 助理，具有多種第三方與代理工作流程。

「我們的 Agent 完全自主運作，在收集和解析資料時，絕不容許出現小錯誤。Gemini 2.5 Computer Use 在可靠解析複雜情境方面優於其他模型，

在我們最困難的評估中，效能提升高達 18%

。」 —

Autotab

，一個可即時替換的 AI Agent。

「當傳統腳本發生故障時，該模型會評估當前螢幕狀態，並自主判斷完成工作流程所需的動作。這個實作現在

成功修復了超過 60% 的執行程序

（過去修復這些問題需要數天時間）。」 —

Google 支付平台團隊，他們將 Computer Use 模型實作為應急機制，來處理脆弱的端到端 UI 測試（這些測試占所有測試失敗的 25%）。

如何開始

從今天起，該模型已在公開預覽版中提供，可透過 Google AI Studio 和 Vertex AI 上的 Gemini API 存取。

• 立即試用： 在 Browserbase 託管的展示環境中體驗。
• 開始建置： 深入閱讀我們的參考實作和文件（企業用途請參閱 Vertex AI 文件），了解如何使用 Playwright 在本地端或使用 Browserbase 在雲端 VM 中建置你自己的 Agent 迴圈。
• 加入社群： 我們非常期待看到你的創作。歡迎在我們的開發者論壇分享回饋，並協助指引我們的發展藍圖。