当社の Computer Use モデルは、Gemini 2.5 Pro の機能を基盤とした特殊モデルであり、ユーザーインターフェースと対話できるエージェントを実現します。 Google AI Studio および Vertex AI の Gemini API でプレビュー版として利用可能です。
今年初め、私たちは Gemini API を通じてコンピュータ操作機能を開発者に提供することを発表しました。本日、Gemini 2.5 Computer Use モデルをリリースします。これは、Gemini 2.5 Pro の視覚理解と推論機能を基盤とした新しい特殊モデルで、ユーザーインターフェース（UI）と対話できるエージェントを実現します。このモデルは、複数の Web およびモバイル制御ベンチマークにおいて主要な代替製品を凌駕し、しかも低レイテンシを実現しています。開発者は、Google AI Studio および Vertex AI の Gemini API からこれらの機能にアクセスできます。
AI モデルは構造化 API を通じてソフトウェアと連携できますが、多くのデジタルタスクでは依然としてグラフィカルユーザーインターフェース（GUI）との直接的な操作が必要です（例：フォームの入力や送信）。こうしたタスクを完了するには、エージェントが人間と同じように Web ページやアプリケーションを操作（クリック、入力、スクロール）できなければなりません。フォームへのネイティブ入力、プルダウンやフィルタなどのインタラクティブ要素の操作、ログイン後の操作を実行できることは、強力で汎用的なエージェントを構築する上で極めて重要な次のステップです。
動作の仕組み
このモデルの中核機能は、Gemini API の新しい computer_use ツールを通じて公開され、ループ内で動作させる必要があります。ツールへの入力は、ユーザリクエスト、環境のスクリーンショット、最近のアクション履歴です。また、サポートされている UI アクションの完全なリストから関数を除外するか、追加のカスタム関数を含めるかを指定することもできます。
Gemini 2.5 Computer Use モデルのフロー
モデルはこれらの入力を分析し、通常はクリックや入力などの UI アクションを表す関数呼び出しであるレスポンスを生成します。このレスポンスには、エンドユーザの確認を求めるリクエストが含まれる場合もあります（購入など、特定のアクションに必要）。クライアント側コードは、受け取ったアクションを実行します。
アクションが実行されると、GUI の新しいスクリーンショットと現在の URL が関数レスポンスとして Computer Use モデルに送り返され、ループが再開します。この反復処理は、タスクが完了するか、エラーが発生するか、安全対応またはユーザの判断によってインタラクションが終了するまで続きます。
Gemini 2.5 Computer Use モデルは主に Web ブラウザ向けに最適化されていますが、モバイル UI 制御タスクでも強い可能性を示しています。デスクトップ OS レベルの制御にはまだ最適化されていません。
以下のデモで、モデルの動作をご確認ください（3 倍速で表示）。
プロンプト:
“「
」から、カリフォルニア在住のペットの詳細をすべて取得し、私のスパ CRM のゲストとして
に追加してください。その後、専門医の Anima Lavar とのフォローアップ予約を 10 月 10 日の午前 8 時以降に設定してください。来院理由は、リクエストされた治療と同じです。”
プロンプト: “
私のアートクラブで、フェアに向けてタスクをブレインストーミングしました。ボードが混沌としているので、私が作成したカテゴリにタスクを整理するのを手伝ってください。
にアクセスし、各ノートが正しいセクションに明確に配置されていることを確認してください。そうでない場合は、そこにドラッグしてください。”
0:34
パフォーマンス
Gemini 2.5 Computer Use モデルは、複数の Web およびモバイル制御ベンチマークで優れたパフォーマンスを示しています。以下の表には、自己報告された数値、Browserbase が実施した評価、および当社自身が実施した評価の結果が含まれています。評価の詳細は、Gemini 2.5 Computer Use System Card および Browserbase のブログ記事 に記載されています。特に明記されていない限り、表示されているスコアは API を介して公開された computer use ツールのものです。
Gemini 2.5 Computer Use は、複数のベンチマークで主要な代替製品を凌駕
このモデルは、Online-Mind2Web の Browserbase ハーネスでのパフォーマンスで測定される、ブラウザ制御において最高品質を低レイテンシで実現します。
Gemini 2.5 Computer Use は、低レイテンシを維持しながら高い精度を実現
安全性への取り組み
私たちは、すべての人に利益をもたらすエージェントを構築する唯一の方法は、最初から責任を持つことだと信じています。コンピュータを制御する AI エージェントは、ユーザによる意図的な悪用、予期しないモデル動作、Web 環境におけるプロンプトインジェクションや詐欺など、独自のリスクをもたらします。したがって、安全ガードレールを慎重に実装することが重要です。
これらの 3 つの主要なリスク（Gemini 2.5 Computer Use System Card に記載）に対処するために、モデルに直接安全機能がトレーニングされています。
さらに、開発者向けの安全制御も提供しており、潜在的にリスクの高い、または有害なアクションをモデルが自動完了するのを防ぐことができます。そのようなアクションの例としては、システムの完全性を損なう行為、セキュリティの侵害、CAPTCHA のバイパス、医療機器の制御などが挙げられます。制御は以下のとおりです。
- ステップごとの安全サービス: モデル外の推論時安全サービスで、モデルが提案する各アクションを実行前に評価します。
- システム命令: 開発者は、特定の種類の高リスクアクションを実行する前に、エージェントが拒否するかユーザの確認を求めるよう指定できます（ドキュメントの例）。
安全対策とベストプラクティスに関する開発者向けの追加推奨事項は、ドキュメント に記載されています。これらの安全策はリスクを低減するように設計されていますが、すべての開発者は起動前にシステムを徹底的にテストすることをお勧めします。
初期テスターによる使用例
Google のチームはすでにこのモデルを UI テストなどのユースケースで本番環境に展開しており、ソフトウェア開発を大幅に高速化できます。このモデルのバージョンは、Project Mariner、Firebase テストエージェント、および Search の AI Mode の一部のエージェント機能にも活用されています。
早期アクセスプログラムのユーザーも、このモデルをパーソナルアシスタント、ワークフロー自動化、UI テストに活用してテストしており、優れた結果を得ています。彼らの言葉を紹介します。
「私たちのワークフローの多くは、スピードが特に重要となる人間向けのインターフェースとの対話を必要とします。Gemini 2.5 Computer Use は競合をはるかに凌駕しており、
多くの場合、検討した次善のソリューションよりも 50% 高速で優れています
。」
-
（iMessage、WhatsApp、SMS で動作し、複数のサードパーティおよびエージェントワークフローを備えたプロアクティブな AI アシスタント）
「当社のエージェントは完全自律型で動作し、データの収集や解析における小さなミスも許されない作業を行います。Gemini 2.5 Computer Use は、複雑なケースでコンテキストを確実に解析する点で他のモデルを凌駕しており、
最も難しい評価ではパフォーマンスが最大 18% 向上しました
。」 —
（ドロップイン型 AI エージェント）
「従来のスクリプトが失敗した場合、モデルは現在の画面状態を評価し、ワークフローを完了するために必要なアクションを自律的に判断します。この実装により、
実行の 60% 以上が正常にリカバリされるようになりました
（従来は修正に数日かかっていました）。」 —
Google の決済プラットフォームチーム。Computer Use モデルを、全テスト失敗の 25% を占める脆弱なエンドツーエンド UI テストに対処するための予備メカニズムとして実装しました。
始め方
本日より、このモデルはパブリックプレビュー版として、Google AI Studio および Vertex AI の Gemini API からアクセス可能です。
- 今すぐ試す: Browserbase がホストするデモ環境で。
- 構築を始める: リファレンス とドキュメント（エンタープライズ向けは Vertex AI のドキュメント をご覧ください）を参照して、Playwright を使用してローカルに、または Browserbase を使用してクラウド VM で独自のエージェントループを構築する方法を学んでください。
- コミュニティに参加: 皆様が何を構築されるのか、非常に楽しみです。Developer Forum でフィードバックを共有し、ロードマップの策定にご協力ください。
