Einführung des Gemini 2.5 Computer Use-Modells

Unser Computer Use-Modell ist ein spezialisiertes Modell, das auf den Funktionen von Gemini 2.5 Pro aufbaut und Agents antreibt, die mit Benutzeroberflächen interagieren können. Es ist in der Vorschau über die Gemini API in Google AI Studio und Vertex AI verfügbar.

Anfang dieses Jahres haben wir erwähnt, dass wir Computer-Use-Funktionen für Entwickler über die Gemini API bereitstellen. Heute veröffentlichen wir das Gemini 2.5 Computer Use-Modell, unser neues spezialisiertes Modell, das auf den visuellen Verständnis- und Denkfähigkeiten von Gemini 2.5 Pro aufbaut und Agents antreibt, die mit Benutzeroberflächen (UIs) interagieren können. Es übertrifft führende Alternativen in mehreren Web- und Mobile-Control-Benchmarks, und das bei geringerer Latenz. Entwickler können auf diese Funktionen über die Gemini API in Google AI Studio und Vertex AI zugreifen.

Während KI-Modelle über strukturierte APIs mit Software interagieren können, erfordern viele digitale Aufgaben immer noch die direkte Interaktion mit grafischen Benutzeroberflächen, zum Beispiel das Ausfüllen und Absenden von Formularen. Um diese Aufgaben zu erledigen, müssen Agents Webseiten und Anwendungen genauso navigieren wie Menschen: durch Klicken, Tippen und Scrollen. Die Fähigkeit, Formulare nativ auszufüllen, interaktive Elemente wie Dropdowns und Filter zu bedienen und sich hinter Logins zu bewegen, ist ein entscheidender nächster Schritt auf dem Weg zu leistungsstarken, universellen Agents.

So funktioniert es

Die Kernfunktionen des Modells werden über das neue computer_use-Tool in der Gemini API bereitgestellt und sollten innerhalb einer Schleife betrieben werden. Eingaben für das Tool sind die Benutzeranfrage, ein Screenshot der Umgebung und ein Verlauf der letzten Aktionen. Die Eingabe kann auch festlegen, ob Funktionen aus der vollständigen Liste der unterstützten UI-Aktionen ausgeschlossen oder zusätzliche benutzerdefinierte Funktionen eingeschlossen werden sollen.

<payload-block id="blk_0" type="upload">

Ablauf des Gemini 2.5 Computer Use-Modells

Das Modell analysiert diese Eingaben und generiert eine Antwort, in der Regel einen Funktionsaufruf, der eine der UI-Aktionen wie Klicken oder Tippen darstellt. Diese Antwort kann auch eine Aufforderung zur Bestätigung durch den Endbenutzer enthalten, die für bestimmte Aktionen wie z. B. einen Kauf erforderlich ist. Der clientseitige Code führt dann die empfangene Aktion aus.

<payload-block id="blk_1" type="upload">

Nachdem die Aktion ausgeführt wurde, werden ein neuer Screenshot der GUI und die aktuelle URL als Funktionsantwort an das Computer Use-Modell zurückgesendet, was die Schleife neu startet. Dieser iterative Prozess wird fortgesetzt, bis die Aufgabe abgeschlossen ist, ein Fehler auftritt oder die Interaktion durch eine Sicherheitsantwort oder eine Benutzerentscheidung beendet wird.

Das Gemini 2.5 Computer Use-Modell ist in erster Linie für Webbrowser optimiert, zeigt aber auch vielversprechende Ergebnisse für mobile UI-Steuerungsaufgaben. Es ist noch nicht für die Steuerung auf Desktop-Betriebssystemebene optimiert.

Sehen Sie sich unten einige Demos an, um das Modell in Aktion zu sehen (hier mit 3-facher Geschwindigkeit).

Prompt:

„Von

https://tinyurl.com/pet-care-signup

, holen Sie alle Details für jedes Haustier mit Wohnsitz in Kalifornien und fügen Sie sie als Gast in meinem Spa-CRM hinzu unter

https://pet-luxe-spa.web.app/

. Richten Sie dann einen Folgetermin mit der Fachärztin Anima Lavar für den 10. Oktober jederzeit nach 8 Uhr ein. Der Grund für den Besuch ist derselbe wie die gewünschte Behandlung.“

Prompt: „

Mein Kunstclub hat vor unserer Messe Aufgaben gesammelt. Das Board ist chaotisch und ich brauche deine Hilfe, um die Aufgaben in einige von mir erstellte Kategorien zu sortieren. Gehe zu

sticky-note-jam.web.app

und stelle sicher, dass die Notizen klar in den richtigen Abschnitten sind. Ziehe sie dorthin, falls nicht.“

0:34

Leistung

Das Gemini 2.5 Computer Use-Modell zeigt eine starke Leistung in mehreren Web- und Mobile-Control-Benchmarks. Die folgende Tabelle enthält Ergebnisse aus selbst gemeldeten Zahlen, von Browserbase durchgeführten Evaluierungen und von uns selbst durchgeführten Evaluierungen. Evaluierungsdetails sind im Gemini 2.5 Computer Use System Card und im Blogbeitrag von Browserbase verfügbar. Sofern nicht anders angegeben, beziehen sich die gezeigten Punktzahlen auf Computer-Use-Tools, die über die API bereitgestellt werden.

Gemini 2.5 Computer Use übertrifft führende Alternativen in mehreren Benchmarks

Das Modell bietet eine führende Qualität für die Browsersteuerung bei der niedrigsten Latenz, gemessen an der Leistung im Browserbase-Harness für Online-Mind2Web.

Gemini 2.5 Computer Use liefert hohe Genauigkeit bei gleichzeitig niedriger Latenz

Unser Ansatz für Sicherheit

Wir glauben, dass der einzige Weg, Agents zu bauen, die allen zugutekommen, darin besteht, von Anfang an verantwortungsvoll zu handeln. KI-Agents, die Computer steuern, bringen besondere Risiken mit sich, darunter absichtlicher Missbrauch durch Benutzer, unerwartetes Modellverhalten sowie Prompt-Injection-Angriffe und Betrug in der Webumgebung. Daher ist es entscheidend, Sicherheitsvorkehrungen mit Sorgfalt zu implementieren.

Wir haben Sicherheitsfunktionen direkt in das Modell integriert, um diese drei Hauptrisiken zu adressieren (beschrieben im Gemini 2.5 Computer Use System Card).

Darüber hinaus stellen wir Entwicklern auch Sicherheitskontrollen zur Verfügung, die es ihnen ermöglichen, zu verhindern, dass das Modell potenziell riskante oder schädliche Aktionen automatisch ausführt. Beispiele für solche Aktionen sind die Beeinträchtigung der Systemintegrität, die Kompromittierung der Sicherheit, die Umgehung von CAPTCHAs oder die Steuerung medizinischer Geräte. Die Kontrollen:

• Sicherheitsdienst pro Schritt: Ein außerhalb des Modells arbeitender Inferenz-Sicherheitsdienst, der jede vom Modell vorgeschlagene Aktion bewertet, bevor sie ausgeführt wird.
• Systemanweisungen: Entwickler können weiter spezifizieren, dass der Agent bestimmte hochriskante Aktionen entweder ablehnt oder vor deren Ausführung eine Benutzerbestätigung einholt. (Beispiel in der Dokumentation).

Zusätzliche Empfehlungen für Entwickler zu Sicherheitsmaßnahmen und Best Practices finden Sie in unserer Dokumentation. Obwohl diese Sicherheitsvorkehrungen darauf ausgelegt sind, Risiken zu reduzieren, empfehlen wir allen Entwicklern dringend, ihre Systeme vor dem Start gründlich zu testen.

Wie Early Tester es genutzt haben

Google-Teams haben das Modell bereits für Produktionsanwendungen wie UI-Tests eingesetzt, die die Softwareentwicklung erheblich beschleunigen können. Versionen dieses Modells haben auch Project Mariner, den Firebase Testing Agent und einige agentische Funktionen im KI-Modus der Google-Suche angetrieben.

Nutzer unseres Early-Access-Programms haben das Modell ebenfalls getestet, um persönliche Assistenten, Workflow-Automatisierung und UI-Tests zu betreiben, und dabei starke Ergebnisse erzielt. In ihren eigenen Worten:

„Viele unserer Workflows erfordern die Interaktion mit Schnittstellen, die für Menschen gemacht sind, bei denen Geschwindigkeit besonders wichtig ist. Gemini 2.5 Computer Use ist der Konkurrenz weit voraus,

oft 50 % schneller und besser

als die nächsten besten Lösungen, die wir in Betracht gezogen haben.“

-

Poke.com

, ein proaktiver KI-Assistent in iMessage, WhatsApp und SMS mit mehreren Drittanbieter- und Agent-Workflows.

„Unsere Agents laufen vollständig autonom und erledigen Arbeiten, bei denen kleine Fehler beim Sammeln und Parsen von Daten inakzeptabel sind. Gemini 2.5 Computer Use hat andere Modelle beim zuverlässigen Parsen von Kontext in komplexen Fällen übertroffen,

was die Leistung um bis zu 18 % steigerte

bei unseren schwierigsten Evaluierungen.“ —

Autotab

, ein einsatzbereiter KI-Agent.

„Wenn herkömmliche Skripte auf Fehler stoßen, bewertet das Modell den aktuellen Bildschirmzustand und ermittelt eigenständig die erforderlichen Aktionen, um den Workflow abzuschließen. Diese Implementierung

rehabilitiert erfolgreich über 60 % der Ausführungen

(was früher mehrere Tage zur Behebung dauerte).“ —

Das Team der Zahlungsplattform von Google, das das Computer Use-Modell als Notfallmechanismus implementiert hat, um fehleranfällige End-to-End-UI-Tests zu adressieren, die zu 25 % aller Testfehler beigetragen haben.

Erste Schritte

Ab heute ist das Modell in der öffentlichen Vorschau verfügbar und über die Gemini API in Google AI Studio und Vertex AI zugänglich.

• Jetzt ausprobieren: In einer von Browserbase gehosteten Demo-Umgebung.
• Loslegen: Tauchen Sie in unsere Referenz und Dokumentation ein (siehe Vertex AI-Dokumentation für den Unternehmenseinsatz), um zu erfahren, wie Sie Ihre eigene Agent-Schleife lokal mit Playwright oder in einer Cloud-VM mit Browserbase erstellen.
• Der Community beitreten: Wir sind gespannt, was Sie bauen. Teilen Sie Feedback und helfen Sie uns, unseren Fahrplan in unserem Entwicklerforum zu gestalten.