Notre modèle Computer Use est un modèle spécialisé construit sur les capacités de Gemini 2.5 Pro pour alimenter des agents capables d'interagir avec des interfaces utilisateur. Disponible en preview via l'API Gemini dans Google AI Studio et Vertex AI.
Plus tôt cette année, nous avions mentionné que nous apportions des capacités d'utilisation d'ordinateur aux développeurs via l'API Gemini. Aujourd'hui, nous publions le modèle Gemini 2.5 Computer Use, notre nouveau modèle spécialisé construit sur les capacités de compréhension visuelle et de raisonnement de Gemini 2.5 Pro, qui alimente des agents capables d'interagir avec des interfaces utilisateur (UI). Il surpasse les principales alternatives sur plusieurs benchmarks de contrôle web et mobile, tout en offrant une latence plus faible. Les développeurs peuvent accéder à ces capacités via l'API Gemini dans Google AI Studio et Vertex AI.
Bien que les modèles d'IA puissent interagir avec des logiciels via des API structurées, de nombreuses tâches numériques nécessitent encore une interaction directe avec des interfaces graphiques utilisateur, par exemple pour remplir et soumettre des formulaires. Pour accomplir ces tâches, les agents doivent naviguer sur des pages web et des applications comme le font les humains : en cliquant, en tapant et en faisant défiler. La capacité à remplir nativement des formulaires, à manipuler des éléments interactifs comme les menus déroulants et les filtres, et à opérer derrière des connexions est une étape cruciale pour construire des agents puissants et polyvalents.
Comment ça marche
Les capacités principales du modèle sont exposées via le nouvel outil computer_use dans l'API Gemini et doivent être utilisées dans une boucle. Les entrées de l'outil sont la demande de l'utilisateur, une capture d'écran de l'environnement et un historique des actions récentes. L'entrée peut également spécifier s'il faut exclure certaines fonctions de la liste complète des actions UI prises en charge ou ajouter des fonctions personnalisées supplémentaires.
Flux du modèle Gemini 2.5 Computer Use
Le modèle analyse ensuite ces entrées et génère une réponse, généralement un appel de fonction représentant l'une des actions UI comme cliquer ou taper. Cette réponse peut également contenir une demande de confirmation de l'utilisateur final, requise pour certaines actions comme effectuer un achat. Le code côté client exécute ensuite l'action reçue.
Après l'exécution de l'action, une nouvelle capture d'écran de l'interface graphique et l'URL actuelle sont renvoyées au modèle Computer Use en tant que réponse de fonction, redémarrant la boucle. Ce processus itératif se poursuit jusqu'à ce que la tâche soit terminée, qu'une erreur se produise ou que l'interaction soit interrompue par une réponse de sécurité ou une décision de l'utilisateur.
Le modèle Gemini 2.5 Computer Use est principalement optimisé pour les navigateurs web, mais montre également un fort potentiel pour les tâches de contrôle UI mobile. Il n'est pas encore optimisé pour le contrôle au niveau du système d'exploitation de bureau.
Découvrez quelques démos ci-dessous pour voir le modèle en action (montré ici en accéléré 3x).
Consigne :
« Depuis
, obtiens tous les détails pour tout animal de compagnie résidant en Californie et ajoute-les en tant qu'invité dans mon CRM spa à
. Ensuite, planifie un rendez-vous de suivi avec la spécialiste Anima Lavar pour le 10 octobre après 8h. La raison de la visite est la même que le traitement demandé. »
Consigne : «
Mon club d'art a réfléchi aux tâches avant notre foire. Le tableau est chaotique et j'ai besoin de ton aide pour organiser les tâches dans quelques catégories que j'ai créées. Va sur
et assure-toi que les notes sont bien dans les bonnes sections. Fais-les glisser là-bas si ce n'est pas le cas. »
0:34
Performances
Le modèle Gemini 2.5 Computer Use démontre de solides performances sur plusieurs benchmarks de contrôle web et mobile. Le tableau ci-dessous inclut des résultats issus de chiffres auto-déclarés, d'évaluations menées par Browserbase et d'évaluations que nous avons réalisées nous-mêmes. Les détails des évaluations sont disponibles dans la Gemini 2.5 Computer Use System Card et dans le blog de Browserbase. Sauf indication contraire, les scores présentés concernent les outils d'utilisation d'ordinateur exposés via API.
Gemini 2.5 Computer Use surpasse les principales alternatives sur plusieurs benchmarks
Le modèle offre une qualité de contrôle de navigateur de premier plan avec la latence la plus faible, mesurée par les performances sur le harnais Browserbase pour Online-Mind2Web.
Gemini 2.5 Computer Use offre une grande précision tout en maintenant une faible latence
Notre approche de la sécurité
Nous croyons que la seule façon de construire des agents qui profiteront à tous est d'être responsables dès le départ. Les agents d'IA qui contrôlent des ordinateurs introduisent des risques uniques, notamment une utilisation intentionnelle abusive par les utilisateurs, un comportement inattendu du modèle, ainsi que des injections de prompts et des escroqueries dans l'environnement web. Par conséquent, il est essentiel de mettre en place des garde-fous de sécurité avec soin.
Nous avons intégré des fonctionnalités de sécurité directement dans le modèle pour répondre à ces trois risques clés (décrits dans la Gemini 2.5 Computer Use System Card).
De plus, nous fournissons également aux développeurs des contrôles de sécurité, qui leur permettent d'empêcher le modèle d'effectuer automatiquement des actions potentiellement à haut risque ou nuisibles. Exemples de ces actions : nuire à l'intégrité d'un système, compromettre la sécurité, contourner des CAPTCHA, ou contrôler des dispositifs médicaux. Les contrôles :
- Service de sécurité par étape : Un service de sécurité hors modèle, au moment de l'inférence, qui évalue chaque action proposée par le modèle avant qu'elle ne soit exécutée.
- Instructions système : Les développeurs peuvent également spécifier que l'agent refuse ou demande une confirmation de l'utilisateur avant d'effectuer certains types d'actions à enjeux élevés. (Exemple dans la documentation).
Des recommandations supplémentaires pour les développeurs sur les mesures de sécurité et les bonnes pratiques se trouvent dans notre documentation. Bien que ces garde-fous soient conçus pour réduire les risques, nous exhortons tous les développeurs à tester minutieusement leurs systèmes avant leur lancement.
Comment les premiers testeurs l'ont utilisé
Les équipes Google ont déjà déployé le modèle en production pour des cas d'utilisation incluant les tests UI, ce qui peut accélérer considérablement le développement logiciel. Des versions de ce modèle ont également alimenté Project Mariner, l'agent de test Firebase, et certaines capacités agentiques dans AI Mode in Search.
Les utilisateurs de notre programme d'accès anticipé ont également testé le modèle pour alimenter des assistants personnels, l'automatisation de workflows et les tests UI, et ont obtenu des résultats probants. Dans leurs propres mots :
« Une grande partie de nos workflows nécessitent d'interagir avec des interfaces conçues pour les humains, où la vitesse est particulièrement importante. Gemini 2.5 Computer Use est bien en avance sur la concurrence,
étant souvent 50 % plus rapide et meilleur
que les meilleures solutions suivantes que nous avons envisagées. »
-
, un assistant IA proactif dans iMessage, WhatsApp et SMS avec multiples workflows tiers et agentiques.
« Nos agents fonctionnent de manière totalement autonome, effectuant un travail où les petites erreurs de collecte et d'analyse de données sont inacceptables. Gemini 2.5 Computer Use a surpassé les autres modèles pour analyser de manière fiable le contexte dans des cas complexes,
augmentant les performances jusqu'à 18 %
sur nos évaluations les plus difficiles. » —
, un agent IA prêt à l'emploi.
« Lorsque les scripts conventionnels rencontrent des échecs, le modèle évalue l'état actuel de l'écran et détermine de manière autonome les actions nécessaires pour terminer le workflow. Cette implémentation
réhabilite désormais avec succès plus de 60 % des exécutions
(qui prenaient auparavant plusieurs jours à corriger). » —
L'équipe de la plateforme de paiement de Google, qui a implémenté le modèle Computer Use comme mécanisme de contingence pour résoudre les tests UI de bout en bout fragiles, responsables de 25 % de tous les échecs de test.
Comment démarrer
Dès aujourd'hui, le modèle est disponible en preview publique, accessible via l'API Gemini sur Google AI Studio et Vertex AI.
- Essayez-le maintenant : Dans un environnement de démonstration hébergé par Browserbase.
- Commencez à construire : Plongez dans notre référence et notre documentation (consultez la documentation Vertex AI pour une utilisation en entreprise) pour apprendre à construire votre propre boucle d'agent localement avec Playwright ou dans une VM cloud avec Browserbase.
- Rejoignez la communauté : Nous avons hâte de voir ce que vous allez construire. Partagez vos retours et aidez-nous à orienter notre feuille de route dans notre Forum des développeurs.
![[Mémo] Votre patron avance 3 fois plus vite que vous](/cdn-cgi/image/width=1920,quality=90,format=auto,metadata=none/https%3A%2F%2Fcms-assets.youmind.com%2Fmedia%2F1783963982361_vdddap_HNDtsxJbcAAoE0q.jpg)
