Il nostro modello Computer Use è un modello specializzato costruito sulle capacità di Gemini 2.5 Pro per alimentare agenti in grado di interagire con le interfacce utente. Disponibile in anteprima tramite l'API Gemini in Google AI Studio e Vertex AI.
All'inizio di quest'anno, abbiamo menzionato che stavamo portando le capacità di computer use agli sviluppatori tramite l'API Gemini. Oggi rilasciamo il modello Gemini 2.5 Computer Use, il nostro nuovo modello specializzato basato sulle capacità di comprensione visiva e ragionamento di Gemini 2.5 Pro, che alimenta agenti in grado di interagire con interfacce utente (UI). Supera le principali alternative in diversi benchmark di controllo web e mobile, il tutto con una latenza inferiore. Gli sviluppatori possono accedere a queste capacità tramite l'API Gemini in Google AI Studio e Vertex AI.
Sebbene i modelli AI possano interfacciarsi con il software tramite API strutturate, molte attività digitali richiedono ancora un'interazione diretta con interfacce utente grafiche, ad esempio per compilare e inviare moduli. Per completare queste attività, gli agenti devono navigare in pagine web e applicazioni proprio come fanno gli esseri umani: cliccando, digitando e scorrendo. La capacità di compilare nativamente moduli, manipolare elementi interattivi come menu a discesa e filtri, e operare dietro i login è un passo cruciale per costruire agenti potenti e polivalenti.
Come funziona
Le capacità principali del modello sono esposte attraverso il nuovo strumento computer_use nell'API Gemini e dovrebbero essere utilizzate all'interno di un ciclo. Gli input dello strumento sono la richiesta dell'utente, uno screenshot dell'ambiente e una cronologia delle azioni recenti. L'input può anche specificare se escludere funzioni dall'elenco completo delle azioni UI supportate o specificare ulteriori funzioni personalizzate da includere.
Flusso del modello Gemini 2.5 Computer Use
Il modello analizza quindi questi input e genera una risposta, tipicamente una chiamata di funzione che rappresenta una delle azioni UI, come cliccare o digitare. Questa risposta può anche contenere una richiesta di conferma da parte dell'utente finale, necessaria per determinate azioni come l'effettuazione di un acquisto. Il codice lato client esegue quindi l'azione ricevuta.
Dopo l'esecuzione dell'azione, un nuovo screenshot dell'interfaccia grafica e l'URL corrente vengono inviati al modello Computer Use come risposta della funzione, riavviando il ciclo. Questo processo iterativo continua fino al completamento dell'attività, al verificarsi di un errore o all'interruzione dell'interazione da parte di una risposta di sicurezza o di una decisione dell'utente.
Il modello Gemini 2.5 Computer Use è ottimizzato principalmente per browser web, ma mostra anche un forte potenziale per attività di controllo UI su mobile. Non è ancora ottimizzato per il controllo a livello di sistema operativo desktop.
Guarda alcune demo qui sotto per vedere il modello in azione (mostrate a velocità 3X).
Prompt:
“Da
, ottieni tutti i dettagli per qualsiasi animale con residenza in California e aggiungilo come ospite nel mio CRM spa all'indirizzo
. Quindi, pianifica una visita di follow-up con la specialista Anima Lavar per il 10 ottobre in qualsiasi orario dopo le 8:00. Il motivo della visita è lo stesso del trattamento richiesto.”
Prompt: “
Il mio club d'arte ha fatto un brainstorming di attività in vista della nostra fiera. La bacheca è caotica e ho bisogno del tuo aiuto per organizzare le attività in alcune categorie che ho creato. Vai su
e assicurati che i post-it siano chiaramente nelle sezioni giuste. Trascinali lì se non lo sono.”
0:34
Come si comporta
Il modello Gemini 2.5 Computer Use dimostra prestazioni solide in diversi benchmark di controllo web e mobile. La tabella seguente include risultati provenienti da dati auto-riportati, valutazioni eseguite da Browserbase e valutazioni che abbiamo eseguito noi stessi. I dettagli sulla valutazione sono disponibili nella Scheda tecnica del sistema Gemini 2.5 Computer Use e nel post del blog di Browserbase. Salvo diversa indicazione, i punteggi mostrati si riferiscono agli strumenti di computer use esposti tramite API.
Gemini 2.5 Computer Use supera le principali alternative in diversi benchmark
Il modello offre una qualità leader per il controllo del browser con la latenza più bassa, come misurato dalle prestazioni sul harness di Browserbase per Online-Mind2Web.
Gemini 2.5 Computer Use offre alta accuratezza mantenendo una bassa latenza
Come abbiamo affrontato la sicurezza
Crediamo che l'unico modo per costruire agenti che avvantaggino tutti sia essere responsabili fin dall'inizio. Gli agenti AI che controllano computer introducono rischi unici, tra cui l'uso improprio intenzionale da parte degli utenti, comportamenti imprevisti del modello e attacchi di injection di prompt e truffe nell'ambiente web. Pertanto, è fondamentale implementare con cura le misure di sicurezza.
Abbiamo addestrato direttamente nel modello funzionalità di sicurezza per affrontare questi tre rischi chiave (descritti nella Scheda tecnica del sistema Gemini 2.5 Computer Use).
Inoltre, forniamo agli sviluppatori controlli di sicurezza che consentono loro di impedire al modello di completare automaticamente azioni potenzialmente ad alto rischio o dannose. Esempi di queste azioni includono il danneggiamento dell'integrità di un sistema, la compromissione della sicurezza, l'elusione dei CAPTCHA o il controllo di dispositivi medici. I controlli:
- Servizio di sicurezza per step: Un servizio di sicurezza esterno al modello, in fase di inferenza, che valuta ogni azione proposta dal modello prima che venga eseguita.
- Istruzioni di sistema: Gli sviluppatori possono specificare ulteriormente che l'agente rifiuti o chieda la conferma dell'utente prima di intraprendere specifici tipi di azioni ad alto rischio. (Esempio nella documentazione).
Ulteriori raccomandazioni per gli sviluppatori sulle misure di sicurezza e le migliori pratiche sono disponibili nella nostra documentazione. Sebbene queste salvaguardie siano progettate per ridurre il rischio, esortiamo tutti gli sviluppatori a testare accuratamente i loro sistemi prima del lancio.
Come lo hanno utilizzato i primi tester
I team di Google hanno già implementato il modello in produzione per casi d'uso come il test delle UI, che può accelerare significativamente lo sviluppo software. Versioni di questo modello hanno anche alimentato Project Mariner, l'Agente di test Firebase e alcune capacità agentiche nella Modalità AI nella Ricerca.
Gli utenti del nostro programma di accesso anticipato hanno anche testato il modello per alimentare assistenti personali, automazione dei flussi di lavoro e test delle UI, ottenendo risultati promettenti. Con le loro parole:
“Molti dei nostri flussi di lavoro richiedono l'interazione con interfacce pensate per gli esseri umani, dove la velocità è particolarmente importante. Gemini 2.5 Computer Use è molto avanti rispetto alla concorrenza,
spesso è più veloce del 50% e migliore
delle prossime migliori soluzioni che abbiamo valutato.”
-
, un assistente AI proattivo in iMessage, WhatsApp e SMS con molteplici flussi di lavoro di terze parti e agentici.
“I nostri agenti operano in modo completamente autonomo, svolgendo attività in cui piccoli errori nella raccolta e nell'analisi dei dati sono inaccettabili. Gemini 2.5 Computer Use ha superato altri modelli nell'analisi affidabile del contesto in casi complessi,
migliorando le prestazioni fino al 18%
nelle nostre valutazioni più difficili.” —
, un agente AI plug-and-play.
“Quando gli script convenzionali incontrano errori, il modello valuta lo stato attuale dello schermo e determina autonomamente le azioni necessarie per completare il flusso di lavoro. Questa implementazione ora
riabilita con successo oltre il 60% delle esecuzioni
(che prima richiedevano diversi giorni per essere riparate).” —
Il team della piattaforma di pagamento di Google, che ha implementato il modello Computer Use come meccanismo di contingenza per affrontare test UI end-to-end fragili che contribuivano al 25% di tutti i fallimenti dei test.
Come iniziare
Da oggi, il modello è disponibile in anteprima pubblica, accessibile tramite l'API Gemini su Google AI Studio e Vertex AI.
- Provalo ora: In un ambiente demo ospitato da Browserbase.
- Inizia a creare: Immergiti nella nostra documentazione di riferimento e nella documentazione (consulta la documentazione di Vertex AI per uso enterprise) per imparare a costruire il tuo loop agente localmente con Playwright o in una VM cloud con Browserbase.
- Unisciti alla community: Non vediamo l'ora di vedere cosa creerai. Condividi feedback e aiutaci a definire la nostra roadmap nel nostro Forum per sviluppatori.
