Nosso modelo Computer Use é um modelo especializado construído sobre as capacidades do Gemini 2.5 Pro para alimentar agentes que podem interagir com interfaces de usuário, disponível em preview via a API Gemini no Google AI Studio e no Vertex AI.
No início deste ano, mencionamos que estamos trazendo capacidades de uso de computador para desenvolvedores por meio da API Gemini. Hoje, estamos lançando o modelo Gemini 2.5 Computer Use, nosso novo modelo especializado baseado nas capacidades de compreensão visual e raciocínio do Gemini 2.5 Pro, que alimenta agentes capazes de interagir com interfaces de usuário (UIs). Ele supera as principais alternativas em múltiplos benchmarks de controle web e mobile, tudo com menor latência. Os desenvolvedores podem acessar essas capacidades via API Gemini no Google AI Studio e no Vertex AI.
Embora os modelos de IA possam interagir com software por meio de APIs estruturadas, muitas tarefas digitais ainda exigem interação direta com interfaces gráficas de usuário, por exemplo, preencher e enviar formulários. Para realizar essas tarefas, os agentes precisam navegar por páginas web e aplicativos assim como os humanos fazem: clicando, digitando e rolando. A capacidade de preencher formulários nativamente, manipular elementos interativos como menus suspensos e filtros, e operar atrás de logins é um passo crucial na construção de agentes poderosos e de propósito geral.
Como funciona
As capacidades principais do modelo são expostas por meio da nova ferramenta computer_use na API Gemini e devem ser operadas dentro de um loop. As entradas para a ferramenta são a solicitação do usuário, uma captura de tela do ambiente e um histórico de ações recentes. A entrada também pode especificar se deseja excluir funções da lista completa de ações de UI suportadas ou especificar funções personalizadas adicionais a serem incluídas.
Fluxo do modelo Gemini 2.5 Computer Use
O modelo então analisa essas entradas e gera uma resposta, geralmente uma chamada de função representando uma das ações de UI, como clicar ou digitar. Essa resposta também pode conter uma solicitação de confirmação do usuário final, que é necessária para certas ações, como fazer uma compra. O código do lado do cliente então executa a ação recebida.
Após a execução da ação, uma nova captura de tela da GUI e a URL atual são enviadas de volta ao modelo Computer Use como uma resposta de função, reiniciando o loop. Esse processo iterativo continua até que a tarefa seja concluída, ocorra um erro ou a interação seja encerrada por uma resposta de segurança ou decisão do usuário.
O modelo Gemini 2.5 Computer Use é otimizado principalmente para navegadores web, mas também demonstra um forte potencial para tarefas de controle de UI mobile. Ainda não está otimizado para controle em nível de sistema operacional desktop.
Confira algumas demonstrações abaixo para ver o modelo em ação (mostradas aqui em velocidade 3X).
Comando:
“A partir de
, obtenha todos os detalhes de qualquer animal de estimação com residência na Califórnia e adicione-os como convidado no meu CRM do spa em
. Em seguida, agende uma consulta de acompanhamento com o especialista Anima Lavar para 10 de outubro, a qualquer hora após as 8h. O motivo da visita é o mesmo do tratamento solicitado.”
Comando:
“Meu clube de arte fez um brainstorming de tarefas antes da nossa feira. O quadro está caótico e preciso da sua ajuda para organizar as tarefas em algumas categorias que criei. Vá para
e garanta que os recados estejam claramente nas seções corretas. Arraste-os para lá se não estiverem.”
0:34
Desempenho
O modelo Gemini 2.5 Computer Use demonstra um desempenho sólido em múltiplos benchmarks de controle web e mobile. A tabela abaixo inclui resultados de números auto reportados, avaliações realizadas pela Browserbase e avaliações que realizamos nós mesmos. Detalhes das avaliações estão disponíveis no Gemini 2.5 Computer Use System Card e no blog post da Browserbase. Salvo indicação em contrário, as pontuações mostradas são para ferramentas de computer use expostas via API.
Gemini 2.5 Computer Use supera as principais alternativas em múltiplos benchmarks
O modelo oferece qualidade líder para controle de navegador com a menor latência, conforme medido pelo desempenho no harness da Browserbase para Online-Mind2Web.
Gemini 2.5 Computer Use oferece alta precisão enquanto mantém baixa latência
Como abordamos a segurança
Acreditamos que a única maneira de construir agentes que beneficiem a todos é ser responsável desde o início. Agentes de IA que controlam computadores introduzem riscos únicos, incluindo uso indevido intencional por parte dos usuários, comportamento inesperado do modelo e injeções de prompt e golpes no ambiente web. Portanto, é crucial implementar barreiras de segurança com cuidado.
Treinamos recursos de segurança diretamente no modelo para lidar com esses três riscos principais (descritos no Gemini 2.5 Computer Use System Card).
Além disso, também fornecemos aos desenvolvedores controles de segurança, que permitem que eles impeçam o modelo de completar automaticamente ações potencialmente de alto risco ou prejudiciais. Exemplos dessas ações incluem prejudicar a integridade de um sistema, comprometer a segurança, contornar CAPTCHAs ou controlar dispositivos médicos. Os controles:
- Serviço de segurança por etapa: Um serviço de segurança em tempo de inferência, fora do modelo, que avalia cada ação proposta pelo modelo antes de ser executada.
- Instruções do sistema: Os desenvolvedores podem especificar ainda mais que o agente recuse ou peça confirmação do usuário antes de realizar tipos específicos de ações de alto risco. (Exemplo na documentação).
Recomendações adicionais para desenvolvedores sobre medidas de segurança e melhores práticas podem ser encontradas em nossa documentação. Embora essas salvaguardas sejam projetadas para reduzir riscos, instamos todos os desenvolvedores a testarem minuciosamente seus sistemas antes do lançamento.
Como testadores iniciais o utilizaram
Equipes do Google já implantaram o modelo em produção para casos de uso como testes de UI, o que pode tornar o desenvolvimento de software significativamente mais rápido. Versões deste modelo também têm alimentado o Project Mariner, o Firebase Testing Agent e algumas capacidades agentivas no AI Mode in Search.
Usuários do nosso programa de acesso antecipado também têm testado o modelo para alimentar assistentes pessoais, automação de fluxos de trabalho e testes de UI, e obtiveram resultados sólidos. Nas palavras deles:
*“Muitos dos nossos fluxos de trabalho exigem interação com interfaces feitas para humanos, onde a velocidade é especialmente importante. O Gemini 2.5 Computer Use está muito à frente da concorrência,
sendo frequentemente 50% mais rápido e melhor
* do que as próximas melhores soluções que consideramos.”
-
, um assistente de IA proativo no iMessage, WhatsApp e SMS com múltiplos fluxos de trabalho de terceiros e agentivos.
*“Nossos agentes operam de forma totalmente autônoma, realizando trabalhos onde pequenos erros na coleta e análise de dados são inaceitáveis. O Gemini 2.5 Computer Use superou outros modelos na tarefa de analisar contexto de forma confiável em casos complexos,
aumentando o desempenho em até 18%
em nossas avaliações mais difíceis.” —
, um agente de IA plug-and-play.
*“Quando scripts convencionais encontram falhas, o modelo avalia o estado atual da tela e determina autonomamente as ações necessárias para concluir o fluxo de trabalho. Essa implementação agora
reabilita com sucesso mais de 60% das execuções
(que costumavam levar vários dias para serem corrigidas).” —
Equipe da plataforma de pagamentos do Google, que implementou o modelo Computer Use como um mecanismo de contingência para lidar com testes de UI frágeis de ponta a ponta que contribuíam para 25% de todas as falhas de teste.
Como começar
A partir de hoje, o modelo está disponível em preview público, acessível via API Gemini no Google AI Studio e no Vertex AI.
- Experimente agora: Em um ambiente de demonstração hospedado pela Browserbase.
- Comece a construir: Mergulhe em nossa referência e documentação (veja a documentação do Vertex AI para uso empresarial) para aprender a construir seu próprio loop de agente localmente com Playwright ou em uma VM na nuvem com Browserbase.
- Junte-se à comunidade: Estamos animados para ver o que você vai construir. Compartilhe feedback e ajude a guiar nosso roadmap em nosso Fórum para Desenvolvedores.
