Apresentando o modelo Gemini 2.5 Computer Use

O nosso modelo Computer Use é um modelo especializado construído sobre as capacidades do Gemini 2.5 Pro para capacitar agentes que podem interagir com interfaces de utilizador, disponível em pré-visualização através da API Gemini no Google AI Studio e no Vertex AI.

No início deste ano, mencionámos que estávamos a trazer capacidades de uso de computador para programadores através da API Gemini. Hoje, estamos a lançar o modelo Gemini 2.5 Computer Use, o nosso novo modelo especializado construído sobre a compreensão visual e capacidades de raciocínio do Gemini 2.5 Pro, que capacita agentes capazes de interagir com interfaces de utilizador (UIs). Supera as principais alternativas em vários benchmarks de controlo web e móvel, tudo com menor latência. Os programadores podem aceder a estas capacidades através da API Gemini no Google AI Studio e no Vertex AI.

Embora os modelos de IA possam interagir com software através de APIs estruturadas, muitas tarefas digitais ainda exigem interação direta com interfaces gráficas de utilizador, por exemplo, preencher e submeter formulários. Para concluir estas tarefas, os agentes devem navegar por páginas web e aplicações tal como os humanos fazem: clicando, escrevendo e fazendo scroll. A capacidade de preencher formulários nativamente, manipular elementos interativos como menus suspensos e filtros, e operar atrás de logins é um passo crucial na construção de agentes poderosos e de uso geral.

Como funciona

As capacidades principais do modelo são expostas através da nova ferramenta computer_use na API Gemini e devem ser operadas dentro de um loop. As entradas para a ferramenta são o pedido do utilizador, uma captura de ecrã do ambiente e um histórico de ações recentes. A entrada também pode especificar se devem ser excluídas funções da lista completa de ações de UI suportadas ou especificar funções personalizadas adicionais a incluir.

Fluxo do modelo Gemini 2.5 Computer Use

O modelo então analisa estas entradas e gera uma resposta, tipicamente uma chamada de função que representa uma das ações de UI, como clicar ou escrever. Esta resposta pode também conter um pedido de confirmação do utilizador final, que é necessário para certas ações, como fazer uma compra. O código do lado do cliente executa então a ação recebida.

Após a execução da ação, uma nova captura de ecrã da GUI e o URL atual são enviados de volta para o modelo Computer Use como uma resposta de função, reiniciando o loop. Este processo iterativo continua até a tarefa estar concluída, ocorrer um erro ou a interação ser terminada por uma resposta de segurança ou decisão do utilizador.

O modelo Gemini 2.5 Computer Use é otimizado principalmente para navegadores web, mas também demonstra um forte potencial para tarefas de controlo de UI móvel. Ainda não está otimizado para controlo ao nível do sistema operativo desktop.

Veja algumas demonstrações abaixo para ver o modelo em ação (mostrado aqui a 3x da velocidade).

Prompt:

"A partir de

https://tinyurl.com/pet-care-signup

, obtenha todos os detalhes de qualquer animal de estimação com residência na Califórnia e adicione-os como convidado no meu CRM de spa em

https://pet-luxe-spa.web.app/

. Depois, marque uma consulta de acompanhamento com a especialista Anima Lavar para 10 de outubro a qualquer hora após as 8h. O motivo da visita é o mesmo que o tratamento solicitado."

Prompt: "

O meu clube de arte fez um brainstorming de tarefas para a nossa feira. O quadro está caótico e preciso da sua ajuda para organizar as tarefas em algumas categorias que criei. Vá para

sticky-note-jam.web.app

e garanta que as notas estão claramente nas secções corretas. Arraste-as para lá se não estiverem."

0:34

Desempenho

O modelo Gemini 2.5 Computer Use demonstra um desempenho forte em vários benchmarks de controlo web e móvel. A tabela abaixo inclui resultados de números auto-reportados, avaliações executadas pela Browserbase e avaliações que executamos nós próprios. Os detalhes da avaliação estão disponíveis no Gemini 2.5 Computer Use System Card e no blog post da Browserbase. Salvo indicação em contrário, as pontuações mostradas são para ferramentas de uso de computador expostas via API.

Gemini 2.5 Computer Use supera as principais alternativas em vários benchmarks

O modelo oferece qualidade líder para controlo de navegador com a latência mais baixa, conforme medido pelo desempenho no harness da Browserbase para Online-Mind2Web.

Gemini 2.5 Computer Use oferece alta precisão enquanto mantém baixa latência

Como abordámos a segurança

Acreditamos que a única forma de construir agentes que beneficiem todos é ser responsável desde o início. Agentes de IA que controlam computadores introduzem riscos únicos, incluindo uso indevido intencional por utilizadores, comportamento inesperado do modelo, e injeções de prompt e scams no ambiente web. Assim, é crítico implementar salvaguardas de segurança com cuidado.

Treinámos funcionalidades de segurança diretamente no modelo para abordar estes três riscos principais (descritos no Gemini 2.5 Computer Use System Card).

Além disso, também fornecemos aos programadores controlos de segurança, que os capacitam para evitar que o modelo complete automaticamente ações potencialmente de alto risco ou prejudiciais. Exemplos destas ações incluem prejudicar a integridade de um sistema, comprometer a segurança, contornar CAPTCHAs, ou controlar dispositivos médicos. Os controlos:

• Serviço de segurança por passo: Um serviço de segurança em tempo de inferência, fora do modelo, que avalia cada ação que o modelo propõe antes de ser executada.
• Instruções de sistema: Os programadores podem especificar ainda que o agente recuse ou peça confirmação do utilizador antes de tomar tipos específicos de ações de alto risco. (Exemplo na documentação).

Recomendações adicionais para programadores sobre medidas de segurança e melhores práticas podem ser encontradas na nossa documentação. Embora estas salvaguardas sejam concebidas para reduzir o risco, instamos todos os programadores a testar cuidadosamente os seus sistemas antes do lançamento.

Como os testadores iniciais o usaram

Equipas do Google já implementaram o modelo em produção para casos de uso como testes de UI, o que pode tornar o desenvolvimento de software significativamente mais rápido. Versões deste modelo também têm alimentado o Project Mariner, o Firebase Testing Agent, e algumas capacidades agenticas no AI Mode in Search.

Utilizadores do nosso programa de acesso antecipado também têm testado o modelo para alimentar assistentes pessoais, automação de fluxos de trabalho e testes de UI, e têm visto resultados fortes. Nas suas próprias palavras:

"Muitos dos nossos fluxos de trabalho exigem interação com interfaces destinadas a humanos onde a velocidade é especialmente importante. O Gemini 2.5 Computer Use está muito à frente da concorrência,

sendo frequentemente 50% mais rápido e melhor

do que as próximas melhores soluções que considerámos."

-

Poke.com

, um assistente de IA proativo no iMessage, WhatsApp e SMS com múltiplos fluxos de trabalho de terceiros e agenticos.

"Os nossos agentes funcionam de forma totalmente autónoma, realizando trabalho onde pequenos erros na recolha e análise de dados são inaceitáveis. O Gemini 2.5 Computer Use superou outros modelos na análise fiável de contexto em casos complexos,

aumentando o desempenho em até 18%

nas nossas avaliações mais difíceis." —

Autotab

, um agente de IA plug-and-play.

"Quando os scripts convencionais encontram falhas, o modelo avalia o estado atual do ecrã e determina autonomamente as ações necessárias para concluir o fluxo de trabalho. Esta implementação agora

reabilita com sucesso mais de 60% das execuções

(que costumavam levar vários dias a corrigir)." —

Equipa da plataforma de pagamentos do Google, que implementou o modelo Computer Use como um mecanismo de contingência para lidar com testes de UI frágeis de ponta a ponta que contribuíam para 25% de todas as falhas de teste.

Como começar

A partir de hoje, o modelo está disponível em pré-visualização pública, acessível através da API Gemini no Google AI Studio e no Vertex AI.

• Experimente agora: Num ambiente de demonstração hospedado pela Browserbase.
• Comece a construir: Mergulhe na nossa referência e documentação (veja documentação do Vertex AI para uso empresarial) para aprender a construir o seu próprio loop de agente localmente com Playwright ou numa VM cloud com Browserbase.
• Junte-se à comunidade: Estamos entusiasmados por ver o que vai construir. Partilhe feedback e ajude a guiar o nosso roadmap no nosso Fórum de Programadores.