Nuestro modelo Computer Use es un modelo especializado construido sobre las capacidades de Gemini 2.5 Pro para potenciar agentes que pueden interactuar con interfaces de usuario. Está disponible en vista previa a través de la API de Gemini en Google AI Studio y Vertex AI.
A principios de este año, mencionamos que estábamos incorporando capacidades de uso de computadoras a los desarrolladores a través de la API de Gemini. Hoy, lanzamos el modelo Gemini 2.5 Computer Use, nuestro nuevo modelo especializado construido sobre las capacidades de comprensión visual y razonamiento de Gemini 2.5 Pro, que impulsa agentes capaces de interactuar con interfaces de usuario (IU). Supera a las alternativas líderes en múltiples benchmarks de control web y móvil, todo con una latencia más baja. Los desarrolladores pueden acceder a estas capacidades a través de la API de Gemini en Google AI Studio y Vertex AI.
Si bien los modelos de IA pueden interactuar con software a través de APIs estructuradas, muchas tareas digitales aún requieren interacción directa con interfaces gráficas de usuario, por ejemplo, llenar y enviar formularios. Para completar estas tareas, los agentes deben navegar por páginas web y aplicaciones tal como lo hacen los humanos: haciendo clic, escribiendo y desplazándose. La capacidad de llenar formularios de forma nativa, manipular elementos interactivos como menús desplegables y filtros, y operar detrás de inicios de sesión es un paso crucial para construir agentes potentes y de propósito general.
Cómo funciona
Las capacidades principales del modelo se exponen a través de la nueva herramienta computer_use en la API de Gemini y deben operarse dentro de un bucle. Las entradas a la herramienta son la solicitud del usuario, una captura de pantalla del entorno y un historial de acciones recientes. La entrada también puede especificar si se deben excluir funciones de la lista completa de acciones de IU compatibles o agregar funciones personalizadas adicionales.
Flujo del modelo Gemini 2.5 Computer Use
Luego, el modelo analiza estas entradas y genera una respuesta, típicamente una llamada a función que representa una de las acciones de la IU, como hacer clic o escribir. Esta respuesta también puede contener una solicitud de confirmación del usuario final, que es necesaria para ciertas acciones como realizar una compra. El código del lado del cliente ejecuta entonces la acción recibida.
Después de ejecutar la acción, se envía una nueva captura de pantalla de la GUI y la URL actual al modelo Computer Use como respuesta de función, reiniciando el bucle. Este proceso iterativo continúa hasta que la tarea se completa, ocurre un error o la interacción es terminada por una respuesta de seguridad o una decisión del usuario.
El modelo Gemini 2.5 Computer Use está optimizado principalmente para navegadores web, pero también muestra un gran potencial para tareas de control de IU móvil. Aún no está optimizado para el control a nivel de sistema operativo de escritorio.
Mira algunas demostraciones a continuación para ver el modelo en acción (mostrado aquí a 3X de velocidad).
Prompt:
“Desde
, obtén todos los detalles de cualquier mascota con residencia en California y agrégalas como invitada en mi CRM de spa en
. Luego, programa una cita de seguimiento con la especialista Anima Lavar para el 10 de octubre en cualquier horario después de las 8 a.m. El motivo de la visita es el mismo que el tratamiento solicitado.”
Prompt: “
Mi club de arte generó ideas de tareas antes de nuestra feria. El tablero está caótico y necesito tu ayuda para organizar las tareas en algunas categorías que creé. Ve a
y asegúrate de que las notas estén claramente en las secciones correctas. Arrástralas allí si no lo están.”
0:34
Rendimiento
El modelo Gemini 2.5 Computer Use demuestra un rendimiento sólido en múltiples benchmarks de control web y móvil. La tabla a continuación incluye resultados de números auto-reportados, evaluaciones realizadas por Browserbase y evaluaciones que realizamos nosotros mismos. Los detalles de las evaluaciones están disponibles en la Ficha técnica del modelo Gemini 2.5 Computer Use y en la publicación del blog de Browserbase. A menos que se indique lo contrario, los puntajes mostrados corresponden a herramientas de uso de computadora expuestas a través de la API.
Gemini 2.5 Computer Use supera a las alternativas líderes en múltiples benchmarks
El modelo ofrece calidad líder para el control del navegador con la latencia más baja, según lo medido por el rendimiento en el harness de Browserbase para Online-Mind2Web.
Gemini 2.5 Computer Use ofrece alta precisión mientras mantiene baja latencia
Enfoque de seguridad
Creemos que la única forma de construir agentes que beneficien a todos es ser responsables desde el principio. Los agentes de IA que controlan computadoras introducen riesgos únicos, incluido el mal uso intencional por parte de los usuarios, comportamiento inesperado del modelo e inyecciones de prompts y estafas en el entorno web. Por lo tanto, es crucial implementar barreras de seguridad con cuidado.
Hemos entrenado funciones de seguridad directamente en el modelo para abordar estos tres riesgos clave (descritos en la Ficha técnica del modelo Gemini 2.5 Computer Use).
Además, también proporcionamos controles de seguridad a los desarrolladores, que les permiten evitar que el modelo complete automáticamente acciones potencialmente de alto riesgo o dañinas. Ejemplos de estas acciones incluyen dañar la integridad de un sistema, comprometer la seguridad, eludir CAPTCHAs o controlar dispositivos médicos. Los controles:
- Servicio de seguridad paso a paso: Un servicio de seguridad fuera del modelo, en tiempo de inferencia, que evalúa cada acción que el modelo propone antes de que se ejecute.
- Instrucciones del sistema: Los desarrolladores pueden especificar además que el agente rechace o solicite confirmación del usuario antes de realizar ciertos tipos de acciones de alto riesgo. (Ejemplo en la documentación).
Recomendaciones adicionales para desarrolladores sobre medidas de seguridad y mejores prácticas se pueden encontrar en nuestra documentación. Si bien estas salvaguardas están diseñadas para reducir el riesgo, instamos a todos los desarrolladores a probar exhaustivamente sus sistemas antes del lanzamiento.
Uso por parte de primeros evaluadores
Los equipos de Google ya han implementado el modelo en producción para casos de uso como pruebas de IU, lo que puede hacer que el desarrollo de software sea significativamente más rápido. Versiones de este modelo también han estado impulsando Project Mariner, el Agente de Pruebas de Firebase y algunas capacidades agentivas en AI Mode in Search.
Usuarios de nuestro programa de acceso temprano también han estado probando el modelo para potenciar asistentes personales, automatización de flujos de trabajo y pruebas de IU, y han visto resultados sólidos. En sus propias palabras:
“Muchos de nuestros flujos de trabajo requieren interactuar con interfaces diseñadas para humanos donde la velocidad es especialmente importante. Gemini 2.5 Computer Use está muy por delante de la competencia,
a menudo es un 50% más rápido y mejor
que las siguientes mejores soluciones que hemos considerado.”
-
, un asistente de IA proactivo en iMessage, WhatsApp y SMS con múltiples flujos de trabajo de terceros y agentivos.
“Nuestros agentes operan de forma totalmente autónoma, realizando trabajos donde los pequeños errores en la recopilación y el análisis de datos son inaceptables. Gemini 2.5 Computer Use superó a otros modelos en el análisis confiable del contexto en casos complejos,
aumentando el rendimiento hasta en un 18%
en nuestras evaluaciones más difíciles.” —
, un agente de IA plug-and-play.
“Cuando los scripts convencionales fallan, el modelo evalúa el estado actual de la pantalla y determina de forma autónoma las acciones necesarias para completar el flujo de trabajo. Esta implementación ahora
rehabilita con éxito más del 60% de las ejecuciones
(que solían llevar varios días de reparación).” —
El equipo de la plataforma de pagos de Google, que implementó el modelo Computer Use como un mecanismo de contingencia para solucionar pruebas de IU frágiles de extremo a extremo que contribuían al 25% de todas las fallas en las pruebas.
Cómo empezar
A partir de hoy, el modelo está disponible en vista previa pública, accesible a través de la API de Gemini en Google AI Studio y Vertex AI.
- Pruébalo ahora: En un entorno de demostración alojado por Browserbase.
- Empieza a construir: Sumérgete en nuestra referencia y documentación (consulta la documentación de Vertex AI para uso empresarial) para aprender cómo construir tu propio bucle de agente localmente con Playwright o en una VM en la nube con Browserbase.
- Únete a la comunidad: Estamos emocionados de ver lo que construyes. Comparte comentarios y ayúdanos a guiar nuestra hoja de ruta en nuestro Foro de Desarrolladores.
