Nuestro modelo Computer Use es un modelo especializado basado en las capacidades de Gemini 2.5 Pro para potenciar agentes que pueden interactuar con interfaces de usuario, disponible en vista previa a través de la API de Gemini en Google AI Studio y Vertex AI.
A principios de este año, mencionamos que íbamos a llevar las capacidades de uso de computadora a los desarrolladores a través de la API de Gemini. Hoy, lanzamos el modelo Gemini 2.5 Computer Use, nuestro nuevo modelo especializado basado en las capacidades de comprensión visual y razonamiento de Gemini 2.5 Pro, que impulsa agentes capaces de interactuar con interfaces de usuario (IU). Supera a las alternativas líderes en múltiples benchmarks de control web y móvil, todo con una latencia más baja. Los desarrolladores pueden acceder a estas capacidades a través de la API de Gemini en Google AI Studio y Vertex AI.
Si bien los modelos de IA pueden interactuar con el software a través de API estructuradas, muchas tareas digitales aún requieren interacción directa con interfaces gráficas de usuario, por ejemplo, completar y enviar formularios. Para realizar estas tareas, los agentes deben navegar por páginas web y aplicaciones como lo hacen los humanos: haciendo clic, escribiendo y desplazándose. La capacidad de completar formularios de forma nativa, manipular elementos interactivos como menús desplegables y filtros, y operar detrás de inicios de sesión es un paso crucial en la construcción de agentes potentes y de propósito general.
Cómo funciona
Las capacidades principales del modelo se exponen a través de la nueva herramienta computer_use en la API de Gemini y deben operarse dentro de un bucle. Las entradas a la herramienta son la solicitud del usuario, una captura de pantalla del entorno y un historial de acciones recientes. La entrada también puede especificar si se deben excluir funciones de la lista completa de acciones de IU compatibles o especificar funciones personalizadas adicionales para incluir.
Flujo del modelo Gemini 2.5 Computer Use
Luego, el modelo analiza estas entradas y genera una respuesta, típicamente una llamada a función que representa una de las acciones de IU, como hacer clic o escribir. Esta respuesta también puede contener una solicitud de confirmación del usuario final, que es necesaria para ciertas acciones como realizar una compra. El código del lado del cliente ejecuta entonces la acción recibida.
Después de que se ejecuta la acción, se envía una nueva captura de pantalla de la GUI y la URL actual al modelo Computer Use como respuesta de función, reiniciando el bucle. Este proceso iterativo continúa hasta que la tarea se completa, ocurre un error o la interacción se termina por una respuesta de seguridad o decisión del usuario.
El modelo Gemini 2.5 Computer Use está optimizado principalmente para navegadores web, pero también muestra un fuerte potencial para tareas de control de IU móvil. Aún no está optimizado para el control a nivel de sistema operativo de escritorio.
Mira algunas demostraciones a continuación para ver el modelo en acción (mostradas a 3X de velocidad).
Instrucción:
“Desde
, obtén todos los detalles de cualquier mascota con residencia en California y agrégalos como invitado en mi CRM de spa en
. Luego, programa una cita de seguimiento con la especialista Anima Lavar para el 10 de octubre en cualquier momento después de las 8 a.m. El motivo de la visita es el mismo que el tratamiento solicitado.”
Instrucción: “
Mi club de arte hizo una lluvia de ideas sobre las tareas antes de nuestra feria. El tablero está caótico y necesito tu ayuda para organizar las tareas en algunas categorías que creé. Ve a
y asegúrate de que las notas estén claramente en las secciones correctas. Arrástralas allí si no lo están.”
0:34
Rendimiento
El modelo Gemini 2.5 Computer Use demuestra un rendimiento sólido en múltiples benchmarks de control web y móvil. La siguiente tabla incluye resultados de números auto-reportados, evaluaciones realizadas por Browserbase y evaluaciones que realizamos nosotros mismos. Los detalles de evaluación están disponibles en la Ficha técnica del sistema Gemini 2.5 Computer Use y en la publicación del blog de Browserbase. A menos que se indique lo contrario, las puntuaciones mostradas corresponden a herramientas de uso de computadora expuestas a través de API.
Gemini 2.5 Computer Use supera a las alternativas líderes en múltiples benchmarks
El modelo ofrece calidad líder para el control del navegador con la latencia más baja, según lo medido por el rendimiento en el conjunto de pruebas de Browserbase para Online-Mind2Web.
Gemini 2.5 Computer Use ofrece alta precisión manteniendo baja latencia
Cómo abordamos la seguridad
Creemos que la única forma de construir agentes que beneficien a todos es ser responsables desde el principio. Los agentes de IA que controlan computadoras introducen riesgos únicos, incluido el uso indebido intencional por parte de los usuarios, comportamiento inesperado del modelo e inyecciones de instrucciones y estafas en el entorno web. Por lo tanto, es fundamental implementar barreras de seguridad con cuidado.
Hemos entrenado funciones de seguridad directamente en el modelo para abordar estos tres riesgos clave (descritos en la Ficha técnica del sistema Gemini 2.5 Computer Use).
Además, proporcionamos a los desarrolladores controles de seguridad que les permiten evitar que el modelo complete automáticamente acciones potencialmente de alto riesgo o dañinas. Ejemplos de estas acciones incluyen dañar la integridad de un sistema, comprometer la seguridad, eludir CAPTCHAs o controlar dispositivos médicos. Los controles:
- Servicio de seguridad por paso: Un servicio de seguridad externo al modelo, en tiempo de inferencia, que evalúa cada acción que el modelo propone antes de que se ejecute.
- Instrucciones del sistema: Los desarrolladores pueden especificar además que el agente rechace o solicite confirmación del usuario antes de realizar ciertos tipos de acciones de alto riesgo. (Ejemplo en la documentación).
Recomendaciones adicionales para desarrolladores sobre medidas de seguridad y mejores prácticas se pueden encontrar en nuestra documentación. Si bien estas salvaguardas están diseñadas para reducir el riesgo, instamos a todos los desarrolladores a probar a fondo sus sistemas antes del lanzamiento.
Cómo lo han utilizado los evaluadores iniciales
Los equipos de Google ya han desplegado el modelo en producción para casos de uso como pruebas de IU, lo que puede acelerar significativamente el desarrollo de software. Versiones de este modelo también han estado impulsando Project Mariner, el Agente de pruebas de Firebase y algunas capacidades agentivas en AI Mode en Búsqueda.
Los usuarios de nuestro programa de acceso anticipado también han estado probando el modelo para impulsar asistentes personales, automatización de flujos de trabajo y pruebas de IU, y han visto resultados sólidos. En sus propias palabras:
“Muchos de nuestros flujos de trabajo requieren interactuar con interfaces diseñadas para humanos donde la velocidad es especialmente importante. Gemini 2.5 Computer Use está muy por delante de la competencia,
a menudo es un 50% más rápido y mejor
que las siguientes mejores soluciones que hemos considerado.”
-
, un asistente de IA proactivo en iMessage, WhatsApp y SMS con múltiples flujos de trabajo de terceros y agentivos.
“Nuestros agentes operan de forma totalmente autónoma, realizando trabajos donde los pequeños errores en la recopilación y el análisis de datos son inaceptables. Gemini 2.5 Computer Use superó a otros modelos en el análisis fiable del contexto en casos complejos,
aumentando el rendimiento hasta en un 18%
en nuestras evaluaciones más difíciles.” —
, un agente de IA integrable.
“Cuando los scripts convencionales encuentran fallos, el modelo evalúa el estado actual de la pantalla y determina de forma autónoma las acciones necesarias para completar el flujo de trabajo. Esta implementación ahora
rehabilita con éxito más del 60% de las ejecuciones
(que solían tardar varios días en arreglarse).” —
El equipo de la plataforma de pagos de Google, que implementó el modelo Computer Use como un mecanismo de contingencia para abordar pruebas de IU de extremo a extremo frágiles que contribuían al 25% de todos los fallos en las pruebas.
Cómo empezar
A partir de hoy, el modelo está disponible en vista previa pública, accesible a través de la API de Gemini en Google AI Studio y Vertex AI.
- Pruébelo ahora: En un entorno de demostración alojado por Browserbase.
- Comience a construir: Sumérjase en nuestra referencia y documentación (consulte la documentación de Vertex AI para uso empresarial) para aprender a construir su propio bucle de agente localmente con Playwright o en una VM en la nube con Browserbase.
- Únase a la comunidad: Estamos emocionados de ver lo que construye. Comparta comentarios y ayude a guiar nuestra hoja de ruta en nuestro Foro de desarrolladores.
![[Memo] Tu jefe se mueve al triple de velocidad](/cdn-cgi/image/width=1920,quality=90,format=auto,metadata=none/https%3A%2F%2Fcms-assets.youmind.com%2Fmedia%2F1783963982361_vdddap_HNDtsxJbcAAoE0q.jpg)
