Mô hình Computer Use của chúng tôi là một mô hình chuyên biệt được xây dựng dựa trên khả năng của Gemini 2.5 Pro để hỗ trợ các tác nhân có thể tương tác với giao diện người dùng, hiện đang ở dạng xem trước (preview) qua Gemini API trong Google AI Studio và Vertex AI.
Đầu năm nay, chúng tôi đã đề cập rằng chúng tôi đang mang khả năng computer use đến các nhà phát triển thông qua Gemini API. Hôm nay, chúng tôi phát hành mô hình Gemini 2.5 Computer Use, mô hình chuyên biệt mới của chúng tôi được xây dựng dựa trên khả năng hiểu hình ảnh và suy luận của Gemini 2.5 Pro, hỗ trợ các tác nhân có khả năng tương tác với giao diện người dùng (UI). Mô hình này vượt trội so với các giải pháp thay thế hàng đầu trên nhiều tiêu chuẩn đánh giá điều khiển web và di động, đồng thời có độ trễ thấp hơn. Các nhà phát triển có thể truy cập các khả năng này qua Gemini API trong Google AI Studio và Vertex AI.
Mặc dù các mô hình AI có thể giao tiếp với phần mềm thông qua các API có cấu trúc, nhiều tác vụ kỹ thuật số vẫn yêu cầu tương tác trực tiếp với giao diện người dùng đồ họa, ví dụ như điền và gửi biểu mẫu. Để hoàn thành các tác vụ này, các tác nhân phải điều hướng các trang web và ứng dụng giống như cách con người làm: bằng cách nhấp chuột, gõ văn bản và cuộn trang. Khả năng điền biểu mẫu một cách tự nhiên, thao tác với các thành phần tương tác như menu thả xuống và bộ lọc, cũng như hoạt động sau khi đăng nhập là một bước quan trọng tiếp theo trong việc xây dựng các tác nhân đa năng mạnh mẽ.
Cách thức hoạt động
Các khả năng cốt lõi của mô hình được hiển thị thông qua công cụ computer_use mới trong Gemini API và nên được vận hành trong một vòng lặp. Đầu vào cho công cụ này bao gồm yêu cầu của người dùng, ảnh chụp màn hình của môi trường và lịch sử các hành động gần đây. Đầu vào cũng có thể chỉ định có nên loại trừ các chức năng khỏi danh sách đầy đủ các hành động UI được hỗ trợ hay chỉ định thêm các chức năng tùy chỉnh.
Luồng hoạt động của mô hình Gemini 2.5 Computer Use
Sau đó, mô hình sẽ phân tích các đầu vào này và tạo ra phản hồi, thường là một lệnh gọi hàm đại diện cho một trong các hành động UI như nhấp chuột hoặc gõ văn bản. Phản hồi này cũng có thể chứa yêu cầu xác nhận từ người dùng cuối, điều này bắt buộc đối với một số hành động nhất định như thực hiện giao dịch mua. Mã phía máy khách sau đó thực thi hành động đã nhận được.
Sau khi hành động được thực thi, một ảnh chụp màn hình mới của GUI và URL hiện tại sẽ được gửi lại cho mô hình Computer Use như một phản hồi chức năng, khởi động lại vòng lặp. Quá trình lặp đi lặp lại này tiếp tục cho đến khi tác vụ hoàn thành, xảy ra lỗi hoặc tương tác bị kết thúc bởi phản hồi an toàn hoặc quyết định của người dùng.
Mô hình Gemini 2.5 Computer Use được tối ưu hóa chủ yếu cho trình duyệt web, nhưng cũng cho thấy tiềm năng rất lớn cho các tác vụ điều khiển UI trên thiết bị di động. Mô hình này chưa được tối ưu hóa cho việc điều khiển ở cấp độ hệ điều hành trên máy tính để bàn.
Hãy xem một vài bản demo dưới đây để thấy mô hình hoạt động (được trình chiếu ở tốc độ 3X).
Yêu cầu:
“Từ
, lấy tất cả thông tin chi tiết cho bất kỳ thú cưng nào có nơi cư trú tại California và thêm chúng làm khách trong hệ thống CRM spa của tôi tại
. Sau đó, sắp xếp một cuộc hẹn tái khám với chuyên gia Anima Lavar vào ngày 10 tháng 10 bất cứ lúc nào sau 8 giờ sáng. Lý do của buổi khám giống với phương pháp điều trị mà họ yêu cầu.”
Yêu cầu: “
Câu lạc bộ nghệ thuật của tôi đã động não các nhiệm vụ trước hội chợ của chúng tôi. Bảng ghi chú rất lộn xộn và tôi cần bạn giúp sắp xếp các nhiệm vụ vào một số danh mục mà tôi đã tạo. Hãy truy cập
và đảm bảo các ghi chú nằm rõ ràng trong các phần phù hợp. Kéo chúng đến đó nếu chưa đúng.”
0:34
Hiệu suất hoạt động
Mô hình Gemini 2.5 Computer Use thể hiện hiệu suất mạnh mẽ trên nhiều tiêu chuẩn đánh giá điều khiển web và di động. Bảng dưới đây bao gồm kết quả từ các số liệu tự báo cáo, các đánh giá do Browserbase thực hiện và các đánh giá do chúng tôi tự thực hiện. Chi tiết đánh giá có sẵn trong Gemini 2.5 Computer Use System Card và trong bài đăng trên blog của Browserbase. Trừ khi có chỉ định khác, điểm số được hiển thị là cho các công cụ computer use được hiển thị qua API.
Gemini 2.5 Computer Use vượt trội so với các giải pháp thay thế hàng đầu trên nhiều tiêu chuẩn đánh giá
Mô hình cung cấp chất lượng hàng đầu cho việc điều khiển trình duyệt với độ trễ thấp nhất, được đo bằng hiệu suất trên bộ kiểm tra (harness) của Browserbase cho Online-Mind2Web.
Gemini 2.5 Computer Use mang lại độ chính xác cao trong khi vẫn duy trì độ trễ thấp
Cách chúng tôi tiếp cận vấn đề an toàn
Chúng tôi tin rằng cách duy nhất để xây dựng các tác nhân AI mang lại lợi ích cho tất cả mọi người là phải có trách nhiệm ngay từ đầu. Các tác nhân AI điều khiển máy tính mang đến những rủi ro đặc biệt, bao gồm việc người dùng cố tình sử dụng sai mục đích, hành vi không mong muốn của mô hình, cũng như các cuộc tấn công chèn prompt (prompt injection) và lừa đảo trong môi trường web. Do đó, việc triển khai các biện pháp bảo vệ an toàn một cách cẩn thận là rất quan trọng.
Chúng tôi đã tích hợp trực tiếp các tính năng an toàn vào mô hình để giải quyết ba rủi ro chính này (được mô tả trong Gemini 2.5 Computer Use System Card).
Hơn nữa, chúng tôi cũng cung cấp cho các nhà phát triển các biện pháp kiểm soát an toàn, cho phép các nhà phát triển ngăn mô hình tự động hoàn thành các hành động có rủi ro cao hoặc có hại tiềm ẩn. Ví dụ về các hành động này bao gồm làm tổn hại tính toàn vẹn của hệ thống, xâm phạm bảo mật, vượt qua CAPTCHA hoặc điều khiển các thiết bị y tế. Các biện pháp kiểm soát bao gồm:
- Dịch vụ an toàn theo từng bước: Một dịch vụ an toàn trong thời gian suy luận (inference-time), nằm ngoài mô hình, đánh giá từng hành động mà mô hình đề xuất trước khi nó được thực thi.
- Hướng dẫn hệ thống: Các nhà phát triển có thể chỉ định thêm rằng tác nhân sẽ từ chối hoặc yêu cầu xác nhận của người dùng trước khi thực hiện các loại hành động có rủi ro cao cụ thể. (Ví dụ trong tài liệu).
Các khuyến nghị bổ sung dành cho nhà phát triển về các biện pháp an toàn và thực tiễn tốt nhất có thể được tìm thấy trong tài liệu của chúng tôi. Mặc dù các biện pháp bảo vệ này được thiết kế để giảm thiểu rủi ro, chúng tôi kêu gọi tất cả các nhà phát triển kiểm tra kỹ lưỡng hệ thống của họ trước khi ra mắt.
Cách những người thử nghiệm sớm đã sử dụng nó
Các nhóm của Google đã triển khai mô hình này vào sản xuất cho các trường hợp sử dụng bao gồm kiểm thử UI, điều này có thể giúp quá trình phát triển phần mềm nhanh hơn đáng kể. Các phiên bản của mô hình này cũng đã hỗ trợ Project Mariner, Firebase Testing Agent và một số khả năng tác nhân (agentic capabilities) trong AI Mode trong Tìm kiếm.
Người dùng từ chương trình truy cập sớm của chúng tôi cũng đã thử nghiệm mô hình để hỗ trợ trợ lý cá nhân, tự động hóa quy trình làm việc và kiểm thử UI, đồng thời đã đạt được kết quả mạnh mẽ. Theo lời của họ:
“Nhiều quy trình làm việc của chúng tôi yêu cầu tương tác với các giao diện được thiết kế cho con người, nơi tốc độ đặc biệt quan trọng. Gemini 2.5 Computer Use vượt xa đối thủ cạnh tranh,
thường nhanh hơn 50% và tốt hơn
so với các giải pháp tốt nhất tiếp theo mà chúng tôi đã xem xét.”
-
, một trợ lý AI chủ động trên iMessage, WhatsApp và SMS với nhiều quy trình làm việc của bên thứ ba và tác nhân.
“Các tác nhân của chúng tôi hoạt động hoàn toàn tự động, thực hiện công việc mà những sai sót nhỏ trong việc thu thập và phân tích dữ liệu là không thể chấp nhận được. Gemini 2.5 Computer Use hoạt động tốt hơn các mô hình khác trong việc phân tích ngữ cảnh một cách đáng tin cậy trong các trường hợp phức tạp,
cải thiện hiệu suất lên đến 18%
trong các bài đánh giá khó nhất của chúng tôi.” —
, một tác nhân AI dạng plug-and-play.
“Khi các tập lệnh thông thường gặp lỗi, mô hình sẽ đánh giá trạng thái màn hình hiện tại và tự động xác định các hành động cần thiết để hoàn thành quy trình làm việc. Việc triển khai này hiện
khôi phục thành công hơn 60% các lần thực thi
(mà trước đây phải mất nhiều ngày để sửa chữa).” —
Nhóm nền tảng thanh toán của Google, đã triển khai mô hình Computer Use như một cơ chế dự phòng để giải quyết các bài kiểm thử UI đầu cuối dễ vỡ (fragile) vốn đã góp phần vào 25% tổng số lỗi kiểm thử.
Cách bắt đầu
Bắt đầu từ hôm nay, mô hình này có sẵn ở dạng xem trước công khai (public preview), có thể truy cập qua Gemini API trên Google AI Studio và Vertex AI.
- Dùng thử ngay: Trong môi trường demo được lưu trữ bởi Browserbase.
- Bắt đầu xây dựng: Đi sâu vào tài liệu tham khảo và hướng dẫn của chúng tôi (xem tài liệu Vertex AI dành cho doanh nghiệp) để tìm hiểu cách xây dựng vòng lặp tác nhân của riêng bạn cục bộ với Playwright hoặc trong một máy ảo đám mây với Browserbase.
- Tham gia cộng đồng: Chúng tôi rất hào hứng muốn xem bạn sẽ xây dựng được điều gì. Hãy chia sẻ phản hồi và giúp định hướng lộ trình phát triển của chúng tôi trong Diễn đàn nhà phát triển của chúng tôi.
