컴퓨터 사용 모델
저희 컴퓨터 사용 모델은 Gemini 2.5 Pro 의 기능을 기반으로 사용자 인터페이스와 상호작용할 수 있는 에이전트를 구동하는 특화 모델입니다. Google AI Studio 및 Vertex AI 의 Gemini API 를 통해 프리뷰로 제공됩니다.
올해 초, 저희는 언급한 바와 같이 Gemini API 를 통해 개발자에게 컴퓨터 사용 기능을 제공하고 있습니다. 오늘, 저희는 Gemini 2.5 Computer Use 모델을 공개합니다. 이 모델은 Gemini 2.5 Pro 의 시각적 이해 및 추론 기능을 기반으로 구축된 새로운 특화 모델로, 사용자 인터페이스(UI)와 상호작용할 수 있는 에이전트를 구동합니다. 여러 웹 및 모바일 제어 벤치마크에서 경쟁 대안을 능가하는 성능을 보여주며, 지연 시간도 더 낮습니다. 개발자는 Google AI Studio 및 Vertex AI 의 Gemini API 를 통해 이러한 기능에 액세스할 수 있습니다.
AI 모델은 구조화된 API 를 통해 소프트웨어와 인터페이스할 수 있지만, 많은 디지털 작업은 여전히 그래픽 사용자 인터페이스와의 직접적인 상호작용(예: 양식 작성 및 제출)을 필요로 합니다. 이러한 작업을 완료하려면 에이전트가 인간처럼 웹 페이지와 애플리케이션을 탐색해야 합니다. 즉, 클릭, 입력, 스크롤이 필요합니다. 양식을 기본적으로 작성하고, 드롭다운 및 필터와 같은 대화형 요소를 조작하며, 로그인 뒤에서 작동하는 능력은 강력한 범용 에이전트를 구축하는 데 있어 중요한 다음 단계입니다.
작동 방식
모델의 핵심 기능은 Gemini API 의 새로운 computer_use 도구를 통해 노출되며, 루프 내에서 작동해야 합니다. 도구에 대한 입력은 사용자 요청, 환경의 스크린샷, 최근 작업 내역입니다. 입력에는 지원되는 UI 작업 전체 목록에서 함수를 제외할지, 아니면 포함할 추가 사용자 정의 함수를 지정할지 여부도 포함될 수 있습니다.
Gemini 2.5 Computer Use 모델 흐름
그런 다음 모델은 이러한 입력을 분석하고 응답(일반적으로 클릭 또는 입력과 같은 UI 작업 중 하나를 나타내는 함수 호출)을 생성합니다. 이 응답에는 최종 사용자 확인 요청이 포함될 수도 있으며, 이는 구매와 같은 특정 작업에 필요합니다. 그런 다음 클라이언트 측 코드가 수신된 작업을 실행합니다.
작업이 실행된 후, GUI 의 새로운 스크린샷과 현재 URL 이 함수 응답으로 Computer Use 모델로 다시 전송되어 루프가 다시 시작됩니다. 이 반복 프로세스는 작업이 완료되거나, 오류가 발생하거나, 안전 응답 또는 사용자 결정에 의해 상호작용이 종료될 때까지 계속됩니다.
Gemini 2.5 Computer Use 모델은 주로 웹 브라우저에 최적화되어 있지만, 모바일 UI 제어 작업에서도 강력한 가능성을 보여줍니다. 아직 데스크톱 OS 수준 제어에는 최적화되지 않았습니다.
아래 몇 가지 데모를 확인하여 모델이 실제로 작동하는 모습을 살펴보세요(3배 속도로 표시됨).
프롬프트:
"From
, 캘리포니아 거주 반려동물의 모든 세부 정보를 가져와 내 스파 CRM 에 게스트로 추가해 줘.
그리고 전문가 Anima Lavar 와의 후속 방문 예약을 10월 10일 오전 8시 이후에 잡아줘. 방문 사유는 요청한 치료와 동일해."
프롬프트: "
내 아트 클럽이 박람회를 앞두고 할 일을 브레인스토밍했어. 게시판이 너무 혼란스러워서 내가 만든 몇 가지 카테고리로 작업을 정리하는 데 도움이 필요해.
으로 가서 메모가 올바른 섹션에 명확히 있도록 해줘. 그렇지 않으면 거기로 드래그해줘."
0:34
성능
Gemini 2.5 Computer Use 모델은 여러 웹 및 모바일 제어 벤치마크에서 강력한 성능을 보여줍니다. 아래 표에는 자체 보고된 수치, Browserbase 가 실행한 평가, 그리고 저희가 직접 실행한 평가 결과가 포함되어 있습니다. 평가 세부 정보는 Gemini 2.5 Computer Use System Card 및 Browserbase 블로그 게시물에서 확인할 수 있습니다. 별도로 명시되지 않은 한, 표시된 점수는 API 를 통해 노출된 컴퓨터 사용 도구에 대한 것입니다.
Gemini 2.5 Computer Use, 여러 벤치마크에서 경쟁 대안을 능가
이 모델은 Online-Mind2Web 에 대한 Browserbase 하네스 성능 측정 결과, 가장 낮은 지연 시간으로 브라우저 제어에서 최고 수준의 품질을 제공합니다.
Gemini 2.5 Computer Use, 낮은 지연 시간을 유지하면서 높은 정확도 제공
안전 접근 방식
저희는 모두에게 혜택을 주는 에이전트를 구축하는 유일한 방법은 처음부터 책임감을 갖는 것이라고 믿습니다. 컴퓨터를 제어하는 AI 에이전트는 사용자의 의도적인 오용, 예상치 못한 모델 동작, 웹 환경에서의 프롬프트 인젝션 및 사기 등 고유한 위험을 초래합니다. 따라서 안전 가드레일을 신중하게 구현하는 것이 중요합니다.
저희는 이러한 세 가지 주요 위험을 해결하기 위해 모델에 직접 안전 기능을 학습시켰습니다(Gemini 2.5 Computer Use System Card에 설명됨).
또한, 개발자에게 안전 제어 기능을 제공하여 잠재적으로 위험이 높거나 유해한 작업을 모델이 자동 완성하지 못하도록 방지할 수 있습니다. 이러한 작업의 예로는 시스템 무결성 손상, 보안 위협, CAPTCHA 우회, 의료 기기 제어 등이 있습니다. 제어 기능:
- 단계별 안전 서비스: 모델이 제안한 각 작업을 실행하기 전에 평가하는 모델 외부의 추론 시간 안전 서비스입니다.
- 시스템 지침: 개발자는 특정 유형의 고위험 작업을 수행하기 전에 에이전트가 거부하거나 사용자 확인을 요청하도록 추가로 지정할 수 있습니다. (문서의 예시)
안전 조치 및 모범 사례에 대한 개발자 추가 권장 사항은 문서에서 확인할 수 있습니다. 이러한 안전 장치는 위험을 줄이기 위해 설계되었지만, 모든 개발자는 출시 전에 시스템을 철저히 테스트할 것을 권장합니다.
초기 테스터들의 사용 사례
Google 팀은 이미 소프트웨어 개발을 획기적으로 가속화할 수 있는 UI 테스트 등의 사용 사례를 위해 이 모델을 프로덕션에 배포했습니다. 이 모델의 버전은 Project Mariner, Firebase Testing Agent, AI Mode in Search 의 일부 에이전트 기능을 지원하고 있습니다.
조기 액세스 프로그램의 사용자들도 이 모델을 개인 비서, 워크플로우 자동화, UI 테스트에 테스트해 왔으며 강력한 결과를 확인했습니다. 사용자들의 말을 직접 들어보겠습니다.
"많은 워크플로우가 특히 속도가 중요한 인간용 인터페이스와의 상호작용을 필요로 합니다. Gemini 2.5 Computer Use 는 경쟁 제품보다 훨씬 앞서 있으며,
종종 50% 더 빠르고 더 나은
성능을 보여줍니다."
-
, iMessage, WhatsApp 및 SMS 에서 여러 타사 및 에이전틱 워크플로우를 갖춘 능동형 AI 비서입니다.
"저희 에이전트는 완전히 자율적으로 작동하며, 데이터 수집 및 구문 분석에서 작은 실수도 허용되지 않는 작업을 수행합니다. Gemini 2.5 Computer Use 는 복잡한 사례에서 컨텍스트를 안정적으로 구문 분석하는 데 있어 다른 모델보다 뛰어난 성능을 보여주었으며,
가장 어려운 평가에서 성능을 최대 18% 향상
시켰습니다." —
, 드롭인 AI 에이전트입니다.
"기존 스크립트가 실패할 때, 이 모델은 현재 화면 상태를 평가하고 워크플로우를 완료하는 데 필요한 작업을 자율적으로 파악합니다. 이 구현은 이제
실행의 60% 이상을 성공적으로 복구
합니다(이전에는 수정하는 데 며칠이 걸리던 작업입니다)." —
Google 의 결제 플랫폼 팀으로, 모든 테스트 실패의 25% 를 차지하던 취약한 엔드투엔드 UI 테스트를 해결하기 위해 Computer Use 모델을 비상 메커니즘으로 구현했습니다.
시작하기
오늘부터 이 모델은 공개 프리뷰로 제공되며, Google AI Studio 및 Vertex AI 의 Gemini API 를 통해 액세스할 수 있습니다.
- 지금 사용해보기: Browserbase가 호스팅하는 데모 환경에서.
- 구축 시작하기: 참고 자료 및 문서를 살펴보고 Playwright 를 사용하여 로컬에서 또는 Browserbase 를 사용하여 클라우드 VM 에서 자신만의 에이전트 루프를 구축하는 방법을 알아보세요(엔터프라이즈 사용을 위한 Vertex AI 문서 참조).
- 커뮤니티 참여: 여러분이 무엇을 구축하실지 기대됩니다. 개발자 포럼에서 피드백을 공유하고 로드맵을 안내하는 데 도움을 주세요.
