Bilgisayar Kullanımı modelimiz, kullanıcı arayüzleriyle etkileşime girebilen aracıları (agent) güçlendirmek için Gemini 2.5 Pro’nun yetenekleri üzerine inşa edilmiş özel bir modeldir. Gemini API aracılığıyla Google AI Studio ve Vertex AI'da önizleme olarak kullanılabilir.
Bu yılın başlarında, belirttiğimiz gibi, geliştiricilere Gemini API aracılığıyla bilgisayar kullanımı yetenekleri sunuyoruz. Bugün, Gemini 2.5 Pro’nun görsel anlama ve akıl yürütme becerileri üzerine inşa edilmiş, kullanıcı arayüzleri (UI) ile etkileşime girebilen aracıları güçlendiren yeni özel modelimiz Gemini 2.5 Computer Use modelini yayınlıyoruz. Bu model, birden fazla web ve mobil kontrol kıyaslamasında lider alternatiflerden daha iyi performans gösterirken daha düşük gecikme süresi sunuyor. Geliştiriciler bu yeteneklere Google AI Studio ve Vertex AI'daki Gemini API aracılığıyla erişebilir.
Yapay zeka modelleri, yapılandırılmış API'ler aracılığıyla yazılımlarla arayüz oluşturabilse de, birçok dijital görev, örneğin form doldurma ve gönderme gibi, hala grafiksel kullanıcı arayüzleriyle doğrudan etkileşim gerektirir. Bu görevleri tamamlamak için aracıların, tıpkı insanlar gibi web sayfalarında ve uygulamalarda gezinmesi gerekir: tıklayarak, yazarak ve kaydırarak. Formları yerel olarak doldurabilme, açılır menüler ve filtreler gibi etkileşimli öğeleri yönetebilme ve giriş gerektiren işlemleri gerçekleştirebilme yeteneği, güçlü, genel amaçlı aracılar oluşturmada çok önemli bir sonraki adımdır.
Nasıl Çalışır
Modelin temel yetenekleri, Gemini API'deki yeni computer_use aracı aracılığıyla sunulur ve bir döngü içinde çalıştırılmalıdır. Araca yapılan girdiler; kullanıcı talebi, ortamın ekran görüntüsü ve son eylemlerin geçmişidir. Girdi ayrıca, desteklenen UI eylemlerinin tam listesinden işlevlerin çıkarılıp çıkarılmayacağını veya eklenecek ek özel işlevleri de belirtebilir.
Gemini 2.5 Computer Use Model Akışı
Model daha sonra bu girdileri analiz eder ve genellikle tıklama veya yazma gibi bir UI eylemini temsil eden bir işlev çağrısı olan bir yanıt üretir. Bu yanıt, satın alma işlemi yapmak gibi belirli eylemler için gerekli olan, son kullanıcı onayı talebini de içerebilir. İstemci tarafı kodu daha sonra alınan eylemi yürütür.
Eylem yürütüldükten sonra, GUI'nin yeni bir ekran görüntüsü ve mevcut URL, bir işlev yanıtı olarak Bilgisayar Kullanımı modeline geri gönderilir ve döngü yeniden başlar. Bu yinelemeli süreç, görev tamamlanana, bir hata oluşana veya bir güvenlik yanıtı ya da kullanıcı kararı nedeniyle etkileşim sonlandırılana kadar devam eder.
Gemini 2.5 Computer Use modeli öncelikle web tarayıcıları için optimize edilmiştir, ancak mobil UI kontrol görevleri için de güçlü bir potansiyel göstermektedir. Henüz masaüstü işletim sistemi düzeyinde kontrol için optimize edilmemiştir.
Modeli çalışırken görmek için aşağıdaki demolara göz atın (burada 3 kat hızlandırılmış olarak gösterilmiştir).
İstem:
“
adresinden, California'da ikamet eden herhangi bir evcil hayvanın tüm detaylarını al ve onları spa CRM'ime konuk olarak ekle.
Ardından, uzman Anima Lavar ile 10 Ekim'de saat 8'den sonra herhangi bir zamanda bir takip randevusu ayarla. Ziyaret nedeni, talep ettikleri tedaviyle aynı olsun.”
İstem: “
Sanat kulübüm, fuarımız öncesinde görevler üzerinde beyin fırtınası yaptı. Pano karmaşık ve görevleri oluşturduğum bazı kategorilere ayırmak için yardımına ihtiyacım var.
adresine git ve notların doğru bölümlerde olduğundan emin ol. Değillerse, onları oraya sürükle.”
0:34
Performansı
Gemini 2.5 Computer Use modeli, birden çok web ve mobil kontrol kıyaslamasında güçlü bir performans sergiliyor. Aşağıdaki tablo, kendi bildirilen numaralardan, Browserbase tarafından yürütülen değerlendirmelerden ve kendimiz yürüttüğümüz değerlendirmelerden elde edilen sonuçları içermektedir. Değerlendirme ayrıntıları Gemini 2.5 Computer Use System Card ve Browserbase'in blog yazısında mevcuttur. Aksi belirtilmediği sürece, gösterilen puanlar API aracılığıyla sunulan bilgisayar kullanımı araçlarına aittir.
Gemini 2.5 Computer Use, birden fazla kıyaslamada lider alternatiflerden daha iyi performans gösteriyor
Model, Online-Mind2Web için Browserbase donanımındaki performansla ölçüldüğü üzere, en düşük gecikme süresinde lider kalitede tarayıcı kontrolü sunuyor.
Gemini 2.5 Computer Use, düşük gecikme süresini korurken yüksek doğruluk sağlıyor
Güvenliğe Yaklaşımımız
Herkesin faydalanacağı aracılar oluşturmanın tek yolunun, en başından itibaren sorumlu davranmak olduğuna inanıyoruz. Bilgisayarları kontrol eden yapay zeka aracıları, kullanıcılar tarafından kasıtlı kötüye kullanım, beklenmeyen model davranışı ve web ortamındaki komut enjeksiyonları ve dolandırıcılıklar dahil olmak üzere benzersiz riskler ortaya çıkarır. Bu nedenle, güvenlik önlemlerini dikkatli bir şekilde uygulamak çok önemlidir.
Bu üç temel riski ele almak için modele doğrudan güvenlik özellikleri yerleştirdik (Gemini 2.5 Computer Use System Card içinde açıklanmıştır).
Ayrıca, geliştiricilere, modelin potansiyel olarak yüksek riskli veya zararlı eylemleri otomatik olarak tamamlamasını önleme gücü veren güvenlik kontrolleri de sağlıyoruz. Bu eylemlere örnek olarak bir sistemin bütünlüğüne zarar vermek, güvenliği tehlikeye atmak, CAPTCHA'ları atlatmak veya tıbbi cihazları kontrol etmek verilebilir. Kontroller:
- Adım başına güvenlik hizmeti: Model dışında, çıkarım zamanında çalışan ve modelin önerdiği her eylemi yürütülmeden önce değerlendiren bir güvenlik hizmeti.
- Sistem talimatları: Geliştiriciler, aracının belirli türdeki yüksek riskli eylemleri gerçekleştirmeden önce reddetmesini veya kullanıcı onayı istemesini daha da belirtebilir. (Dokümantasyondaki örnek).
Geliştiricilere yönelik güvenlik önlemleri ve en iyi uygulamalar hakkında ek öneriler dokümantasyonumuzda bulunabilir. Bu önlemler riski azaltmak için tasarlanmış olsa da, tüm geliştiricileri sistemlerini lansmandan önce kapsamlı bir şekilde test etmeye çağırıyoruz.
İlk Test Kullanıcıları Nasıl Kullandı?
Google ekipleri, yazılım geliştirmeyi önemli ölçüde hızlandırabilen UI testi gibi kullanım durumları için modeli zaten üretime aldı. Bu modelin sürümleri ayrıca Project Mariner, Firebase Testing Agent ve Search'teki AI Mode'daki bazı aracı yeteneklerine de güç veriyor.
Erken erişim programımızdaki kullanıcılar da modeli kişisel asistanlara, iş akışı otomasyonuna ve UI testine güç vermek için test ettiler ve güçlü sonuçlar gördüler. Kendi ifadeleriyle:
“İş akışlarımızın çoğu, hızın özellikle önemli olduğu insanlar için tasarlanmış arayüzlerle etkileşim gerektiriyor. Gemini 2.5 Computer Use, rekabette çok önde,
genellikle %50 daha hızlı ve daha iyi
düşündüğümüz bir sonraki en iyi çözümlerden.”
-
, iMessage, WhatsApp ve SMS'te birden çok üçüncü taraf ve aracı iş akışına sahip proaktif bir AI asistanı.
“Aracılarımız tamamen otonom olarak çalışıyor ve veri toplama ve ayrıştırmadaki küçük hataların kabul edilemez olduğu işleri yapıyor. Gemini 2.5 Computer Use, karmaşık durumlarda bağlamı güvenilir bir şekilde ayrıştırmada diğer modellerden daha iyi performans gösterdi,
en zor değerlendirmelerimizde performansı %18'e kadar artırdı.
” —
, hazır bir AI aracısı.
“Geleneksel betikler başarısızlıkla karşılaştığında, model mevcut ekran durumunu değerlendirir ve iş akışını tamamlamak için gereken eylemleri otonom olarak belirler. Bu uygulama artık
yürütmelerin %60'ından fazlasını başarıyla kurtarıyor
(ki bu eskiden düzeltilmesi günler alabiliyordu).” —
Tüm test başarısızlıklarının %25'ine katkıda bulunan kırılgan uçtan uca UI testlerini ele almak için Computer Use modelini bir acil durum mekanizması olarak uygulayan Google'ın ödeme platformu ekibi.
Nasıl Başlanır
Bugünden itibaren model, Google AI Studio ve Vertex AI'da Gemini API aracılığıyla erişilebilen herkese açık önizlemede mevcuttur.
- Hemen deneyin: Browserbase tarafından barındırılan bir demo ortamında.
- Oluşturmaya başlayın: Kendi aracı döngünüzü yerel olarak Playwright ile veya Browserbase ile bir bulut VM'sinde nasıl oluşturacağınızı öğrenmek için referans ve dokümantasyonumuza dalın (kurumsal kullanım için Vertex AI dökümanlarına bakın).
- Topluluğa katılın: Ne oluşturacağınızı görmek için sabırsızlanıyoruz. Geliştirici Forumumuzda geri bildirim paylaşın ve yol haritamızı şekillendirmeye yardımcı olun.
