हमारा Computer Use मॉडल एक विशेष मॉडल है जो Gemini 2.5 Pro की क्षमताओं पर आधारित है, जो यूज़र इंटरफ़ेस के साथ इंटरैक्ट करने वाले एजेंटों को सशक्त बनाता है। यह Google AI Studio और Vertex AI में Gemini API के माध्यम से पूर्वावलोकन में उपलब्ध है।
इस वर्ष की शुरुआत में, हमने उल्लेख किया कि हम Gemini API के माध्यम से डेवलपर्स को कंप्यूटर उपयोग क्षमताएँ प्रदान कर रहे हैं। आज, हम Gemini 2.5 Computer Use मॉडल जारी कर रहे हैं, जो Gemini 2.5 Pro की दृश्य समझ और तर्क क्षमताओं पर निर्मित हमारा नया विशेष मॉडल है, जो यूज़र इंटरफ़ेस (UIs) के साथ इंटरैक्ट करने में सक्षम एजेंटों को सशक्त बनाता है। यह कई वेब और मोबाइल नियंत्रण बेंचमार्कों पर अग्रणी विकल्पों से बेहतर प्रदर्शन करता है, और सभी कम विलंबता के साथ। डेवलपर्स Google AI Studio और Vertex AI में Gemini API के माध्यम से इन क्षमताओं तक पहुँच सकते हैं।
जबकि AI मॉडल संरचित APIs के माध्यम से सॉफ्टवेयर के साथ इंटरफ़ेस कर सकते हैं, कई डिजिटल कार्यों में अभी भी ग्राफिकल यूज़र इंटरफ़ेस के साथ सीधे इंटरैक्शन की आवश्यकता होती है, उदाहरण के लिए, फ़ॉर्म भरना और सबमिट करना। इन कार्यों को पूरा करने के लिए, एजेंटों को वेब पेजों और एप्लिकेशनों को मनुष्यों की तरह नेविगेट करना होगा: क्लिक करके, टाइप करके और स्क्रॉल करके। फ़ॉर्म को मूल रूप से भरने, ड्रॉपडाउन और फ़िल्टर जैसे इंटरैक्टिव तत्वों में हेरफेर करने, और लॉगिन के पीछे काम करने की क्षमता, शक्तिशाली, सामान्य-उद्देश्य वाले एजेंटों के निर्माण में एक महत्वपूर्ण अगला कदम है।
यह कैसे काम करता है
मॉडल की मुख्य क्षमताएँ Gemini API में नए computer_use टूल के माध्यम से उजागर होती हैं और इसे एक लूप के भीतर संचालित किया जाना चाहिए। टूल के इनपुट में उपयोगकर्ता का अनुरोध, वातावरण का स्क्रीनशॉट और हाल के कार्यों का इतिहास शामिल है। इनपुट यह भी निर्दिष्ट कर सकता है कि समर्थित UI क्रियाओं की पूरी सूची से फ़ंक्शन को बाहर रखा जाए या शामिल करने के लिए अतिरिक्त कस्टम फ़ंक्शन निर्दिष्ट किए जाएँ।
Gemini 2.5 Computer Use मॉडल प्रवाह
फिर मॉडल इन इनपुट का विश्लेषण करता है और एक प्रतिक्रिया उत्पन्न करता है, आमतौर पर एक फ़ंक्शन कॉल जो क्लिक करना या टाइप करना जैसी UI क्रियाओं में से एक का प्रतिनिधित्व करता है। इस प्रतिक्रिया में अंतिम उपयोगकर्ता पुष्टि का अनुरोध भी हो सकता है, जो खरीदारी करने जैसे कुछ कार्यों के लिए आवश्यक है। फिर क्लाइंट-साइड कोड प्राप्त क्रिया को निष्पादित करता है।
क्रिया निष्पादित होने के बाद, GUI का एक नया स्क्रीनशॉट और वर्तमान URL Computer Use मॉडल को एक फ़ंक्शन प्रतिक्रिया के रूप में वापस भेजा जाता है, जो लूप को पुनः आरंभ करता है। यह पुनरावृत्ति प्रक्रिया तब तक जारी रहती है जब तक कार्य पूरा नहीं हो जाता, कोई त्रुटि नहीं होती, या सुरक्षा प्रतिक्रिया या उपयोगकर्ता के निर्णय से इंटरैक्शन समाप्त नहीं हो जाता।
Gemini 2.5 Computer Use मॉडल मुख्य रूप से वेब ब्राउज़रों के लिए अनुकूलित है, लेकिन मोबाइल UI नियंत्रण कार्यों के लिए भी मजबूत क्षमता प्रदर्शित करता है। यह अभी तक डेस्कटॉप OS-स्तर के नियंत्रण के लिए अनुकूलित नहीं है।
नीचे कुछ डेमो देखें जहाँ मॉडल क्रियाशील है (यहाँ 3X गति पर दिखाया गया है)।
प्रॉम्प्ट:
“से
, कैलिफ़ोर्निया निवास वाले किसी भी पालतू जानवर के सभी विवरण प्राप्त करें और उन्हें मेरे स्पा CRM में अतिथि के रूप में जोड़ें
. फिर, विशेषज्ञ Anima Lavar के साथ 10 अक्टूबर को सुबह 8 बजे के बाद किसी भी समय फॉलो-अप विज़िट अपॉइंटमेंट सेट करें। विज़िट का कारण उनके अनुरोधित उपचार के समान है।”
प्रॉम्प्ट: “
मेरे आर्ट क्लब ने हमारे मेले से पहले कार्यों पर मंथन किया। बोर्ड अव्यवस्थित है और मुझे उन कार्यों को कुछ श्रेणियों में व्यवस्थित करने में आपकी सहायता चाहिए जो मैंने बनाई हैं। यहाँ जाएँ
और सुनिश्चित करें कि नोट्स सही अनुभागों में स्पष्ट रूप से हों। यदि नहीं, तो उन्हें वहाँ खींचें।”
0:34
यह कैसा प्रदर्शन करता है
Gemini 2.5 Computer Use मॉडल कई वेब और मोबाइल नियंत्रण बेंचमार्कों पर मजबूत प्रदर्शन प्रदर्शित करता है। नीचे दी गई तालिका में स्वयं-रिपोर्ट किए गए नंबरों, Browserbase द्वारा चलाए गए मूल्यांकनों और हमारे द्वारा चलाए गए मूल्यांकनों के परिणाम शामिल हैं। मूल्यांकन विवरण Gemini 2.5 Computer Use System Card और Browserbase के ब्लॉग पोस्ट में उपलब्ध हैं। जब तक अन्यथा संकेत न दिया जाए, दिखाए गए स्कोर API के माध्यम से उजागर किए गए कंप्यूटर उपयोग टूल के लिए हैं।
Gemini 2.5 Computer Use कई बेंचमार्कों पर अग्रणी विकल्पों से बेहतर प्रदर्शन करता है
यह मॉडल Online-Mind2Web के लिए Browserbase हार्नेस पर प्रदर्शन द्वारा मापा गया, सबसे कम विलंबता पर ब्राउज़र नियंत्रण के लिए अग्रणी गुणवत्ता प्रदान करता है।
Gemini 2.5 Computer Use कम विलंबता बनाए रखते हुए उच्च सटीकता प्रदान करता है
हमने सुरक्षा के लिए कैसे दृष्टिकोण अपनाया
हमारा मानना है कि ऐसे एजेंट बनाने का एकमात्र तरीका जो सभी को लाभान्वित करेगा, शुरुआत से ही जिम्मेदार होना है। कंप्यूटर को नियंत्रित करने वाले AI एजेंट अद्वितीय जोखिम पेश करते हैं, जिनमें उपयोगकर्ताओं द्वारा जानबूझकर दुरुपयोग, अप्रत्याशित मॉडल व्यवहार, और वेब वातावरण में प्रॉम्प्ट इंजेक्शन और स्कैम शामिल हैं। इस प्रकार, सावधानी के साथ सुरक्षा गार्डरेल लागू करना महत्वपूर्ण है।
हमने इन तीन प्रमुख जोखिमों को संबोधित करने के लिए सीधे मॉडल में सुरक्षा सुविधाओं को प्रशिक्षित किया है (Gemini 2.5 Computer Use System Card में वर्णित)।
इसके अलावा, हम डेवलपर्स को सुरक्षा नियंत्रण भी प्रदान करते हैं, जो डेवलपर्स को संभावित उच्च-जोखिम या हानिकारक कार्यों को स्वतः पूरा करने से मॉडल को रोकने में सक्षम बनाते हैं। इन कार्यों के उदाहरणों में सिस्टम की अखंडता को नुकसान पहुँचाना, सुरक्षा से समझौता करना, CAPTCHA को बायपास करना, या चिकित्सा उपकरणों को नियंत्रित करना शामिल है। नियंत्रण:
- प्रति-चरण सुरक्षा सेवा: एक मॉडल-बाह्य, अनुमान-समय सुरक्षा सेवा जो मॉडल द्वारा प्रस्तावित प्रत्येक क्रिया का निष्पादन से पहले मूल्यांकन करती है।
- सिस्टम निर्देश: डेवलपर्स आगे निर्दिष्ट कर सकते हैं कि एजेंट विशिष्ट प्रकार की उच्च-दांव क्रियाएँ करने से पहले या तो मना कर दे या उपयोगकर्ता पुष्टि माँगे। (उदाहरण दस्तावेज़ीकरण में)।
सुरक्षा उपायों और सर्वोत्तम प्रथाओं पर डेवलपर्स के लिए अतिरिक्त सिफारिशें हमारे दस्तावेज़ीकरण में पाई जा सकती हैं। जबकि ये सुरक्षा उपाय जोखिम को कम करने के लिए डिज़ाइन किए गए हैं, हम सभी डेवलपर्स से लॉन्च से पहले अपने सिस्टम का अच्छी तरह से परीक्षण करने का आग्रह करते हैं।
प्रारंभिक परीक्षकों ने इसका उपयोग कैसे किया है
Google टीमों ने पहले ही इस मॉडल को UI परीक्षण सहित उपयोग मामलों के लिए उत्पादन में तैनात कर दिया है, जो सॉफ्टवेयर विकास को काफी तेज कर सकता है। इस मॉडल के संस्करण Project Mariner, Firebase Testing Agent, और AI Mode in Search में कुछ एजेंटिक क्षमताओं को भी शक्ति प्रदान कर रहे हैं।
हमारे प्रारंभिक पहुँच कार्यक्रम के उपयोगकर्ताओं ने भी व्यक्तिगत सहायकों, वर्कफ़्लो ऑटोमेशन और UI परीक्षण को शक्ति प्रदान करने के लिए मॉडल का परीक्षण किया है, और मजबूत परिणाम देखे हैं। उनके अपने शब्दों में:
“हमारे कई वर्कफ़्लो में मनुष्यों के लिए बनाए गए इंटरफ़ेस के साथ बातचीत की आवश्यकता होती है जहाँ गति विशेष रूप से महत्वपूर्ण है। Gemini 2.5 Computer Use प्रतिस्पर्धा से कहीं आगे है,
अक्सर 50% तेज़ और बेहतर
हमारे द्वारा विचार किए गए अगले सर्वोत्तम समाधानों से।”
-
, iMessage, WhatsApp और SMS में एक सक्रिय AI सहायक जिसमें कई तृतीय-पक्ष और एजेंटिक वर्कफ़्लो हैं।
“हमारे एजेंट पूरी तरह से स्वायत्त रूप से चलते हैं, ऐसे काम करते हैं जहाँ डेटा एकत्र करने और पार्स करने में छोटी गलतियाँ अस्वीकार्य हैं। Gemini 2.5 Computer Use ने जटिल मामलों में विश्वसनीय रूप से संदर्भ पार्स करने में अन्य मॉडलों से बेहतर प्रदर्शन किया,
प्रदर्शन में 18% तक की वृद्धि
हमारे सबसे कठिन मूल्यांकनों पर।” —
, एक ड्रॉप-इन AI एजेंट।
“जब पारंपरिक स्क्रिप्ट विफलताओं का सामना करती हैं, तो मॉडल वर्तमान स्क्रीन स्थिति का आकलन करता है और वर्कफ़्लो को पूरा करने के लिए आवश्यक कार्यों को स्वायत्त रूप से निर्धारित करता है। यह कार्यान्वयन अब
60% से अधिक निष्पादनों को सफलतापूर्वक पुनर्वासित करता है
(जिन्हें ठीक करने में कई दिन लगते थे)।” —
Google की भुगतान प्लेटफ़ॉर्म टीम, जिसने नाजुक एंड-टू-एंड UI परीक्षणों को संबोधित करने के लिए एक आकस्मिक तंत्र के रूप में Computer Use मॉडल को लागू किया, जो सभी परीक्षण विफलताओं में 25% का योगदान देते थे।
शुरुआत कैसे करें
आज से, मॉडल सार्वजनिक पूर्वावलोकन में उपलब्ध है, जो Google AI Studio और Vertex AI पर Gemini API के माध्यम से सुलभ है।
- अभी आज़माएँ: Browserbase द्वारा होस्ट किए गए डेमो वातावरण में।
- निर्माण शुरू करें: Playwright के साथ स्थानीय रूप से या Browserbase के साथ क्लाउड VM में अपना स्वयं का एजेंट लूप बनाने का तरीका जानने के लिए हमारे संदर्भ और दस्तावेज़ीकरण में गोता लगाएँ (एंटरप्राइज़ उपयोग के लिए Vertex AI दस्तावेज़ देखें)।
- समुदाय में शामिल हों: हम यह देखने के लिए उत्साहित हैं कि आप क्या बनाते हैं। अपने डेवलपर फ़ोरम में फीडबैक साझा करें और हमारे रोडमैप को निर्देशित करने में मदद करें।
