Gemini Live API के साथ और अधिक शक्तिशाली वॉयस एजेंट बनाएं

हमने Live API में फ़ंक्शन कॉलिंग (फ़ंक्शन कॉल) को काफ़ी बेहतर बनाया है और प्रोएक्टिव ऑडियो क्षमताओं को उन्नत किया है, ताकि यह रुकावटों, ठहरावों और बगल की बातचीत को आसानी से हैंडल कर सके।

इवान सोलोविएव

, प्रोडक्ट मैनेजर, Google DeepMind

वलेरिया वू

, प्रोडक्ट मैनेजर, Google DeepMind

मिंग्किउ वांग

, इंजीनियर, Google DeepMind

आज हम Gemini API में Live API के एक बड़े अपडेट की घोषणा करते हुए उत्साहित हैं, जिसमें एक नया नेटिव ऑडियो मॉडल शामिल है, जो अब प्रीव्यू में उपलब्ध है। यह अपडेट आपको अधिक विश्वसनीय, रिस्पॉन्सिव और स्वाभाविक लगने वाले वॉइस एजेंट बनाने में मदद करने के लिए डिज़ाइन किया गया है।

इस मॉडल रिलीज़ में हमने दो मुख्य क्षेत्रों पर ध्यान केंद्रित किया है:

अधिक मजबूत फ़ंक्शन कॉलिंग: आपके एजेंट के लिए बाहरी डेटा और सेवाओं से जुड़ना अधिक विश्वसनीय बनाना।
अधिक स्वाभाविक बातचीत: यह सुनिश्चित करना कि इंटरैक्शन अधिक सहज महसूस हों, जिसमें संदर्भ की बेहतर समझ और रुकावटों या ठहराव के मामले में बातचीत को स्वाभाविक रूप से फिर से शुरू करना शामिल है।

विश्वसनीयता में बड़ा उछाल

सबसे शक्तिशाली और दिलचस्प वॉइस एजेंट अनुभव तब संभव होते हैं जब वे विश्वसनीय रूप से बाहरी डेटा और सेवाओं से जुड़ सकें—जिससे उपयोगकर्ता रीयल-टाइम जानकारी प्राप्त कर सकें, अपॉइंटमेंट बुक कर सकें, या लेन-देन पूरा कर सकें। यहीं पर फ़ंक्शन कॉलिंग काम आती है। वॉइस इंटरैक्शन की रीयल-टाइम प्रकृति को देखते हुए, असफल अनुरोध को दोबारा करने का समय नहीं होता, जिससे फ़ंक्शन कॉलिंग की विश्वसनीयता बेहद महत्वपूर्ण हो जाती है।

यह देखने के लिए कि यह बेहतर विश्वसनीयता व्यवहार में कैसी दिखती है, यहाँ इसका एक त्वरित डेमो है:

अधिक विश्वसनीय फ़ंक्शन कॉलिंग

नया मॉडल सही फ़ंक्शन की पहचान करने, यह जानने में कि कब फ़ंक्शन को कॉल नहीं करना है, और प्रदान किए गए टूल स्कीमा का लगातार पालन करने में काफी बेहतर है। हमारे आंतरिक बेंचमार्क फ़ंक्शन कॉलिंग सटीकता में नाटकीय सुधार दिखाते हैं (जैसे, मॉडल सही ढंग से फ़ंक्शन की पहचान करना और उसे कॉल करना, जिसमें 10 या अधिक सक्रिय फ़ंक्शन वाले जटिल परिदृश्य शामिल हैं)। पिछले संस्करण की तुलना में, सिंगल-कॉल परीक्षणों में फ़ंक्शन कॉलिंग की सफलता 2x और 5 से 10 कॉल वाले परीक्षणों में 1.5x बढ़ गई। विश्वसनीयता में यह वृद्धि वॉइस एप्लिकेशन के लिए एक बड़ा कदम है और हम डेवलपर फीडबैक के आधार पर विश्वसनीयता में सुधार जारी रख रहे हैं, विशेष रूप से मल्टी-टर्न परिदृश्यों के लिए।

Google AI Studio में इस ऐप के साथ मॉडल की फ़ंक्शन कॉलिंग सुधारों का परीक्षण करें।

Google AI Studio और Vertex AI पर किए गए परीक्षणों पर आधारित परिणाम

और भी स्वाभाविक बातचीत

हमने इंटरैक्शन को अधिक स्वाभाविक बनाने के लिए अधिक प्रोएक्टिव ऑडियो क्षमताएँ भी जोड़ी हैं। मॉडल अब सक्रिय बातचीत से संबंधित नहीं होने वाली बकबक को अनदेखा करता है और उपयोगकर्ता द्वारा प्राकृतिक ठहराव और रुकावटों को समझने में भी काफी बेहतर है।

कल्पना करें कि आप एक वॉइस एजेंट से बात कर रहे हैं और कोई आपसे एक त्वरित प्रश्न पूछने के लिए कमरे में आता है। मॉडल अब बगल की बकबक को अनदेखा करते हुए बातचीत को आसानी से रोक सकता है, और जब आप जारी रखने के लिए तैयार हों, तो सहजता से फिर से शुरू कर सकता है।

पृष्ठभूमि की बातचीत की बेहतर पहचान

इसी तरह, मॉडल अब बातचीत की लय को बेहतर ढंग से समझता है, आपके भाषण के संदर्भ को पहचानता है और आपके ठहराव के अनुकूल होता है—चाहे आप एक जटिल विचार को व्यक्त करने के लिए एक पल ले रहे हों या बस आकस्मिक रूप से बोल रहे हों। हमारे आंतरिक मूल्यांकन में, जब उपयोगकर्ता बात नहीं कर रहा होता है, तब मॉडल द्वारा गलत तरीके से बीच में टोकने की संख्या पिछले मॉडल की तुलना में काफी कम हो गई है। ये सुधार स्वचालित रूप से होते हैं, बिना किसी अतिरिक्त सेटअप की आवश्यकता के, जिससे बातचीत बहुत अधिक तरल हो जाती है।

बातचीत में प्राकृतिक ठहराव को सहजता से संभालना

यह अपडेट बाधा पहचान सटीकता में महत्वपूर्ण सुधार भी लाता है, जिससे उन मामलों की संख्या में उल्लेखनीय कमी आती है जब मॉडल उपयोगकर्ता द्वारा बीच में टोकने को पहचानने में विफल रहता है।

0:32

रुकावटों की पहचान में काफी सुधार

"सोचने" की क्षमताओं के साथ समझदार उत्तर

इस लॉन्च के बाद, अगले सप्ताह हम Gemini 2.5 Flash और Pro के समान "सोचने" की क्षमताओं के लिए समर्थन जारी कर रहे हैं। हम मानते हैं कि सभी प्रश्नों का तुरंत उत्तर नहीं दिया जा सकता या दिया जाना चाहिए। गहन तर्क की आवश्यकता वाले जटिल प्रश्नों के लिए, आप एक "थिंकिंग बजट" निर्धारित करने में सक्षम होंगे, जिससे मॉडल को अनुरोध को अधिक गहनता से संसाधित करने में कुछ पल लेने की अनुमति मिलेगी। सोचने की प्रक्रिया के भाग के रूप में, मॉडल अपनी सोच का एक टेक्स्ट सारांश वापस भेजेगा।

वास्तविक दुनिया में Live API

हम अपने शुरुआती एक्सेस पार्टनर्स के साथ मिलकर API क्षमताओं का परीक्षण और सुधार करने के लिए काम कर रहे हैं, और लगभग सभी ने नवीनतम मॉडल के परीक्षण से सकारात्मक परिणामों की सूचना दी है।

उदाहरण के लिए, Ava, एक AI-संचालित पारिवारिक ऑपरेटिंग सिस्टम, "हाउसहोल्ड COO" के रूप में कार्य करने के लिए Live API का उपयोग करता है। Ava स्कूल के ईमेल, PDF और वॉइस नोट्स जैसे अव्यवस्थित वास्तविक दुनिया के इनपुट को प्रोसेस करता है, और उन्हें कैलेंडर इवेंट जैसी कार्रवाइयों में बदल देता है।

Ava के सह-संस्थापक और CTO, जो एलिकाटा कहते हैं, "प्राकृतिक, द्वि-दिशात्मक वॉइस चैट की क्षमता एक कठिन आवश्यकता थी। नवीनतम मॉडल के फ़ंक्शन कॉलिंग सटीकता में सुधार गेम-चेंजर थे। हम शोरगुल वाले इनपुट पर उच्च प्रथम-पास सटीकता देख रहे हैं और कम कमजोर प्रॉम्प्ट हैक देख रहे हैं, जिसने हमारी छोटी टीम को एक विश्वसनीय, एजेंटिक, मल्टीमॉडल उत्पाद बहुत तेज़ी से शिप करने की अनुमति दी।"

आज ही शुरू करें

आप अभी Live API के साथ बनाना शुरू कर सकते हैं:

python

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Get audio data, e.g., from microphone
22        audio_bytes = record_audio()
23
24        # Send audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receive responses
30        async for response in session.receive():
31            if response.data is not None:
32                # Play audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Live API दस्तावेज़ पर जाएं और कुकबुक में एंड-टू-एंड कोड सैंपल खोजें।

हमें विश्वास है कि ये अपडेट शक्तिशाली और सहज वॉइस अनुभव बनाने के लिए नई संभावनाएं खोलेंगे, और हम जल्द ही Live API के बारे में और भी अधिक साझा करेंगे। हैप्पी बिल्डिंग!