जब वे सोच रहे होते हैं, तो ऐसा लगता है जैसे वे बहरे और अंधे हो गए हों। वे आसपास जो कुछ भी हो रहा है, उसे महसूस नहीं कर पाते। -
मुझे यह बात हैरान करती है कि ज़्यादातर वॉइस एजेंट अभी भी ट्रांसक्रिप्ट (लिखित टेक्स्ट) के आधार पर फैसले लेते हैं।
एजेंट की "थिंकिंग लेयर" तक पहुँचने से पहले हर कॉल को ऑडियो से टेक्स्ट में बदला जाता है। यह बदलाव अधूरा होता है। सिर्फ शब्द बचते हैं। हिचकिचाहट, "उम्म", वाक्य के अंत में गिरती हुई आवाज़ का सुर, बैकग्राउंड का शोर, किसी और से बात करने के लिए आधी तरफ मुड़ना: ये सब गायब हो जाता है।
इसलिए एजेंट अनुमान लगाता है। वह लोगों की बात बीच में ही काट देता है, उनके बोलने के बाद ज़रूरत से ज़्यादा इंतज़ार करता है, और एक विनम्र वाक्य के पीछे छिपे गुस्से को समझ नहीं पाता।
मेरा मानना है कि आज वॉइस AI में यही सबसे बड़ी कमी है।
यह आर्टिकल मौजूदा स्थिति पर मेरा नज़रिया है और इसमें इन सवालों पर चर्चा की गई है:
- क्या कोई एजेंट बिना कॉल सुने सही फैसला ले सकता है?
- LLMs के नेटवर्क ने इस कमी को अब तक क्यों नहीं पूरा किया?
- स्पीच-टू-स्पीच मॉडल्स का इस्तेमाल क्यों नहीं किया जाता?
- एक ऐसी "थिंकिंग लेयर" कैसी दिखेगी जो सच में सुनती हो?
आज मार्केट कहाँ है?
https://x.com/jordan_dearsley/status/2085602471918064064
सालों से लोग भविष्यवाणी कर रहे थे कि वॉइस सॉफ्टवेयर से बात करने का सार्वभौमिक तरीका बन जाएगा। 2026 में, यह भविष्यवाणी सच होने लगी है। @ElevenLabs और @DeepgramAI जैसी कंपनियों, और 800 से ज़्यादा वॉइस AI प्रोडक्ट्स की बदौलत AI हर साल अरबों बिज़नेस कॉल्स संभाल रहा है।
लेकिन किसी भी तकनीकी लहर के शुरुआती दौर की तरह, अपनाने की रफ़्तार क्वालिटी से आगे निकल गई है। प्रोडक्शन में अपने एजेंट्स से केवल पाँच में से एक एंटरप्राइज़ ही पूरी तरह संतुष्ट है। इसलिए ज़्यादातर एजेंट उसी पर टिके रहते हैं जो सस्ता और भरोसेमंद है: स्क्रिप्ट के हिसाब से की जाने वाली आउटबाउंड कॉल्स, या इतनी आसान इनबाउंड रिक्वेस्ट जिन्हें पहले से समझा जा सके।
लगभग सभी वॉइस एजेंट कैस्केडेड होते हैं: पहले स्पीच-टू-टेक्स्ट (STT), फिर एक LLM, और फिर टेक्स्ट-टू-स्पीच (TTS)। इंजीनियर्स को यह डिज़ाइन इसलिए पसंद है क्योंकि वे हर काम के लिए बेहतरीन मॉडल चुन सकते हैं, हर बीच के स्टेप को पढ़ सकते हैं, और एजेंट क्या कहता और करता है इस पर पूरा नियंत्रण रख सकते हैं।
हालाँकि लेटेंसी और लागत के मामले में STT और TTS ने बहुत तरक्की की है, कमज़ोर हिस्सा थिंकिंग लेयर ही है।
ट्रांसक्रिप्ट क्या खो देता है
थिंकिंग लेयर का काम आसान है। यह जानना कि बातचीत किस स्थिति में है, और वह एक्शन चुनना जो उसे सही अगली स्थिति में ले जाए: बोलना, कुछ करना, हैंडओवर करना, या सुनते रहना।
आपका कोड हमेशा जानता है कि कॉल वर्कफ़्लो के किस स्टेप पर है। जो वह नहीं जानता, वह यह है कि दूसरी तरफ वाले इंसान के साथ क्या हो रहा है। यही वह हिस्सा है जिसे थिंकिंग लेयर को हर बार पढ़ना होता है:
- क्या यूज़र ने बोलना खत्म कर दिया है, या बस रुका है?
- वे किस भाषा में बोल रहे हैं?
- क्या वे उत्सुक हैं, या खराब सर्विस को लेकर गुस्से में हैं?
- क्या बैकग्राउंड में टीवी चल रहा है, या बच्चे खेल रहे हैं?
- क्या वे मुझसे बात कर रहे हैं, या अपने पार्टनर से?
- वे क्या चाहते हैं: रिफंड, नया अकाउंट, या स्टेटस चेक?
दो ऑडियो क्लिप्स जिनका ट्रांसक्रिप्ट एक ही है, "हाँ, बोलिए।" एक एजेंट से कहा गया है, दूसरा कमरे में किसी और से। सिर्फ ऑडियो ही इन दोनों में फर्क बता सकता है।
ऊपर दिए गए बोल्ड सवाल हमें बताते हैं कि कोई बात कैसे कही गई, न कि सिर्फ क्या कही गई। ट्रांसक्रिप्ट शब्दों को रख लेता है लेकिन सुर, रफ़्तार, ठहराव और कमरे के माहौल को छोड़ देता है।
पहला सवाल ही लें। हम सब जानते हैं कि खामोशी आने से पहले ही पता चल जाता है कि कोई अपनी बात खत्म करने वाला है: आवाज़ का सुर गिरता है, रफ़्तार धीमी होती है, आवाज़ दबने लगती है। जो मॉडल ऑडियो सुनते हैं, वे इन्हीं संकेतों का इस्तेमाल करना सीखते हैं (Ekstedt & Skantze, 2022)। लेकिन जो मॉडल सिर्फ ट्रांसक्रिप्ट पढ़ते हैं, वे ऐसा नहीं कर सकते, क्योंकि बोलने के उतार-चढ़ाव को कभी लिखा ही नहीं गया (Rajaa, 2026)।
पाँचवें सवाल के साथ भी यही हाल है। जब Apple ने टेस्ट किया कि क्या कही गई बात उसके असिस्टेंट के लिए थी, तो ट्रांसक्रिप्ट के साथ ऑडियो जोड़ने से गलतियाँ 39% तक कम हो गईं, जबकि सिर्फ ट्रांसक्रिप्ट के मुकाबले यह आँकड़ा ज़्यादा था।
सबसे अच्छे फैसले ऑडियो और टेक्स्ट दोनों को साथ मिलाकर लिए जाते हैं। दुख की बात है कि आज के एजेंट्स को सिर्फ टेक्स्ट मिलता है।
सिर्फ ट्रांसक्रिप्ट: 74.8% बार बीच में ही बात काट दी गई। ऑडियो: 7.8%। Uniphore, arXiv 2609.11066।
LLMs का नेटवर्क दीवार से क्यों टकराता है
इंजीनियर्स ने "थिंकिंग लेयर" बनाने के लिए लालची रास्ता चुना। वे उस सबसे आसान रास्ते की तरफ भागे जिससे तुरंत सबसे ज़्यादा फायदा मिले: उस समय के सबसे बेहतरीन फ्रंटियर LLM को हायर करो और उसे एक विशाल मैनुअल थमा दो कि क्या करना है। 2023-24 पूरा साल यही चलता रहा।
इसमें कुछ समस्याएँ हैं।
- पहली, टीमों ने महसूस किया कि LLMs अनप्रेडिक्टेबल और धीमे होते हैं, और वे लंबे, घने प्रॉम्प्ट्स में निर्देश खो देते हैं।
- दूसरी, किसी कही गई बात को समझने के लिए एक अकेला LLM कॉल काफी नहीं होता।
तो अगला तार्किक कदम तेज़ और सस्ते LLMs का एक नेटवर्क था: हर एक अलग-अलग काम के लिए, और ऊपर एक ऑर्केस्ट्रेटर। डेमो शानदार थे। खरीदार प्रभावित हुए और रेवेन्यू आना शुरू हो गया।
आज यही फ्रंटियर स्टैक है।
लेकिन प्रोडक्शन में, इस आर्किटेक्चर में दो दरारें दिखीं:
- हर हिस्सा अभी भी वही ट्रांसक्रिप्ट पढ़ता है। और LLMs जोड़ने से वह ठहराव या लहज़ा वापस नहीं आ सकता जो ट्रांसक्रिप्ट पहले ही खो चुका है।
- ये हिस्से एक-दूसरे का इंतज़ार करते हैं। हर कॉल देरी बढ़ाता है। बारी पहचानना, क्या करना है यह तय करना और काम करना — ये सब मिलकर रिस्पॉन्स टाइम का 80% तक ले लेते हैं।
एक कैस्केडेड वॉइस एजेंट: कॉलर का ऑडियो स्पीच-टू-टेक्स्ट में जाता है, फिर कई LLM कॉल्स होते हैं, फिर टेक्स्ट-टू-स्पीच। सुर, ठहराव, लहज़ा, बैकग्राउंड और किससे बात की जा रही है — ये सब स्पीच-टू-टेक्स्ट स्टेप पर ही छूट जाते हैं।
इंडस्ट्री ने थिंकिंग लेयर को कामों के हिसाब से बाँटा। इसे इनपुट के हिसाब से बाँटना चाहिए था: जिन फैसलों को ऑडियो संकेतों की ज़रूरत है, वे ऑडियो-नेटिव मॉडल के पास जाने चाहिए, और LLM को सिर्फ टेक्स्ट पर काम करना चाहिए।
ट्रांसक्रिप्ट को पूरी तरह छोड़ क्यों नहीं देते?
इस साल स्पीच-टू-स्पीच (STS) मॉडल्स में असली जान आने के संकेत दिखे। इसका आकर्षण साफ है: STT, LLM और TTS को एक ही मॉडल में समेटकर कम लेटेंसी, बेहतर बातचीत की समझ, और कम इंजीनियरिंग।
सबसे बड़ी कमी नियंत्रण और वेरिफाइड डेटा की कमी है। आप यह तय नहीं कर सकते कि STS मॉडल क्या बोलेगा, और जो मॉडल ऑडियो में सोचता है उसके लिए टूल कॉल्स और कोड एग्जीक्यूशन स्वाभाविक नहीं होते।
मुझे लगता है कि STS अभी अल्पकाल में हकीकत से काफी दूर है। भले ही इसकी रफ़्तार तेज़ हो, यह पहले FAQ जवाब देने जैसे आसान उपयोगों के लिए ही उपयुक्त होगा। बिल्डर्स कैस्केड पर ही टिके रहेंगे, कुछ आदत के कारण, और ज़्यादातर इसलिए क्योंकि उन्हें इसके नियंत्रण और लचीलेपन की ज़रूरत है।
इसीलिए मैं ऐसे मॉडल्स बना रहा हूँ जो कैस्केडेड स्टैक को नियंत्रित करना आसान बनाते हैं, और लागत व लेटेंसी दोनों के लिहाज़ से इसे तैनात करना संभव बनाते हैं।
वह लेयर जो सुनती है
मेरा मानना है कि एजेंट्स को नियंत्रित करने और फालतू बोझ हटाने का एक तरीका है: डिसीजन मॉडल्स।
GPT-Live को गौर से देखें तो आपको इसके केंद्र में एक डिसीजन इंजन मिलेगा। यह हर सेकंड कई बार तय करता है कि बोलना है, सुनते रहना है, रुकना है, बीच में बोलना है, या कोई टूल कॉल करना है। कैस्केड को भी उसी इंजन की ज़रूरत है, एक ऐसे हिस्से के रूप में जिसे आप देख और नियंत्रित कर सकें।
एक डिसीजन मॉडल मौजूदा स्थिति और विकल्पों के एक सीमित सेट (बोलना या इंतज़ार करना, एस्केलेट करना या जारी रखना, कौन सा इरादा) को लेता है और एक विकल्प को उसकी संभावना (probability) के साथ लौटाता है — LLM से कहीं तेज़ और सस्ते में। @typesafeai ने लोगों को हैरान कर दिया कि यह टेक्स्ट पर कितना अच्छा काम करता है।
मैं यह प्रस्ताव रख रहा हूँ:
- डिसीजन मॉडल कॉल सुनता है और सीमित विकल्पों वाले फैसले लेता है।
- आपका सॉफ्टवेयर वर्कफ़्लो की स्थिति, अनुमतियाँ और टूल्स संभालता है।
- LLM वही करता है जिसमें वह सबसे अच्छा है: क्या करना है यह तय हो जाने के बाद, जवाब लिखना।
एक डिसीजन मॉडल ऑडियो, अब तक की बातचीत और विकल्पों का एक सेट लेता है, और हर विकल्प के लिए एक संभावना लौटाता है: refund_status 0.91, cancel_order 0.06, escalate 0.03 (उदाहरण)।
कॉन्फिडेंस स्कोर ही वह चीज़ है जो इसे कामयाब बनाता है। किसी LLM से पूछें कि वह कितना यकीन रखता है, तो वह आमतौर पर "बहुत" कहेगा, भले ही वह गलत हो (Xiong et al., 2024)। एक क्लासिफायर के स्कोर को तब तक ट्यून किया जा सकता है जब तक उनका मतलब वही न हो जो वे कहते हैं: जब कोई क्लासिफायर कहता है कि वह यकीन रखता है, तो आमतौर पर वह सच में यकीन रखता है (Guo et al., 2017)।
डिज़ाइन पार्टनर्स के साथ हमारे शुरुआती प्रयोग दिखाते हैं कि किसी एजेंट के अंदर LLM जो 30 से 40% काम करता है, वह बिल्कुल इसी तरह का काम है: राउटिंग, ट्रयाज, सीमित विकल्पों में से चुनना।
लेकिन आज के डिसीजन मॉडल्स टेक्स्ट या इमेजेज़ पर काम करते हैं। TypeSafe AI रिपोर्ट करता है कि Jev सहित हर मॉडल, जब टेक्स्ट के साथ कोई और मोडैलिटी जोड़ी जाती है तो बदतर फैसले लेता है, और Jev में ऑडियो सपोर्ट का कोई दस्तावेज़ीकरण नहीं है।
आप किसी टेक्स्ट डिसीजन मॉडल में ऑडियो नहीं जोड़ सकते। सुनने वाला मॉडल बनाने के लिए तीन चीज़ों की ज़रूरत होती है:
- असली बातचीत का ऑडियो जिसमें हर पल सही फैसले का लेबल लगा हो
- एक ऐसा मॉडल जो ऑडियो और टेक्स्ट दोनों का साथ इस्तेमाल करके फैसला ले
- कॉन्फिडेंस स्कोर जो अलग-अलग लहज़ों, शोर और खराब फोन लाइनों में भी सही काम करें।
वॉइस के लिए सही डिसीजन मॉडल वही है जो सुनता है, यानी एक ऑडियो-नेटिव डिसीजन लेयर।
जब डिसीजन लेयर सुन सकती है तो क्या बदलता है
ऑडियो-नेटिव डिसीजन मॉडल से आप निम्नलिखित उपयोग खोल सकते हैं:
- ऐसे एजेंट जिन्हें आप डीबग कर सकें। कई टीमें अब एजेंट को अवस्थाओं के एक ग्राफ के रूप में डिज़ाइन करती हैं: अभिवादन, पहचान की पुष्टि, रिफंड संभालना, एस्केलेट करना। हर बारी दो फैसलों पर आकर टिकती है: बातचीत असल में किस अवस्था में है, और उसे आगे किस अवस्था में जाना चाहिए? इनमें से कोई भी गलत हुआ तो पूरी कॉल भटक जाती है।
हर स्टेप पर एक डिसीजन मॉडल होने से, हर बदलाव एक छोटी, समझाने योग्य इकाई बन जाता है: क्या सुना गया, कौन से विकल्प थे, क्या चुना गया, और कितना यकीन था। जब कोई कॉल गलत हो जाए, तो आप किसी विशाल प्रॉम्प्ट को डीबग नहीं करते। आप वह एक पुर्जा ढूँढते हैं जो फिसला, और बस उसी को ठीक करते हैं।
- कॉलर के बोलना खत्म करने से पहले तैयार जवाब। लोग अपना वाक्य खत्म करने से पहले ही बता देते हैं कि वे क्या चाहते हैं। "मैं पिछले हफ्ते किए गए अपने ऑर्डर के बारे में कॉल कर रहा हूँ..." यह पहले से ही एक ऑर्डर लुकअप है। टेक्स्ट-फर्स्ट एजेंट यूज़र के रुकने का इंतज़ार करता है, फाइनल ट्रांसक्रिप्ट का इंतज़ार करता है, तय करता है कि कौन सा टूल कॉल करना है, और तभी उसे कॉल करता है। हर स्टेप खामोशी में इज़ाफा करता है।
एक कॉलर द्वारा "मैं पिछले हफ्ते के अपने ऑर्डर के बारे में कॉल कर रहा हूँ" कहने की टाइमलाइन। एक टेक्स्ट-फर्स्ट एजेंट अंत का इंतज़ार करता है, फिर ट्रांसक्राइब करता है, फैसला लेता है और get_order कॉल करता है। एक सुनने वाला राउटर वाक्य के बीच में ही get_order चला देता है और कॉलर के रुकते ही जवाब दे देता है, जिससे समय बचता है।
सुनने वाला डिसीजन मॉडल एक ऐसे राउटर की तरह काम करता है जो कॉल से आगे निकल जाता है। यह वाक्य के बीच में ही इरादे को पहचान लेता है और यूज़र के बोलते रहने पर ही लुकअप चला देता है, ताकि उनके रुकते ही ऑर्डर की जानकारी तैयार मिले।
Meta और CMU के शोधकर्ताओं ने इसका फायदा दिखाया: यूज़र की बात के साथ-साथ समानांतर रूप से टूल क्वेरी की भविष्यवाणी करने से टूल लेटेंसी 20% कम हो गई और जवाब ज़्यादा सटीक बने।
- ऐसे पर्सनल एजेंट जो तुरंत काम करते लगें। पर्सनल एजेंट दिन भर वॉइस नोट्स के ज़रिए कमांड सुनते हैं — रसोई में, कार में और व्यस्त सड़कों पर। वे जो ज़्यादातर सुनते हैं, उसके लिए एक त्वरित फैसले की ज़रूरत होती है: क्या यह कोई काम है, रिमाइंडर है, कोई गुज़रता हुआ खयाल है, या मेरे लिए है ही नहीं?
हर कही गई बात को फ्रंटियर LLM के पास भेजना धीमा और महँगा है। सुनने वाला एक छोटा मॉडल वह फैसला बहुत कम समय में ले लेता है, और LLM को तभी जगाता है जब सच में कोई काम हो। एजेंट तुरंत काम करता हुआ लगता है, क्योंकि पहला फैसला कभी बड़े मॉडल का इंतज़ार नहीं करता।
https://x.com/signulll/status/2077444321243013306
वॉइस AI का भविष्य
वॉइस को सार्वभौमिक इंटरफ़ेस बनना था। आज यह तभी काम करता है जब बातचीत पहले से अनुमानित हो।
लेकिन बिना स्क्रिप्ट वाली बातचीत का मतलब यह नहीं कि उसकी कोई सीमा नहीं है। हर मोड़ पर, समझदारी भरे कदम गिने-चुने होते हैं: बोलना, इंतज़ार करना, पूछना, कुछ करना, हैंडओवर करना। जिस चीज़ की कोई स्क्रिप्ट नहीं बना सकता, वह है क्रम। किसी बातचीत को नियंत्रित करने के लिए उसकी स्क्रिप्ट बनाने की ज़रूरत नहीं है। आपको हर फैसला अच्छी तरह लेना है, उस आधार पर जो सच में सुना गया।
यही वह बदलाव है जिस पर मैं दाँव लगा रहा हूँ: पहले फैसला लो, फिर प्रॉम्प्ट करो। सुनने वाला मॉडल फैसले लेता है, आपका सॉफ्टवेयर स्थिति बनाए रखता है, और LLM शब्द लिखता है। हर फैसला दिखता है, तेज़ होता है और मापा जा सकता है। जब यह काम करेगा, तो वॉइस सिर्फ आसान कॉल्स का ज़रिया नहीं रहेगा, बल्कि यही तरीका बन जाएगा जिससे लोग सॉफ्टवेयर से बात करते हैं।
मैं @tazolabs में वही डिसीजन लेयर बना रहा हूँ, और अगले कुछ दिनों में मैं हमारे मॉडल्स के बारे में और जानकारी साझा करूँगा।
अगर आप वॉइस एजेंट बनाते हैं, तो मुझे यह जानकर खुशी होगी कि आज आपके एजेंट को किन फैसलों में सबसे ज़्यादा दिक्कत आती है। और अगर यह विज़न आपको सही लगता है, तो Tazo Labs में हमारे साथ मिलकर बनाइए।
वह कौन सा एक फैसला है जो आपका वॉइस एजेंट सबसे ज़्यादा बार गलत लेता है?
