सभी को नमस्कार, मैं Gary Caogan हूँ, एक सेल्फ-मीडिया न्यूकमर जो पिछले दो सालों से AI वीडियो और कंटेंट ग्लोबलाइज़ेशन की दुनिया में काम कर रहा है।
15 अक्टूबर की शाम, मैं अचानक "Tiangong Kaizhen" नाम के एक लाइवस्ट्रीम रूम पर पहुँच गया (ऑथर: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303)। ऑथर काफी समय से स्ट्रीमिंग कर रहे थे, और अब जब भी वे लाइव आते हैं, हजारों लोग ऑनलाइन होते हैं। X पर भी इस लाइवस्ट्रीम रूम के बारे में बहुत सारे रिपोस्ट और कमेंट्स आए हैं।
आमतौर पर डिजिटल ह्यूमन लाइवस्ट्रीम्स में हरकतें और आवाज़ दोनों कठोर होती हैं, और स्क्रिप्ट पहले से तय होती है। बेहतर इफ़ेक्ट के लिए, आपको आमतौर पर बैकग्राउंड में किसी असली इंसान की ज़रूरत पड़ती है जो इसे चलाए। लेकिन यह लाइवस्ट्रीम रूम इतना वायरल क्यों हुआ? क्योंकि इसका इफ़ेक्ट पिछले सभी डिजिटल ह्यूमन लाइवस्ट्रीम्स से कहीं बेहतर था। पीछे कोई असली इंसान इसे कंट्रोल नहीं कर रहा था; रिएक्शन्स रियल-टाइम थे। जब व्यूअर्स मैसेज भेजते, तो वह जवाब देती। हरकतें, हाव-भाव और इंटरैक्शन सब कुछ मौके पर ही जनरेट हो रहा था। मेरा पहला रिएक्शन यही था कि इस सोल्यूशन की कल्पना करने की संभावनाएँ बहुत बड़ी हैं:
गेम स्ट्रीमिंग, ई-कॉमर्स स्ट्रीमिंग, एंटरटेनमेंट स्ट्रीमिंग, कंपैनियन स्ट्रीमिंग—मूल रूप से हर सीनारियो को इस सोल्यूशन के साथ गहराई से जोड़ा जा सकता है। तो सवाल यह उठता है: उन्होंने इसे कैसे लागू किया? क्या मैं खुद ऐसा लाइवस्ट्रीम रूम बना सकता हूँ?
चार दिनों की रिसर्च और फाइन-ट्यूनिंग के बाद, मेरा अवतार "Wanwan" पहले ही मेरे Douyin अकाउंट पर ऑफिशियली स्ट्रीम कर चुका है। हमने स्ट्रीम के दौरान दो बार सर्विस को संक्षेप में रीस्टार्ट किया, कुल मिलाकर 70 मिनट से अधिक का समय लगा। आपको लगता है कि यह इफ़ेक्ट कितने नंबरों के लायक है?
कुछ स्क्रीन रिकॉर्डिंग्स:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
ठीक है, तो इस आर्टिकल में मैं शेयर करूँगा कि इन कुछ दिनों में मैंने 0 से 1 तक AI रियल-टाइम लाइवस्ट्रीम होस्ट Wanwan को कैसे बनाया और ट्यून किया, जिसमें शामिल है कि मैंने सोल्यूशन को कैसे तोड़ा, उसे कैसे लागू किया, मुझे किन मुश्किलों का सामना करना पड़ा, और मैंने उन्हें कैसे सुलझाया।
साथ ही, पूरे AI रियल-टाइम लाइवस्ट्रीम टूल फ्रेमवर्क को MIT लाइसेंस के तहत ओपन-सोर्स कर दिया गया है। लिंक: https://github.com/garycaogan/ai-live-avatar।
यह आर्टिकल मैंने पहले से ओपन-सोर्स किए गए कंटेंट वर्कबेंच और Claude का उपयोग करके तैयार किया है।
1. मूल ऑथर के लाइवस्ट्रीम रूम को समझना
यह मूल ऑथर Xiaoya का लाइवस्ट्रीम रूम है।
इसे अंदरूनी और बाहरी परतों में बाँटते हैं।
अंदरूनी परत खुद होस्ट है। हरकतें, हाव-भाव और बोलना सब कुछ रियल-टाइम में जनरेट होता है। स्क्रीन के ऊपर Vidu S का लेबल लगा है, जिससे यह समझना आसान हो जाता है कि मॉडल Vidu S2 है, जो Vidu का नवीनतम डिजिटल ह्यूमन मॉडल है। इससे ओपन-सोर्स मॉडल्स को लोकली डिप्लॉय करने के बारे में की गई कई अटकलों पर विराम लग जाता है।
बाहरी परत होस्ट के चारों ओर का घेरा है। इंस्ट्रक्शन कार्ड पर लिखा है "आज बुलेट कमेंट कमांड्स का टेस्ट जारी रखें," और नीचे गाने, डांस करने, सामान बेचने और इंटरैक्शन फ़िल्टर करने का कॉलम है, जिनमें से कुछ चेक किए गए हैं और कुछ खाली हैं। इसका मतलब है कि बुलेट कमेंट्स आने के बाद, बीच में एक प्रोग्राम उन्हें फ़िल्टर करता है, कमांड्स में बदलता है, और फिर डिजिटल ह्यूमन को एक्ट करने के लिए देता है। यह परत ऑथर द्वारा खुद बनाया गया एक टूल है।
अंदरूनी परत के लिए, Vidu के डिजिटल ह्यूमन सोल्यूशन में तीन रास्ते हैं: पहला रियल-टाइम डिजिटल ह्यूमन है, जहाँ चेहरा, आवाज़ और जवाब सब कुछ उसे सौंप दिया जाता है; दूसरा ऑडियो तैयार करके फीड करना है, ताकि वह सिर्फ लिप-सिंकिंग संभाले, जो गाना भी गा सकती है; और तीसरा किसी असली इंसान के वीडियो का उपयोग करके डिजिटल ह्यूमन को चलाना है, जिससे अंदर वाले व्यक्ति को बदल दिया जाता है।
बातें करना आसान है। इन तकनीकी मूल्यांकनों पर ज़्यादा सोचने का कोई मतलब नहीं है, इसलिए मैंने तुरंत काम शुरू किया और जल्दी से एक डेमो चलाया। YouTube के साथ अपनी जान-पहचान के आधार पर, मैंने सबसे पहले YouTube पर लाइवस्ट्रीमिंग और बुलेट कमेंट्स पढ़ने का लूप जोड़ा।
जिन लोगों की रुचि है, वे रीप्ले देख सकते हैं: https://www.youtube.com/live/fG84tzLOxLc
लेकिन पहली लाइवस्ट्रीम का इफ़ेक्ट सच में बहुत खराब था। मेरा इफ़ेक्ट पारंपरिक डिजिटल ह्यूमन तकनीक से ज़्यादा अलग नहीं था; हरकतें रोबोटिक थीं, जवाब रोबोटिक थे, और आवाज़ भी रोबोटिक थी। अगर Xiaoya की रिकॉर्डिंग को 9 नंबर मिलते हैं, तो तीनों रास्तों पर मेरे शुरुआती प्रयासों को स्कोर देने पर फेल होने वाले नंबर ही मिलते।
तीनों रास्तों की तुलना करने पर, रिप्लेसमेंट वाले रास्ते में हरकतें सबसे नेचुरल हैं, लेकिन यह रियल-टाइम में बुलेट कमेंट्स स्वीकार नहीं कर सकता। ऑडियो-फीड वाले रास्ते में जवाब और डबिंग का एक और सेट बनाना पड़ता है। स्क्रीन पर Vidu S लेबल और बुलेट कमेंट्स का जवाब देने की उसकी रफ़्तार को देखते हुए, मैंने अनुमान लगाया कि Xiaoya ने रियल-टाइम वाला रास्ता चुना है। तो अंतर रास्ते में नहीं, बल्कि बेस इमेज, आवाज़ और पर्सोना में है।
मुझे लगता है कि Xiaoya एक जीवित इंसान जैसी इसलिए लगती है, मुख्य रूप से निम्नलिखित बातों की वजह से:
पहला, हरकतें। वह अपना ज़्यादातर समय नीचे देखने में बिताती है, जैसे अपने फोन पर बुलेट कमेंट्स पढ़ रही हो, और जब कुछ दिलचस्प दिखता है तो मुस्कुराती है, दाँत दिखाते हुए। उसके हाथ कभी ठुड्डी पर टिके होते हैं, तो कभी स्नैक्स की तरफ बढ़ते हैं। वह बिल्कुल एक आम लड़की जैसी लगती है जो काम से घर आकर लाइवस्ट्रीम शुरू कर रही है, न कि कोई "डिजिटल ह्यूमन" जो सीधा खड़ा होकर स्क्रिप्ट पढ़ रहा हो।
दूसरा, विज़ुअल्स। मुझे पहले शक हुआ कि पूरी स्क्रीन पर Photoshop से धुंधला फ़िल्टर लगाया गया है। बाद में, स्क्रीनशॉट्स को ज़ूम करके देखने पर पता चला कि फ्रेम में ओवरले किए गए टेक्स्ट के किनारे शार्प थे, और होस्ट की छोटी विंडो साफ़ थी। सिर्फ उसका चेहरा सॉफ्ट था। तो यह धुंधलापन पोस्ट-प्रोडक्शन फ़िल्टर नहीं है, बल्कि डिजिटल ह्यूमन स्क्रीन की अपनी खासियत है: एक सॉफ्ट लाइट सिर्फ चेहरे पर पड़ती है, आस-पास का हिस्सा अँधेरा हो जाता है, और स्किन मोबाइल लाइवस्ट्रीम के ब्यूटी फ़िल्टर की तरह सफ़ेद, गुलाबी और समतल दिखती है। फोन पर छोटे हॉरिजॉन्टल फ्रेम में रखने पर, डिटेल सिकुड़ जाती हैं, जिससे AI की कमियाँ छिप जाती हैं। यह इफ़ेक्ट किसी असली होस्ट की लाइटिंग जैसा लगता है।
तीसरा, लय। सबटाइटल्स फ्रेम के नीचे दबे होते हैं, और लगभग हर 20 सेकंड में किसी बुलेट कमेंट का जवाब दिया जाता है। सुनने में यह धीमा लगता है, लेकिन यही धीमापन AI को रिएक्ट करने में लगने वाले कुछ सेकंड को कवर कर लेता है। असली होस्ट भी तो तुरंत जवाब नहीं देते, है ना?
चौथा, रियल-पर्सन विंडो। कोने में एक जीवित इंसान है। पूरा लाइवस्ट्रीम रूम किसी बंद मशीन जैसा नहीं लगता। जब व्यूअर्स उससे बात करते हैं, तो उन्हें पता होता है कि पीछे कोई देख रहा है।
इसे यहाँ तक तोड़ने के बाद, ऑप्टिमाइज़ेशन का रास्ता साफ़ हो गया। होस्ट लेयर के लिए Vidu का मौजूदा सोल्यूशन इस्तेमाल करें। मुझे जो करना है वह बाहरी परत है: लैंडस्केप मोड, इंस्ट्रक्शन कार्ड, रियल-पर्सन विंडो आदि, जो Xiaoya के सेटअप से सीखे गए हैं।
2. Vidu होस्ट को संभालता है, मैं फ्लोर कंट्रोल लेयर बनाता हूँ
सरल शब्दों में समझाएँ तो: एक असली लाइवस्ट्रीम रूम में, होस्ट के बगल में आमतौर पर एक फ्लोर कंट्रोल असिस्टेंट होता है जो बुलेट कमेंट्स देखता है, विज्ञापन करने वालों को बाहर निकालता है, व्यूअर्स के सवाल होस्ट तक पहुँचाता है, उसे कपड़े बदलने की याद दिलाता है, और जब माहौल शांत हो तो बातचीत के विषय देता है।
Wanwan के लाइवस्ट्रीम रूम में, होस्ट की भूमिका Vidu की है। Wanwan कैसी दिखती है, वह अपना मुँह कैसे खोलती है, और क्या कहती है—यह सब Vidu द्वारा रियल-टाइम में जनरेट किया जाता है।
तो इस रियल-टाइम लाइवस्ट्रीम प्रोजेक्ट की असली कुंजी फ्लोर कंट्रोल लेयर है, जिसमें विशेष रूप से ये काम शामिल हैं:
- फ़िल्टरिंग: अश्लील या विज्ञापन वाले बुलेट कमेंट्स को बस ज़ोर से पढ़ा ही नहीं जाता।
- कतारबद्ध करना (Queueing): बुलेट कमेंट्स एक-एक करके आते हैं। ज़रूरत पड़ने पर, गिफ्ट देने वालों को कतार तोड़ने देने का लॉजिक जोड़ा जा सकता है।
- मंशा को समझना: यह पहचानना कि कोई कमेंट बातचीत के लिए है, कपड़े बदलने की रिक्वेस्ट है, कोई प्रॉप माँग रहा है, बैकग्राउंड बदलना चाहता है, या हार्ट जेस्चर या हाथ हिलाने के लिए कह रहा है।
- प्रीसेटिंग: उदाहरण के लिए, वॉर्डरोब लॉजिक। हर आउटफिट एक पूरी फोटो है। कपड़े बदलने का मतलब है नई फोटो पर स्विच करना और सेशन को रीस्टार्ट करना।
- आइडल कमांड्स: Vidu आइडल वॉइस को सपोर्ट करता है। ताकि जब कोई कमेंट न हो तो होस्ट बस खाली नज़रों से न घूरता रहे, आइडल समय के लिए विषय सेट किए जा सकते हैं।
- इंस्ट्रक्शन कार्ड और लेबल्स: Xiaoya के रूम से सीखे गए। स्क्रीन पर लिखें कि क्या किया जा सकता है, क्या नहीं, और कमेंट्स कैसे भेजने हैं।
- एक लोकल वर्कबेंच: पर्सोना बदलें, वॉर्डरोब मैनेज करें, आवाज़ें स्विच करें, एक्शन्स एडजस्ट करें—सब कुछ वेब क्लिक्स के ज़रिए।
- लाइवस्ट्रीम कॉन्फ़िगरेशन: मैंने OBS का उपयोग करके डिजिटल ह्यूमन स्क्रीन, इंस्ट्रक्शन कार्ड और अपने कैमरा फीड को मिलाया, फिर Douyin Live Companion के ज़रिए इसे हॉरिजॉन्टली पुश किया। मेरा कैमरा नीचे बाईं ओर रखा गया है।
ये सभी लॉजिक्स Claude के साथ टेस्टिंग, चर्चा और ऑप्टिमाइज़ेशन के कई दौर से गुज़रकर बनाए गए हैं। वह टेक और प्रोडक्ट संभालता है; मैं अपनी राय और ज़रूरतें देता हूँ।
AI रातोंरात पहला वर्ज़न बना सकता है, कपड़े बदलने, कतार लगाने और स्ट्रीम पुश करने का लूप चला सकता है। लेकिन यह आवाज़ में मौजूद रोबोटिक टोन को नहीं सुन सकता, और न ही यह जानता है कि चुप्पी के दौरान उन तीन-चार वाक्यों को बार-बार दोहराना कितना अजीब लगता है। यह आपको तभी महसूस होता है जब आप लाइवस्ट्रीम में उस कैरेक्टर को वास्तव में अपने साथ इंटरैक्ट करते हुए देखते हैं।
लागत की बात करें तो, यह मुख्य रूप से Vidu पर केंद्रित है; बाकी चीज़ें नगण्य हैं।
Vidu का रियल-टाइम डिजिटल ह्यूमन प्रति सेकंड चार्ज किया जाता है, 1.5 क्रेडिट प्रति सेकंड, जो लगभग 169 RMB प्रति घंटे के बराबर है। आज रात की स्ट्रीम 1 घंटे 7 मिनट चली, जिसमें कुल 191.47 RMB खर्च हुए, जिसमें स्ट्रीम से पहले की वार्म-अप, कपड़े बदलने के लिए रीस्टार्ट किए गए सेशन और स्ट्रीम के बीच के रीस्टार्ट शामिल हैं। मेरे लिए, टेस्टिंग के दौरान 100-200 RMB प्रति घंटे स्वीकार्य है, लेकिन खर्च तो है ही। अगर आप इस सोल्यूशन से पैसा कमाना चाहते हैं, तो अपना ROI अच्छी तरह कैलकुलेट कर लें।
3. इन कुछ दिनों में आई मुश्किलें
दिखावट (मूल रूप से बेस इमेज)
पहला सफल रन Tasha का CG वर्ज़न था। Tasha Ace Combat 8 गेम का एक कैरेक्टर है। गुलाबी बाल किसे पसंद नहीं? लेकिन स्ट्रीम में डिजिटल ह्यूमन भारी लग रहा था क्योंकि फोटो CG-स्टाइल थी, असलियत से बहुत दूर।
फिर Tasha का रियल-पर्सन वर्ज़न आया, जिसे एक इमेज जनरेशन मॉडल ने रियलिस्टिक फोटो में बदल दिया। यह बेहतर था। मैंने Xiaoya के सेटअप की नकल करते हुए उसके लिए एक हॉरिजॉन्टल कंपोज़िशन भी बनाया, जिसमें वह डेस्क पर ठुड्डी टिकाए बैठी थी और पास में एक लैंप था। लेकिन फिर भी कुछ कमी थी, वह साफ़ तौर पर एक AI चेहरा लग रहा था।
जब मैंने ओरिजिनल कैरेक्टर्स पर स्विच किया, तो मैं ज़्यादा जीवन से भरे, आम रोल चाहता था। मैंने अलग-अलग लहजे वाली चार लड़कियाँ बनाईं: उत्तर-पूर्वी चीन की Xiaoman, चांग्शा की Chengzi, मिन्नान की Awen, और ताइवानी लहजे वाली An'an।
इनमें समस्याएँ मुख्य रूप से सौंदर्य और बेस इमेज की थीं। Chengzi की बेस इमेज की तुलना Xiaoya की स्क्रीन से करने पर, स्किन टोन बहुत पीला और सैचुरेटेड था, टेक्सचर बहुत ज़्यादा डिटेल वाला था, कैमरा एंगल आँखों के स्तर पर सामने से था, और हाथ किसी ID फोटो की तरह फैले हुए थे। पर्सोना से जुड़ी समस्याएँ भी आईं: मैंने पर्सोना में कुछ सैंपल लाइनें लिखी थीं, और उसने उन्हें हूबहू पढ़ दिया।
आखिरकार, निराश होकर मैंने ब्लॉगर Doumiao की X पोस्ट्स (@nima2qisi2) से प्रेरणा ली, और प्रॉम्प्ट्स का उपयोग करके एक समान वर्ज़न जनरेट किया, जो Wanwan बन गया।
पर्सोना एक 24 साल की लड़की का है जो हांग्झोउ की एक छोटी कंपनी में ग्राफ़िक डिज़ाइन का काम करती है। वह रात 10 बजे के बाद घर आती है, बातचीत करने के लिए लाइवस्ट्रीम शुरू करती है, उसकी एक काली बिल्ली है जिसका नाम Meiqiu है (दिखाई नहीं जाती, लेकिन वह उसकी शरारतों की शिकायत करती है)। स्वभाव थोड़ा धीरे-धीरे खुलने वाला और हल्का सूखा हास्य वाला है। जब उससे पूछा जाता है कि क्या वह असली है, तो वह सीधे कहती है कि वह एक AI होस्ट है।
कपड़े बदलना
शुरुआत में, मैंने AI को सीधे उसके शरीर पर कपड़े बदलने देने की कोशिश की। एक बार तो ठीक रहा, लेकिन दो बार के बाद चेहरा बिगड़ने लगा। बाद में, मैंने हर आउटफिट के लिए पहले से एक पूरी फोटो बनाने का तरीका अपनाया, जिसमें व्यक्ति, कपड़े और कमरा सब शामिल था। कपड़े बदलने का मतलब था उस फोटो से सेशन को रीस्टार्ट करना, जो तेज़ और ज़्यादा स्थिर था। अब वॉर्डरोब में 7 आउटफिट हैं; ब्लैक टर्टलनेक डिफ़ॉल्ट है। एक बार बदलने में लगभग 5 सेकंड लगते हैं।
यह लॉजिक सीन और एक्शन्स को भी स्विच कर सकता है, बशर्ते पर्याप्त प्रीसेट बेस इमेजेज़ तैयार हों।
आवाज़ का लहजा
शुरुआत में, मैंने कई लहजे वाले कैरेक्टर बनाए (उत्तर-पूर्वी, चांग्शा, मिन्नान, ताइवानी) क्योंकि मैंने पाया कि लहजे AI वाली फीलिंग को छिपा देते हैं। लहजे में बोलने वाली लड़की अचेतन रूप से एक जीवित इंसान जैसी लगती है। एक छोटी सी घटना हुई: एक AI ने बिना देखे किसी आवाज़ को दो बार सुना और कहा कि यह मानक मैंडरिन है, लेकिन मुझे तुरंत उत्तर-पूर्वी लहजा सुनाई दे गया। तब से, मैं आवाज़ें खुद चुनता हूँ।
बाद में, मुझे एक गंभीर समस्या पता चली: कई आवाज़ें अकेले सुनने में असली इंसानों जैसी लगती हैं, लेकिन रियल-टाइम लाइवस्ट्रीम्स में अपना आकर्षण खो देती हैं।
Wanwan की अंतिम आवाज़ वह है जिसे मैंने Volcano Engine पर डिज़ाइन किया था, और Vidu पर क्लोन करने के लिए कच्चा ऑडियो मटेरियल दिया था।
बार-बार दोहराई जाने वाली आइडल वॉइस
पहली 6 मिनट की टेस्ट स्ट्रीम के बाद, मेरी सबसे बड़ी सीख यह थी कि जब कोई कमेंट नहीं करता था, तो वह वही तीन-चार वार्म-अप वाक्य बार-बार दोहराती थी। यह मेरे लिए भी अजीब था। दूसरी स्ट्रीम से पहले, मैंने उसके पर्सोना के आधार पर जल्दी से 100 कोल्ड-स्टार्ट विषय तैयार किए। दोहराव तभी होता है जब ये सब खत्म हो जाएँ।
बैकग्राउंड बदलने से कपड़े गायब हो गए
आज रात उसने 9 बार बैकग्राउंड बदला। पहली 8 बार सब ठीक रहा। अंत में, काले कैमिसोल में, कमरे से बर्फीली झोपड़ी में बदलने पर कपड़े बने रहे (नीचे दी गई इमेज देखें)। लेकिन 9वीं बार, बर्फीली झोपड़ी से शहर के नाइट व्यू में बदलने पर, शोल्डर स्ट्रैप्स और टॉप गायब हो गए, और वह नंगी लगने लगी। मैंने तुरंत स्ट्रीम खत्म कर दी।
कारण की जाँच: कपड़े बदलना स्थिर है क्योंकि हर आउटफिट एक पहले से बनी पूरी फोटो है, जो सेशन को रीस्टार्ट करती है। बैकग्राउंड बदलना और प्रॉप्स एक अलग रास्ता अपनाते हैं: स्ट्रीम के दौरान सीन को फिर से बनाने के लिए Vidu को एक रेफरेंस इमेज दी जाती है। लेकिन उसके वर्तमान आउटफिट को रेफरेंस में शामिल नहीं किया गया था, और न ही हमने उसे कपड़े बनाए रखने के लिए कहा था। Vidu उसके शरीर को फिर से बना सकता था। पहली 8 बार उसने सही बनाया; 9वीं बार उसने कपड़े मिटा दिए। सबसे डरावनी बात असंगतता है। कई बार बिना किसी समस्या के टेस्ट करने का मतलब सुरक्षा नहीं है। यह एक पुष्ट खामी है। क्या यही एकमात्र कारण है, यह अनिश्चित है, लेकिन इस छेद को बंद करना होगा। हमने पहले ही खोज लिया था कि स्ट्रीम के बीच में रेफरेंस इमेजेज़ को बदलने से ड्रिफ्ट और अपरिवर्तनीयता आती है, लेकिन हमने यह नहीं सोचा था कि यह किसी पब्लिक स्ट्रीम में होगा।
अब, बैकग्राउंड बदलना और खाने-पीने के प्रॉप्स डिफ़ॉल्ट रूप से बंद कर दिए गए हैं। इंस्ट्रक्शन कार्ड उन्हें "अभी नहीं कर सकते" सेक्शन में ले जाते हैं, जब तक कि हम "पूरी फोटो से रीस्टार्ट" पर स्विच नहीं करते या विज़ुअल चेक नहीं जोड़ते।
Vidu डिस्कनेक्ट हुआ, असली इंसान ने संभाला
Vidu एक बार लगभग 3 मिनट के लिए डिस्कनेक्ट हो गया। उस दौरान, Wanwan स्क्रीन से गायब हो गई, और नीचे बाईं ओर वाली विंडो में सिर्फ मैं बचा। कमेंट्स में भरमार हो गई "यह खत्म क्यों हुआ?" "Gary चला गया।" इससे पता चलता है कि रियल-पर्सन विंडो सिर्फ मौजूदगी के लिए नहीं है; जब चीज़ें बिगड़ती हैं, तो किसी को मोर्चा संभालना ही पड़ता है।
बुलेट कमेंट्स और गिफ्ट्स को संभालना
बुलेट कमेंट्स अभी एक अस्थायी तरीके का उपयोग करते हैं जो वेबपेज कमेंट्स पढ़ता है।
गिफ्ट्स में शुरुआत में कतार तोड़ने का लॉजिक था, लेकिन मैंने इसे हटा दिया क्योंकि Douyin इसे टिपिंग के लिए उकसाना मानता है। तकनीकी रूप से, गिफ्ट के आधार पर कतार तोड़ना संभव है।
अनसुलझे मुद्दे
- लिप-सिंक गाना और बड़ी हरकतें फिलहाल संभव नहीं हैं।
- पर्सोना और विषय प्रीसेट होने के बावजूद, जवाब कभी-कभी AI जैसे लगते हैं।
- व्यूअर के कमेंट से लेकर उसके बोलने तक 10-20 सेकंड लगते हैं।
- लंबे वाक्य नए डायलॉग या एक्शन कमांड्स से बीच में कट जाते हैं, हालाँकि इसे प्रोग्रामिंग से ऑप्टिमाइज़ किया जा सकता है।
- मेमरी छोटी है। रीकनेक्शन के बाद, जब उससे पूछा गया कि यह रुका क्यों, तो उसने जवाब दिया, "यह रुका नहीं, क्या हम अभी भी बात नहीं कर रहे हैं?"
4. इस गेमप्ले में विकास की कितनी संभावना है?
मैं उन दिशाओं का ज़िक्र करूँगा जिनसे मैं परिचित हूँ और जिन्हें अच्छी तरह विज़ुअलाइज़ कर सकता हूँ। ई-कॉमर्स होस्ट जैसी स्पष्ट चीज़ों पर चर्चा नहीं की जाएगी। भविष्य की खोजें इन रास्तों पर हो सकती हैं; परिणाम शेयर किए जाएँगे। पाठक देख सकते हैं कि क्या इनका उनकी विशेषज्ञता से कोई मेल बैठता है:
1. गेम स्ट्रीमिंग। 20+ साल के अनुभव वाले एक गेमर के रूप में, मेरा गेम स्ट्रीमिंग से लगाव है। मैंने पहले Honor of Kings और LOL स्ट्रीम किया है। क्या आपने Bilibili की "Doubao Teaches Games" सीरीज़ देखी है? Delta Force, LOL, Minecraft खेलते हुए, कई वायरल हो गए। उदाहरण के लिए, Doubao का Minecraft सिखाने वाला वीडियो 16 मिलियन बार देखा गया। सोचिए अगर Doubao के पास एक रियल-टाइम इंटरैक्टिव, अच्छा दिखने वाला कैरेक्टर होता। वीडियो और स्ट्रीम्स और भी बेहतर होते।
- इनफिनिट लूप स्ट्रीमिंग। MiniMax ने पहले एक रियल-टाइम जनरेटेड स्क्रीन स्ट्रीम की थी, जो इनफिनिट लूप जैसी लग रही थी। लेकिन एक निश्चित थीम न होने के कारण, यह किसी फ्रेमवर्क के भीतर नहीं चली। Vidu के सोल्यूशन को एक बाहरी शेल से जोड़कर, कमेंट्स के आधार पर रियल-टाइम में सीन इमेजेज़ और डायलॉग जनरेट करने से, संभवतः इंटरैक्टिव प्लॉट स्ट्रीमिंग संभव हो सकती है। असली होस्ट ऐसा सोचने की हिम्मत भी नहीं कर सकते। एक ऐसी स्ट्रीम की कल्पना करें जहाँ मुख्य लाइन होस्ट का एक ट्रिप पूरा करना हो: ट्रांसपोर्ट, साथी, मुलाकातें, बातें, विकल्प—सब कुछ कमेंट्स द्वारा निर्देशित। क्या यह दिलचस्प नहीं है?
3. एंटरटेनमेंट स्ट्रीमिंग। किसी व्याख्या की ज़रूरत नहीं। Xiaoya का मामला एंटरटेनमेंट होस्टिंग में संभावनाओं को साबित करता है। मुझे पूरा शक है कि जल्द ही, ऐसे ही मॉडल्स के ओपन-सोर्स होने के बाद, एडल्ट प्लेटफॉर्म्स AI से भर जाएँगे।
सीमाएँ: Douyin को AI-जनरेटेड कंटेंट को लेबल करने की ज़रूरत होती है, असली इंसान की उपस्थिति और इंटरैक्शन अनिवार्य है, और बिना इंसान वाले/लटके हुए स्ट्रीम्स को हतोत्साहित करता है। इसलिए Wanwan की स्क्रीन पर हमेशा "AI रियल-टाइम जनरेटेड स्क्रीन" दिखाया जाता है, और मेरा कैमरा नीचे बाईं ओर रहता है। आज रात का क्रैश एक याद दिलाता है। फ़िल्टर किए गए 18 कमेंट्स में से, कई ने स्विमसूट, बिकिनी, स्लिप ड्रेस की माँग की, जिन्हें कीवर्ड्स ने ब्लॉक कर दिया (कीवर्ड्स ने गलती से "कोई काम से जी चुरा रहा है" को भी अश्लील मान लिया, जिसे बाद में ठीक किया गया)। फिर भी हादसा इनकी वजह से नहीं, बल्कि एक सामान्य बैकग्राउंड बदलाव से हुआ।
टेक्स्ट को कीवर्ड्स से ब्लॉक किया जा सकता है; स्क्रीन्स को नहीं। AI-जनरेटेड विज़ुअल्स अप्रत्याशित रूप से ऐसा कंटेंट बना सकते हैं जो प्लेटफॉर्म पर प्रतिबंधित है। निगरानी के बिना, यह नियमों का उल्लंघन कर सकता है। असली इंसान की मौजूदगी सिर्फ प्लेटफॉर्म की शर्त नहीं है; यह आपकी सुरक्षा भी करती है।
जो लोग डिजिटल ह्यूमन्स से 24 घंटे पैसिव इनकम की उम्मीद कर रहे हैं, उन्हें अभी लंबा सफर तय करना है।
साथ ही, डिजिटल ह्यूमन्स के लिए मशहूर हस्तियों, दूसरों के कैरेक्टर्स या चेहरों का उपयोग न करें। अपना खुद का बनाना मुश्किल नहीं है।
6. ओपन सोर्स नोट्स
इस प्रोजेक्ट का टूल फ्रेमवर्क MIT लाइसेंस के तहत ओपन-सोर्स किया गया है: https://github.com/garycaogan/ai-live-avatar।
इसमें बुलेट कमेंट फ़िल्टरिंग/कतारबद्ध करना, इंटेंट रिकग्निशन, वॉर्डरोब, इंस्ट्रक्शन कार्ड/स्क्रीन ओवरले, लोकल वर्कबेंच, OBS/Douyin हॉरिजॉन्टल पुश इंटीग्रेशन शामिल है। आप बिना पैसे खर्च किए ड्राई-रन करके फ़िल्टरिंग, कतारबद्ध करना और ओवरले इम्प्लीमेंटेशन देख सकते हैं। वेबपेज स्क्रैपिंग वाला हिस्सा जोखिम के कारण शामिल नहीं किया गया है; इसे लागू करने वालों को इसे खुद जोड़ना चाहिए।
टूल्स सभी के लिए उपलब्ध हैं, लेकिन कैरेक्टर्स आपके खुद के होने चाहिए। अपना चेहरा लगाएँ, अपना पर्सोना लिखें, और यह चल जाएगा।
अगर आप एक बनाना चाहते हैं, तो कोड लें, अपना कैरेक्टर बनाएँ, और मदद के लिए या अपनी सफलताएँ शेयर करने के लिए कमेंट्स में स्वागत है।
मैं Gary हूँ। अगर इस आर्टिकल ने आपकी मदद की, तो ट्रिपल-क्लिक करना न भूलें!
