पहले, एक बात साफ़ कर लें: यह ट्यूटोरियल क्यों पढ़ें? इसे पढ़ने के बाद आप क्या बना सकते हैं?
अगर आप Meta के पर्सनल AI असिस्टेंट Muse में नए हैं, तो हो सकता है कि आप इसका इस्तेमाल सिर्फ चैट करने, जानकारी खोजने या कुछ इमेज बनाने के लिए कर रहे हों। लेकिन जब आप पब्लिश करने के लिए तैयार कोई पूरा शॉर्ट वीडियो बनाने की कोशिश करेंगे, तो संभवतः आप इन चार गड़्डों में गिरेंगे:
- हर शॉट के साथ चेहरा बदल जाता है: एक सेकंड में हीरोइन लंबे बालों वाली लड़की होती है और अगले ही पल कोई और इंसान।
- मूवमेंट के दौरान डिस्टॉर्शन: अगर कैरेक्टर बड़े मूवमेंट करता है, तो हाथ चेहरे के आर-पार निकल जाते हैं या फीचर्स धुंधले हो जाते हैं।
- लंबे वीडियो स्लो मोशन बन जाते हैं: AI से "20 सेकंड का वीडियो जनरेट करो" कहने पर अक्सर 5 सेकंड का एक्शन खींचकर 20 सेकंड का कर दिया जाता है, जो किसी लैगी स्लाइडशो जैसा लगता है।
- कोटा खत्म होना: इमेज और वीडियो जनरेशन आपका साप्ताहिक फ्री कोटा बहुत तेज़ी से खा जाता है; कुछ ही टेस्ट के बाद आप आगे नहीं बढ़ पाते।
यह कोई फीचर लिस्ट नहीं, बल्कि 0 से 1 तक जाने वाली स्टेप-बाय-स्टेप मैनुअल है।
नीचे दिए गए स्टेप्स फॉलो करें, और बिना वीडियो एडिटिंग के अनुभव के भी आप यह पाइपलाइन तैयार कर सकते हैं:
- बेसिक्स: AI से उसी हीरो/हीरोइन का चेहरा याद रखवाएं, बिना किसी डिस्टॉर्शन के लगातार 6 सेकंड के क्लिप्स शूट करें।
- कोटा बचाएं: रेंडरिंग का काम पूरी तरह फ्री वेब टूल्स पर शिफ्ट कर दें।
- एडवांस्ड कैमरा और पर्स्पेक्टिव: सीखें कि "टर्न-अराउंड ऑर्बिट" या "स्ट्रीट पुश-इन" जैसे कॉम्प्लेक्स शॉट्स के लिए ComfyUI, MiniMax H3, और Blender को कैसे तैयार करना है, ताकि फाइनल आउटपुट स्टेबल रहे।
Muse के एडवांस्ड इस्तेमाल पर हमारी पिछली पोस्ट में, हमने 4 वर्कस्टेशन सेट करने की बात बताई थी: Free Quota Radar, AI Video Workflow, Self-Media Creation Center, और Hotspot Dashboard। अगर आपने वो मिस कर दी थी तो उसे दोबारा देख लें; रिले डैशबोर्ड का सेटअप उसी पर आधारित है।
https://x.com/loi_jinli/status/2120499400586014862
1. तैयारी: अकाउंट्स, मटीरियल और उम्मीदें
सॉफ्टवेयर खोलने से पहले, बेसिक्स और समय की उम्मीदों को समझ लें:
① बेसिक अकाउंट्स और मटीरियल
- 1 Muse अकाउंट: muse.ai या डेस्कटॉप क्लाइंट से लॉगिन करें। बचा हुआ कोटा चेक करें (एक 6 सेकंड का क्लिप साप्ताहिक कोटा का ~2%–12% लेता है; छोटे टेस्ट से शुरू करें)।
- 1 साफ फ्रंटल पोर्ट्रेट: समान रोशनी, साफ फीचर्स, कोई सनग्लासेस/बैंग्स नहीं। ग्रिड कोलाज अपलोड मत करें; AI वीडियो में सफेद बॉर्डर्स को भी सीख सकता है।
- आस्पेक्ट रेशियो पहले ही तय करें: वर्टिकल (TikTok, Reels) के लिए `9:16` या हॉरिजॉन्टल (YouTube) के लिए `16:9` इस्तेमाल करें। हॉरिजॉन्टल जनरेट करके फिर ज़बरदस्ती वर्टिकल में क्रॉप न करें; ऑटो-क्रॉपिंग से सब्जेक्ट अक्सर गलत जगह आ जाता है।
② वास्तविक प्रतीक्षा समय
- 1 बेस इमेज जनरेट करना: 20–40 सेकंड।
- 1 5–6 सेकंड का क्लिप जनरेट करना: 1–2 मिनट।
- पूरी 30 सेकंड की स्क्रिप्ट + सेगमेंटेड जनरेशन: चेकिंग सहित 15–30 मिनट। अगर जनरेशन चल रहा है, तो धैर्य से इंतज़ार करें; बार-बार सेंड न दबाएं।
③ एडवांस्ड टूल्स (अभी जान लें, बाद में इंस्टॉल करें)
सेक्शन 5–7 में इन फ्री एक्सटर्नल टूल्स का इस्तेमाल होता है; सेक्शन 2–4 में इनकी ज़रूरत नहीं है:
- [Meta AI](https://www.meta.ai/): Muse का कोटा बचाने के लिए इमेज/सिंपल एनिमेशन का काम शिफ्ट करने वाला फ्री वेब टूल।
- ComfyUI: ओपन-सोर्स नोड-बेस्ड AI वर्कफ़्लो सॉफ्टवेयर, "स्मूथनेस (RIFE interpolation)" और "सटीक कैमरा कंट्रोल (MiniMax H3)" के लिए। इसके लिए 16GB–24GB VRAM GPU या क्लाउड कंप्यूट चाहिए।
- Blender: ओपन-सोर्स 3D मॉडलिंग सॉफ्टवेयर, AI जनरेशन से पहले बिना डिस्टॉर्शन वाले स्ट्रीट/बिल्डिंग पर्स्पेक्टिव सेट करने के लिए।
2. स्टेप 1: पहले Muse में नियम सेट करें
शुरुआती लोग अक्सर "कॉफी पीती हुई एक सुंदर लड़की" मांगते हैं, जिसका नतीजा खराब BGM, सबटाइटल्स और हाथों के डिस्टॉर्शन के रूप में निकलता है।
नई चैट शुरू करें। अभी इमेज अपलोड न करें। यह "कोलैबोरेशन रूल" भेजें:
1मैं एक भारतीय यूज़र हूँ। हम कंसिस्टेंट-कैरेक्टर वाले शॉर्ट वीडियो एसेट्स बनाएंगे। इन 3 नियमों का सख्ती से पालन करो:21. जब तक स्पष्ट रूप से न कहा जाए, बैकग्राउंड म्यूज़िक (BGM), वॉइसओवर या स्क्रीन सबटाइटल्स मत जोड़ो।32. कैरेक्टर के एक्शन सूक्ष्म/सिंगल रखो। हाथ चेहरे के सामने से बिल्कुल नहीं गुज़रने चाहिए।43. हर जनरेशन के बाद, इन 4 चीज़ों की खुद जाँच करो: "चेहरे की निरंतरता, स्किन टेक्सचर (प्लास्टिक जैसा नहीं), प्राकृतिक हाथ/एक्शन, लाइटिंग की स्थिरता।" मिली 1 संभावित समस्या की रिपोर्ट दो।
नोट: ये नियम जनरेशन की आदतों को कंट्रोल करते हैं। एक्सटर्नल अकाउंट कनेक्शन या फाइल एक्सेस के लिए, Settings में आने वाले ऑथराइज़ेशन पॉप-अप्स को मैन्युअली अप्रूव करें।
3. स्टेप 2: मिनिमल लूप – 1 इमेज से चेहरा लॉक करें
लक्ष्य: सिर्फ 1 फोटो का इस्तेमाल करके स्टेबल चेहरे वाला पहला 6 सेकंड का क्लिप बनाना।
① कैरेक्टर प्रोफाइल को "मेमो" के रूप में सेव करें
अपना फ्रंटल पोर्ट्रेट अपलोड करें। भेजें:
1अटैच्ड इमेज में मौजूद व्यक्ति के चेहरे की बनावट को एक रीयूज़ेबल "कैरेक्टर सेटिंग मेमो" के रूप में सेव करो।2ज़रूरतें:31. सिर्फ फेशियल स्ट्रक्चर, हेयरस्टाइल, बालों का रंग और बॉडी टाइप रिकॉर्ड करो। बैकग्राउंड, लाइटिंग या कपड़े रिकॉर्ड मत करो।42. सेव करने के बाद मुझे पूरा मेमो टेक्स्ट दिखाओ।
जवाब को रिव्यू करें। सुनिश्चित करें कि कोई एन्वायरनमेंटल डिटेल (जैसे, "कैफे के दरवाज़े पर खड़ी") इसमें न घुसी हो। अगर हो, तो जवाब दें: "बैकग्राउंड/कपड़ों के विवरण हटाओ, सिर्फ चेहरे/बालों की बनावट रखो और दोबारा सेव करो।"
② पहला 6 सेकंड का टेस्ट क्लिप जनरेट करें
उसी चैट में, भेजें:
1सेव किए गए "कैरेक्टर सेटिंग मेमो" और रेफरेंस इमेज का इस्तेमाल करके 6 सेकंड का वर्टिकल (9:16) सेल्फी-स्टाइल टेस्ट वीडियो जनरेट करो।2सीन: धुंधला इंटीरियर, गर्म पीली डेस्क लैंप चेहरे की बनावट को रोशन कर रही है। असली स्किन टेक्सचर बनाए रखो, ज़्यादा स्मूथ मत करो।3एक्शन: सिर्फ "बगल में देखना, फिर कैमरे की तरफ देखना और प्राकृतिक रूप से पलक झपकाना।" हाथ स्थिर रहने चाहिए।4वीडियो भेजो और अपने 4-पॉइंट सेल्फ-चेक के नतीजे बताओ।
1–2 मिनट इंतज़ार करें। वीडियो चेक करें।


③ रिफाइन करें: एक बार में सिर्फ एक चीज़ बदलें
अगर संतुष्ट नहीं हैं, तो एक साथ कई बदलाव न मांगें। उसी चैट में, भेजें:
1कैरेक्टर का लुक, कमरे का माहौल और एक्शन वैसा ही रहने दो। सिर्फ यह बदलो:2चेहरा साफ दिखे इसलिए डेस्क लैंप की ब्राइटनेस एक लेवल बढ़ा दो। बाकी कुछ मत बदलना।
क्या करें: सुनिश्चित करें कि 6 सेकंड के क्लिप में चेहरा एक जैसा हो, कोई एक्स्ट्रा सबटाइटल न हो, आंखें/स्किन प्राकृतिक हों। क्या न करें: चेहरा लॉक करने से पहले 30 सेकंड की कहानी मत लिखें।
4. स्टेप 3: रेंडरिंग Meta AI पर शिफ्ट करके कोटा बचाएं
जब आप ज़्यादा शॉट्स के साथ प्रयोग करते हैं, तो Muse का कोटा तेज़ी से खत्म होता है। वर्कफ़्लो को बांट लें: Muse प्रॉम्प्ट लिखे और QA (क्वालिटी चेक) का काम करे (कम लागत); Meta AI भारी रेंडरिंग संभाले (फ्री)।
स्टेप्स:
- Muse Space में "प्रॉम्प्ट रिले डैशबोर्ड" बनाएं:
1तुम सीधे बाहरी Meta AI लिंक पर क्लिक नहीं कर सकते। कृपया Space में एक "प्रॉम्प्ट रिले डैशबोर्ड" बनाओ।2फीचर्स:31. जब मैं कोई सीन बताऊं, तो पूरे, स्वतंत्र इमेज/एनिमेशन प्रॉम्प्ट लिखो और उन्हें डैशबोर्ड पर रख दो।42. हर प्रॉम्प्ट के साथ एक "कॉपी" बटन और https://www.meta.ai/ का लिंक जोड़ो।53. मैं Meta AI में मीडिया जनरेट करूंगा, उसे वापस यहाँ अपलोड करूंगा ताकि तुम ग्लिच चेक कर सको और अगले प्रॉम्प्ट वर्ज़न सुझा सको।
- Meta AI में इमेज जनरेट करें: डैशबोर्ड से प्रॉम्प्ट कॉपी करें, meta.ai में पेस्ट करें। जनरेट करें (~20s)। बेझिझक दोबारा ट्राई करें।
- Meta AI में एनिमेट करें:
Animate(डिफ़ॉल्ट) याCustom animate(Muse का एक्शन विवरण पेस्ट करें) पर क्लिक करें। चाहें तोMusicभी जोड़ सकते हैं। - Muse में वेरिफाई करें: Meta AI का वीडियो वापस Muse में अपलोड करें। पूछें: "चेहरे/एक्शन के ग्लिच चेक करो। ज़रूरत हो तो सुधारा हुआ प्रॉम्प्ट दो।"

5. स्टेप 4: स्लो मोशन से बचें और क्लिप्स को स्मूथ बनाएं (20–30s वीडियो)
गड़्डे: सीधे "20s जनरेशन" से स्लो मोशन बनता है; कच्चा AI वीडियो झटकेदार (16/24fps) होता है।
① स्टोरीबोर्ड टेबल बनाएं
Muse से कहें कि वह 30s के आइडिया को छह 5s शॉट्स में बांटे:
1इस आइडिया को 30 सेकंड, 6-शॉट वाले वर्टिकल स्टोरीबोर्ड टेबल में बांटो: [टोक्यो की बारिश में चलता व्यक्ति, हर कदम के साथ सड़कें साइ-फाई शहर में बदलती जाती हैं]।2टेबल के कॉलम:31. शॉट नंबर42. अवधि (~5s)53. विज़ुअल कंटेंट64. कैमरा एंगल (क्लोज़/मीडियम/वाइड)75. कैमरा मूवमेंट (पुश/पुल/फॉलो)86. अगले शॉट में ट्रांज़िशन9ज़रूरत: मुख्य पात्र के कपड़े और चेहरा सभी 6 शॉट्स में बिल्कुल एक जैसे होने चाहिए।
② "Generate 20s" कमांड से बचें
अगर AI को समय खींचने पर मजबूर किया जाए तो वह एक्शन को धीमा कर देता है। इसके बजाय, सेगमेंटेड जनरेशन मांगें:
1स्टोरीबोर्ड के शॉट 1–4 को "10s + 10s" सेगमेंट्स में जोड़कर जनरेट करो। चलने/माहौल की स्पीड सामान्य भौतिक गति वाली रखो। स्लो मोशन बिल्कुल मत करना।
③ 60fps के लिए RIFE इंटरपोलेशन का इस्तेमाल करें
कच्चा AI वीडियो अक्सर 16/24fps का होता है। स्मूथ 60fps के लिए बीच के फ्रेम जोड़ने हेतु RIFE का इस्तेमाल करें।
- सिंपल: Muse से पूछें: "आखिरी वीडियो को 60fps पर इंटरपोलेट करने के लिए RIFE इंजन लगाओ।"
- एडवांस्ड (ComfyUI): वीडियो को लोकल ComfyUI में इम्पोर्ट करें। ComfyUI Frame Interpolation Guide फॉलो करें। ComfyUI-Frame-Interpolation इंस्टॉल करें:
- Frame Interpolation वर्कफ़्लो लोड करें।
- इनपुट वीडियो दें, `RIFE VFI` नोड कनेक्ट करें (मॉडल rife47 या 4.0–4.9)।
- मल्टीप्लायर को `2` (24/30fps के लिए) या `4` (16fps के लिए) सेट करें। Video Combine के ज़रिए 60fps पर एक्सपोर्ट करें।
6. स्टेप 5: MiniMax H3 के साथ कॉम्प्लेक्स कैमरा मूव्स (टर्न-अराउंड ऑर्बिट)
"कैरेक्टर सिर घुमाता है जबकि कैमरा उसके चारों ओर घूमता है" जैसे सिनेमाई मूव्स के लिए सिर्फ टेक्स्ट वाले प्रॉम्प्ट फेल हो जाते हैं। समाधान: Muse में Previz, ComfyUI + MiniMax H3 में रिफाइन।
सेटअप: ComfyUI + MiniMax H3
इसके लिए 16GB+ VRAM या क्लाउड GPU (Kaggle/Modal/Paperspace) चाहिए।
- ComfyUI अपडेट करें: सुनिश्चित करें कि लेटेस्ट वर्ज़न है (नेटिव MiniMax H3 सपोर्ट)।
- मॉडल डाउनलोड करें:
- बेस मॉडल: Hugging Face से MiniMax H3 Ref2VA वेट्स →
ComfyUI/models/diffusion_models/। - 8-Step Turbo LoRA (सुझाया गया): ComfyUI Wiki Guide के अनुसार
minimax_h3_ref2v_turbo_8step_v1.0_768p_comfyui_bf16.safetensorsडाउनलोड करें →ComfyUI/models/loras/। इससे स्टेप्स 20+ से घटकर 8 हो जाते हैं।
एग्जीक्यूशन:
- Muse में Previz जनरेट करें:
15 सेकंड का previz वीडियो जनरेट करो:2सीन: दोपहर का कैफे, खिड़की वाली सीट।3एक्शन/कैमरा: ग्रे हुडी पहने व्यक्ति को कोई आवाज़ सुनाई देती है, वह सिर बाईं-पीछे घुमाता है। साथ ही, कैमरा सामने से तिरछे पीछे की तरफ आधा गोलाकार स्मूथ तरीके से घूमता है। ट्रैजेक्टरी स्टेबल, फ्रेम साफ।
- ComfyUI में MiniMax H3 टेम्पलेट लोड करें: आधिकारिक video_minimax_h3_r2v.json का इस्तेमाल करें। नोड्स कनेक्ट करें:
- रेफरेंस इमेज: आपका फ्रंटल पोर्ट्रेट।
- रेफरेंस वीडियो: Muse का 5s previz।
- LoRA Loader: 8-Step Turbo LoRA अटैच करें।
- Params: चौड़ाई 1344, ऊंचाई 768, लंबाई 121 फ्रेम (~5s @ 24fps), Steps 8 (या बिना LoRA के 20)।
- प्रॉम्प्ट बेस्ट प्रैक्टिसेस: MiniMax-H3 Ref2VA Experience के अनुसार, कभी भी सिर्फ रेफरेंस इमेज पर निर्भर न रहें। "मेमोरी लॉस" और चेहरा बदलने से बचने के लिए हर प्रॉम्प्ट सेगमेंट में बालों का रंग, कपड़े स्पष्ट रूप से बताएं। Queue Prompt। आउटपुट: कुछ ही मिनटों में एम्बिएंट साउंड के साथ 768p वीडियो।
ऑफिशियल टेम्पलेट नोड का ओवरव्यू:

नोड कनेक्शन चेकलिस्ट:
- मेन लाइन: Model Loader (MiniMax H3) → LoRA Loader (Turbo) → MiniMaxH3ReferenceToVideo → Sampler (steps=8) → Video Combine
- इनपुट्स: Reference Image ← Portrait; Reference Video ← Muse Previz
- कोर Params: width=1344, height=768, length=121
7. स्टेप 6: Blender + PLATEAU डेटा से स्ट्रीट पर्स्पेक्टिव डिस्टॉर्शन ठीक करें
AI द्वारा बनाई गई सड़कों में अक्सर इमारतें टेढ़ी-मेढ़ी हो जाती हैं। समाधान: असली 3D सिटी डेटा से पर्स्पेक्टिव लॉक करें, स्टैटिक बेस रेंडर करें, फिर AI से एनिमेट करें।
सेटअप:
- Blender इंस्टॉल करें: फ्री ओपन-सोर्स 3D सॉफ्टवेयर।
- डेटा लें: जापान के Project PLATEAU से Plateau-Blender-Importer प्लगइन और CityGML (.gml) डेटा डाउनलोड करें (असली ऊंचाई वाली इमारतें/सड़कें, 1m तक की सटीकता)।
एग्जीक्यूशन:
- प्लगइन इंस्टॉल करें: Edit → Preferences → Add-ons → Install .zip → Enable।
- सिटी ब्लॉक इम्पोर्ट करें: File → Import → Plateau City GML। पूरा शहर इम्पोर्ट न करें (क्रैश हो जाएगा)। Muse से कहें कि वह Blender Python स्क्रिप्ट लिखे जो कैमरे से 500m–1km के भीतर की इमारतों को फिल्टर करे और उन्हें रंग-कोड करे।
- स्टैटिक बेस रेंडर करें: वर्चुअल कैमरा पोज़िशन करें (आई-लेवल/एरियल), सूरज का कोण सेट करें। साफ स्टैटिक इमेज रेंडर करने के लिए F12 दबाएं।
- AI से एनिमेट करें: स्टैटिक इमेज को Muse/Meta AI/ComfyUI में अपलोड करें। प्रॉम्प्ट: "इमारतों का स्ट्रक्चर वैसा ही रहने दो। गीली डामर पर नियॉन रिफ्लेक्शन, छाते वाले राहगीर, कैमरे का धीमा फॉरवर्ड पुश जोड़ो।" क्योंकि ज्यामिति लॉक है, कोई डिस्टॉर्शन नहीं होगा।
क्वालिटी चेक:
- स्टैटिक बेस: सफेद/ग्रे ब्लॉक, गहरी सड़कें, साफ गहराई/पर्स्पेक्टिव, कोई टेक्सचर नहीं।
- फाइनल वीडियो: आखिरी फ्रेम की स्टैटिक बेस से तुलना करें। इमारतों के किनारे सीधे रहने चाहिए, कोई जेली जैसा विकृतीकरण नहीं होना चाहिए।
8. ट्रबलशूटिंग और पाइपलाइन चेकलिस्ट
पब्लिश करने से पहले आने वाली आम समस्याएं:
- वर्टिकल में सब्जेक्ट कटना: अगर 16:9 को 9:16 में बदल रहे हैं, तो फुल-स्क्रीन व्यू चेक करें। सुनिश्चित करें कि चेहरा न कटे।
- शुरुआत में टेक्स्ट गायब होना: Muse-सबटाइटल वाले वीडियो में अक्सर शुरुआती 0.2–0.5s खाली होते हैं। शुरुआत को ट्रिम करें या CapCut/Jianying में सबटाइटल जोड़ें।
- जनरेशन अटक जाना: अगर >3 मिनट हो जाएं, तो एक्टिविटी लॉग चेक करें। अगर सिर्फ टेक्स्ट मिला हो, तो पूछें: "कोई वीडियो फाइल नहीं दिखी। जनरेशन कन्फर्म करो और प्लेबैक लिंक दो।"
- कमर्शियल राइट्स: Muse के फ्री टियर में स्पष्ट कमर्शियल लाइसेंस की गारंटी नहीं होती। पेड ऐड्स के लिए, Muse का इस्तेमाल सिर्फ स्टोरीबोर्ड/मेमो/previz के लिए करें। फाइनल एसेट्स को ओपन-सोर्स मॉडल्स (ComfyUI) से लोकली रेंडर करें और एडिटिंग सॉफ्टवेयर में कंपोज़िट करें।
सेल्फ-चेक लिस्ट:
- [ ] 1 साफ फ्रंटल पोर्ट्रेट तैयार किया; Muse का साप्ताहिक कोटा चेक किया।
- [ ] Muse को 3 कोलैबोरेशन रूल्स भेजे; 4-पॉइंट सेल्फ-चेक लागू किया।
- [ ] पहला 6 सेकंड का फेस-लॉक टेस्ट पूरा किया; "एक-बार-में-एक-बदलाव" रिफाइनमेंट में महारत हासिल की।
- [ ] Meta AI रिले डैशबोर्ड बनाया या "10s+10s" सेगमेंटेशन का इस्तेमाल किया।
- [ ] समझ लिया कि RIFE (स्मूथनेस), ComfyUI MiniMax H3 (कैमरा कंट्रोल), और Blender+PLATEAU (पर्स्पेक्टिव स्टेबिलिटी) का इस्तेमाल कब करना है।
संदर्भ और टूल्स
- Meta Help: Generate Images & Vibes Animation
- ComfyUI Tutorial: Frame Interpolation (RIFE)
- ComfyUI Wiki: MiniMax H3 Turbo Ref2VA Guide
- PLATEAU Official Blender Import Tutorial & Plugin GitHub
साथ मिलकर ग्रो करने और कमाने के लिए @loi_jinli को फॉलो करें।





