आज, हम MiniMax H3 लॉन्च कर रहे हैं, जो एक सामान्य-उद्देश्य वाला मल्टीमॉडल जनरेशन मॉडल है। H3 टेक्स्ट, इमेज, वीडियो और ऑडियो के एकीकृत कॉन्टेक्स्ट को समझता है, और नेटिव स्टीरियो साउंड के साथ 2K रेज़ोल्यूशन पर 15 सेकंड तक का वीडियो जनरेट करता है।
शुरुआती टेस्टिंग से पता चलता है कि H3 कई तरह के उपयोग मामलों में कमर्शियल कंटेंट निर्माण के लिए तैयार है, जो इंस्ट्रक्शन फॉलो करने, सटीक टेक्स्ट और ब्रांड रेंडरिंग, और V2V मोशन ट्रांसफर में बेहतर प्रदर्शन करता है। सटीक, नियंत्रण योग्य मल्टीमॉडल जनरेशन और एडिटिंग के साथ, H3 विज्ञापन, ब्रांडिंग, ई-कॉमर्स, प्रोडक्ट डिज़ाइन, UI/UX, गेमिंग और अन्य क्षेत्रों के लिए बनाया गया है।
Contextual Omni Representation, H3-VAE, H3-Omni Transformer और In-Context Regeneration जैसी तकनीकों से लैस, H3 उद्योग-अग्रणी प्राइस-परफॉर्मेंस देता है। हम डिफ़ॉल्ट रूप से 2K रेज़ोल्यूशन ऑफर करते हैं। 2K पर, H3 की प्रति-सेकंड कीमत मुख्यधारा के मॉडलों की तुलना में एक-तिहाई से भी कम है, और 768p पर, यह मुख्यधारा के मॉडलों के 720p की कीमत से आधी से भी कम है।
क्लोज्ड-सोर्स मॉडलों ने लंबे समय से वीडियो जनरेशन पर दबदबा बनाया हुआ है, जिनमें बड़े लैंग्वेज मॉडल जैसे क्षेत्रों की तुलना में धीमी इटरेशन और कम खुला इकोसिस्टम है। ओपन-सोर्स समुदाय का समर्थन करने, AI हार्डवेयर की व्यापक रेंज के साथ संगतता तेज़ करने, और उपयोगकर्ताओं के लिए अपने स्वयं के कस्टमाइज़्ड वर्शन बनाना आसान बनाने के लिए, हम आने वाले दिनों में मॉडल वेट्स को ओपन करने की योजना बना रहे हैं, जो लागू कानूनों और विनियमों के अधीन है। हार्डवेयर संगतता H3 के डिज़ाइन के शुरुआती चरणों से ही एक प्रमुख विचार रही है।
H3 मॉडल हाइलाइट्स
1. मल्टीमॉडल कॉन्टेक्स्ट समझ
वास्तविक रचनात्मक कार्य के लिए मोडैलिटीज़ के बीच जटिल जानकारी को मिलाना आवश्यक होता है, जिसमें इनपुट स्रोतों के रूप में इमेज, ऑडियो, वीडियो और अन्य चीज़ें शामिल होती हैं। उदाहरण के लिए, नीचे दिए गए शॉट का प्रॉम्प्ट है: "Video 1 से Hitchcock कैमरा मूवमेंट को संदर्भित करें, Image 2 के किरदार को गाने दें, जिसमें वोकल्स Audio 3 से मेल खाते हों।" बस कॉन्टेक्स्ट और टार्गेट वीडियो के बीच के संबंध को शब्दों में बताएं। H3 जटिल, पूर्ण-मोडैलिटी समझ को अपने आप संभालता है।
मल्टीमॉडल इनपुट
वीडियो 1
इमेज 2
ऑडियो 3
H3 द्वारा जनरेट किया गया वीडियो
2. 2K परफॉर्मेंस
3. नेटिव स्टीरियो साउंड
H3 उपयोग के मामले
1. फ़िल्म ओपनिंग टाइटल्स
2. प्रोडक्ट वेबसाइट
3. एनिमेटेड पोस्टर
4. विज्ञापन और ई-कॉमर्स
H3 की डिज़ाइन फिलॉसफी
कार्यों के बीच की सीमाएं तोड़ना: विशेषज्ञ से सामान्य-उद्देश्य तक
हमने मॉडलों की दो पिछली पीढ़ियाँ विकसित की हैं: Hailuo 01 ने सिस्टम को शुरू से बनाया, और Hailuo 02 ने आर्किटेक्चरल दक्षता, डेटा गुणवत्ता और स्केल जैसे मुख्य घटकों को बेहतर बनाने पर ध्यान केंद्रित किया।
H3 को डिज़ाइन करते समय, हमने कार्य सीमाओं के आसपास पिछले जनरेटिव मॉडलों की सीमाओं को पहचाना: इमेज जनरेशन को आमतौर पर T2I, एडिटिंग, सब्जेक्ट रेफरेंस, मोशन रेफरेंस और स्टाइल रेफरेंस के लिए अलग-अलग विशेषज्ञ मॉडलों में विभाजित किया गया था; ऑडियो जनरेशन में वॉइस, साउंड इफेक्ट्स और संगीत का अधिकतर अलग-अलग डोमेन के रूप में अध्ययन किया गया था; और वीडियो जनरेशन को टेक्स्ट-टू-वीडियो, इमेज-टू-वीडियो, फर्स्ट-एंड-लास्ट-फ्रेम, सब्जेक्ट रेफरेंस, मोशन रेफरेंस, वॉइस रेफरेंस, वीडियो एडिटिंग और अन्य में और अधिक विभाजित किया गया था, साथ ही इमेज, वीडियो और ऑडियो के बीच स्पष्ट सीमाएं भी थीं।
इन अलग-अलग कार्यों, क्षमताओं और मोडैलिटीज़ ने व्यवहार में रचनात्मक स्वतंत्रता को सीमित कर दिया। और, ट्रेनिंग की ओर, मॉडल की सामान्यीकरण करने की क्षमता को सीमित कर दिया। दोनों एप्लिकेशन पैराडाइम और ट्रेनिंग पैराडाइम में बदलाव की बड़ी गुंजाइश की ओर इशारा करते हैं। इसलिए H3 के विकास का पहला सिद्धांत कार्यों के बीच एकीकरण और सामान्यीकरण था।
इसके आधार पर, H3 के प्रीट्रेनिंग पैराडाइम का एक संक्षिप्त अवलोकन यहाँ दिया गया है:
1. डेटा और कार्य
टेक्स्ट-टू-इमेज
टेक्स्ट-टू-वीडियो
संयुक्त रूप से जनरेट किए गए ऑडियो के साथ, सभी ऑडियो आउटपुट नेटिव स्टीरियो है
नेटिव मल्टी-शॉट मॉडलिंग*
टेक्स्ट-टू-ऑडियो
वॉइस, साउंड इफेक्ट्स और संगीत के बीच कोई अलगाव नहीं — सभी संयुक्त रूप से मॉडल किए गए
2. सामान्यीकृत रेफरेंस और एडिटिंग
इमेज-टू-इमेज रेफरेंस और एडिटिंग
इमेज-टू-वीडियो रेफरेंस और एडिटिंग
ऑडियो-टू-ऑडियो रेफरेंस और एडिटिंग
ऑडियो-वीडियो-टू-ऑडियो-वीडियो रेफरेंस और एडिटिंग
हमारे डिज़ाइन में, "सामान्यीकृत रेफरेंस और एडिटिंग" का अर्थ है:
- पूरी तरह से वास्तविक, प्राकृतिक डेटा से निर्मित, जो इसे मज़बूत डेटा स्केलेबिलिटी देता है।
- रेफरेंस और एडिटिंग संबंधों को प्राकृतिक भाषा के माध्यम से व्यक्त किया जाता है, न कि किसी निश्चित कार्य सेट तक सीमित किया जाता है; भाषा (या व्यापक रूप से कहें तो इंटेलिजेंस संरचना) सामान्यीकरण का पुल है।
3. आर्किटेक्चर
विविध डेटा प्रकारों और कार्यों को जितनी जल्दी हो सके फ्यूज़ करें — सही मिक्सिंग अनुपात महत्वपूर्ण है।
4. ट्रेनिंग रणनीति
ट्रेनिंग में विविध डेटा प्रकारों और कार्यों को जितनी जल्दी हो सके फ्यूज़ करें — सही मिक्सिंग अनुपात महत्वपूर्ण है
ये सभी विकल्प एक ही लक्ष्य की ओर इशारा करते हैं: H3 को प्रीट्रेनिंग चरण से ही व्यापक मल्टीमॉडल कॉन्टेक्स्ट समझ और जनरेशन क्षमताएं देना।
पहले हमने ट्रेनिंग पैराडाइम में बदलाव के बारे में बात की थी, तो वीडियो मॉडलों के लिए एप्लिकेशन परिदृश्य भी कैसे बदल रहा है?
हम देख रहे हैं कि क्रिएटर्स सिर्फ एक सरल विज़ुअल प्रॉम्प्ट दर्ज करने के बजाय अपने इरादे को सीधे प्राकृतिक भाषा में व्यक्त कर रहे हैं। जैसे-जैसे मल्टीमॉडल समझ, इंस्ट्रक्शन फॉलो करना और जटिल कार्य निष्पादन में सुधार होता रहेगा, वीडियो मॉडल पूर्ण रचनात्मक इरादे को समझने, अधिक जटिल कंटेंट ज़रूरतों को संभालने और धीरे-धीरे "क्लिप जनरेट करने" से वास्तव में संपूर्ण कंटेंट निर्माण प्रक्रिया में भाग लेने की ओर बढ़ने में सक्षम होंगे।
H3 की तकनीकी पसंद
H3 की डिज़ाइन फिलॉसफी सरल है — लेकिन इसे बनाना बिल्कुल भी सरल नहीं था। Hailuo-01 से Hailuo-02 से H3 तक, प्रत्येक पीढ़ी की इंजीनियरिंग जटिलता पिछली की तुलना में लगभग 10 गुना बढ़ी है।
H3 की कुछ मुख्य तकनीकों पर एक संक्षिप्त नज़र:
1. H3-Contextual Omni Representation
H3 को इंजीनियर करने में हमने सबसे महत्वपूर्ण कामों में से एक इसकी कैप्शनिंग क्षमता को मज़बूत करना था।
- मल्टीमॉडल कॉन्टेक्स्ट को शामिल करने से "कैप्शन" को कवर करने की आवश्यकता और व्यापक हो गई, अब हम सिर्फ टार्गेट वीडियो का वर्णन नहीं कर रहे हैं, बल्कि कॉन्टेक्स्ट और टार्गेट वीडियो के बीच के संबंध का, और यहां तक कि कॉन्टेक्स्ट के भीतर तत्वों के बीच के संबंधों का भी वर्णन कर रहे हैं।
- हमें वीडियो और ऑडियो का संयुक्त रूप से वर्णन करने की आवश्यकता है, और कई शॉट्स में वह ऑडियो-विज़ुअल संबंध और भी जटिल हो जाता है।
- यह मूल रूप से Contextual Omni Representation का एक रूप है, जहां भाषा एक सामान्यीकरण योग्य पुल और दुभाषिया के रूप में कार्य करती है, "कार्यों" को एक खुले, वर्णनात्मक रूप में एकीकृत करती है। यह H3 की व्यापक इंस्ट्रक्शन-फॉलो करने की क्षमता की जड़ है।
- वहां तक पहुंचने के लिए, हमने समर्पित मॉडल और एक पूर्ण-मोडैलिटी समझ पाइपलाइन बनाई। अधिकांश स्रोत सामग्री के लिए लगभग 100K टोकन के इन्फ्रेंस की आवश्यकता होती है, जो औसतन लगभग 4K टोकन तक आसुत हो जाती है।
2. H3-VAE: आर्किटेक्चरल दक्षता में एक बड़ा बढ़ावा
H सीरीज़ ने टोकनाइज़र तकनीक पर लगातार प्रगति की है। H3 के साथ, हमने अपने पिछले टोकनाइज़र को पूरी तरह से नया रूप दिया, जिससे पुनर्निर्माण गुणवत्ता और सीखने की क्षमता में व्यापक सुधार हुआ, जिससे H3 को दक्षता में प्रतिस्पर्धात्मक बढ़त मिली। इसका उच्च कम्प्रेशन अनुपात प्रभावी सीक्वेंस लंबाई में 4x का लाभ भी देता है, जिससे ट्रेनिंग और इन्फ्रेंस लागत में काफी कमी आती है, और यह हमारे नेटिव 2K रेज़ोल्यूशन समर्थन के पीछे की प्रमुख तकनीक है।
3. H3-Omni Transformer: कार्य सामान्यीकरण के लिए बनाया गया आर्किटेक्चर
H3 की डिज़ाइन फिलॉसफी के अनुरूप कि "आर्किटेक्चर को कार्य की सेवा करनी चाहिए," सामान्यता और दक्षता ही एकमात्र दो लक्ष्य थे। विशेष रूप से, हमने Hailuo-02 आर्किटेक्चर को अलग रख दिया, इस तथ्य के बावजूद कि इसने हमें एक बार महत्वपूर्ण आर्किटेक्चरल लाभ दिए थे, क्योंकि यह कार्य सामान्यीकरण के आसपास बनाए गए मॉडल के लिए अनावश्यक जटिलता पेश करेगा। हमारा मानना है कि कार्य सामान्यीकरण एक अपरिवर्तनीय प्रवृत्ति है, और आर्किटेक्चरल तरकीबों को मॉडल को परिभाषित करने के तरीके को रास्ता देना चाहिए।
H3 में, मल्टीमॉडल कॉन्टेक्स्ट की शुरुआत ने सीक्वेंस लंबाई में भिन्नता को तीन गुना कर दिया, और समझ और जनरेशन के लिए कंप्यूट वर्कलोड काफी अधिक विषम हो गए। हमने एक ट्रेनिंग आर्किटेक्चर अपनाया जो समझ और जनरेशन वर्कलोड को अलग करता है, प्रत्येक के लिए हार्डवेयर उपयोग को फाइन-ट्यून करता है, साथ ही प्रति-नमूना विषम कंप्यूट को नमूनों में लोड बैलेंसिंग के साथ संतुलित करता है। एंड-टू-एंड, इससे ट्रेनिंग थ्रूपुट में लगभग 30% की वृद्धि हुई।
4. H3-In-context Regeneration
H3 के 2K आउटपुट के लिए, पारंपरिक समर्पित सुपर-रेज़ोल्यूशन मॉड्यूल का उपयोग करने के बजाय, हमारे पास H3 बेस मॉडल अपने स्वयं के कम-रेज़ोल्यूशन आउटपुट को इन-कॉन्टेक्स्ट में पुनर्जनरेट करता है। इसके दो फायदे हैं: पहला, पुनर्जनरेशन प्रक्रिया H3 बेस मॉडल में पहले से निर्मित जनरेटिव क्षमता का अधिकतम पुन: उपयोग करती है; दूसरा, इन-कॉन्टेक्स्ट दृष्टिकोण इसे उच्च-रेज़ोल्यूशन आउटपुट उत्पन्न करने के लिए मूल मल्टीमॉडल कॉन्टेक्स्ट से फिर से लाभ उठाने देता है, ऐसे विवरणों को पुनर्प्राप्त करता है जिन्हें पारंपरिक सुपर-रेज़ोल्यूशन केवल "अनुमान" लगा सकता है और अक्सर बहाल नहीं कर सकता है, जैसे छोटा टेक्स्ट और बारीक विवरण।
In-Context Regeneration स्वयं कार्य सामान्यीकरण की एक और अभिव्यक्ति है।
हम जल्द ही पूरी H3 तकनीकी रिपोर्ट साझा करेंगे। हम आपकी प्रतिक्रिया सुनने के लिए उत्सुक हैं।
हमारा विज़न और आगे क्या
भाषा, इमेज, वीडियो और ऑडियो मानव अनुभव की मौलिक मोडैलिटीज़ हैं। वे गहराई से परस्पर जुड़े हुए हैं और दुनिया के साथ हमारे प्राथमिक इंटरफेस के रूप में कार्य करते हैं। साथ में, वे मल्टीमॉडल कॉन्टेक्स्ट बनाते हैं जो कुशलता से जानकारी की एक विस्तृत श्रृंखला का संचार कर सकते हैं, और जानकारी को व्यक्त करने और साझा करने की क्षमता अपने आप में उत्पादकता का एक रूप है।
मल्टीमॉडल समझ और जनरेशन के लिए, हम भाषा को एक सामान्यीकरण योग्य, स्केलेबल कम्प्यूटेशनल सिस्टम के रूप में देखते हैं। इसीलिए हम मानते हैं कि मल्टीमॉडल इंटेलिजेंस भाषा में गहराई से आधारित होनी चाहिए।
H3 में अभी भी बढ़ने की गुंजाइश है, और यहाँ भविष्य के वर्शनों के लिए हमारी प्राथमिकताएँ हैं:
- मजबूत मल्टीमॉडल समझ उच्च-गुणवत्ता वाले जनरेशन की नींव है, और सुधार की महत्वपूर्ण गुंजाइश है। H सीरीज़ की अगली पीढ़ी में, हम अपने M-सीरीज़ मॉडलों की क्षमताओं को एकीकृत करने की योजना बना रहे हैं।
- H3 का वर्तमान मॉडल आकार कई क्षमताओं में सुधार की गुंजाइश छोड़ता है। स्केलिंग आगे का एक स्पष्ट रास्ता है, और हमारा मानना है कि मजबूत कार्य सामान्यीकरण हमें इसकी क्षमता को पूरी तरह से अनलॉक करने की अनुमति देगा।
- कुछ परिदृश्यों में विज़ुअल विवरण में अभी भी सुधार किया जा सकता है। हम उच्च रेज़ोल्यूशन और बेहतर विज़ुअल फिडेलिटी की ओर आगे बढ़ते रहेंगे।
हर किसी के साथ इंटेलिजेंस।
