MiniMax M3: स्पार्स अटेंशन (Sparse Attention) लॉन्ग-हॉराइजन एजेंट्स को कैसे व्यावहारिक बनाता है

GLM 5.2 ने हाल ही में AI टाइमलाइन पर कब्जा जमा लिया है, और अधिकांश चर्चा इस बात पर केंद्रित रही है कि यह Opus के मुकाबले कैसा प्रदर्शन करता है। यह सुर्खियों में है। लेकिन वास्तविक उपयोग एक अलग कहानी बताता है: मेरे साथ काम करने वाले डेवलपर्स अभी भी बड़े पैमाने पर MiniMax M3 का उपयोग कर रहे हैं, क्योंकि यह काफी कम लागत पर तुलनीय लंबी अवधि की क्षमता प्रदान करता है। वास्तव में, Open Router पर टोकन उपयोग के मामले में MiniMax M3 अभी भी GLM 5.2 से 50% से अधिक आगे है।

स्रोत: Open Router Rankings

लंबी अवधि के एजेंटों पर मुख्य बाधा बुद्धिमत्ता नहीं रही है; यह बढ़ते संदर्भ पर ध्यान देने की लागत रही है। @MiniMax_AI M3 को इस बाधा को दूर करने के लिए बनाया गया है। इसका 500K-टोकन कॉन्टेक्स्ट विंडो ओपन-वेट मॉडल में उपलब्ध सबसे लंबी विंडो में से एक है, लेकिन जो क्षमता मायने रखती है, वह है घंटों तक एक ही कार्य पर बने रहने की क्षमता, जबकि संदर्भ बढ़ता रहता है। M3 मल्टीमॉडल है जिसमें मूल छवि और वीडियो समझ है, इसलिए एक ही एजेंट एक रन में टेक्स्ट, कोड और विज़ुअल इनपुट पर काम कर सकता है।

Fireworks का लॉन्च पोस्ट बुनियादी ढांचे के पक्ष से भी यही बात कहता है। यह M3 को Fireworks पर पहले ओपन-वेट मॉडल के रूप में प्रस्तुत करता है जो एक सिस्टम में फ्रंटियर कोडिंग, मूल छवि और वीडियो समझ, और 500K-टोकन कॉन्टेक्स्ट विंडो को जोड़ता है। इस लेख के लिए जो व्यावहारिक दावे मायने रखते हैं, वे वे हैं जिनकी Fireworks ने उस लॉन्च पोस्ट में रिपोर्ट की है। M3, M2.7 की तुलना में 15 गुना तेज़ लॉन्ग-कॉन्टेक्स्ट डिकोडिंग तक पहुँचता है, प्रति-टोकन कंप्यूट लंबे संदर्भ में 1/20वें हिस्से तक गिर जाता है, और Fireworks पेपर रिप्रोडक्शन और CUDA कर्नेल ऑप्टिमाइज़ेशन कार्यों पर 12 से 24 घंटे के स्वायत्त रन का हवाला देता है।

लंबी अवधि के कार्य मांग वाले होते हैं क्योंकि संदर्भ कभी बढ़ना बंद नहीं करता। एक बहु-घंटे के एजेंट रन में कोड, लॉग, टूल आउटपुट और मध्यवर्ती तर्क जमा होते हैं, और मानक डेंस अटेंशन के साथ, हर नया टोकन प्रभावी रूप से यह सब फिर से पढ़ता है। लागत लंबाई के वर्ग के साथ बढ़ती है, इसलिए एक एजेंट जितना अधिक समय तक काम करता है, प्रत्येक कदम उतना ही महंगा होता जाता है। यही व्यावहारिक कारण है कि अधिकांश लंबे समय तक चलने वाले एजेंटों को जल्दी बंद कर दिया जाता है।

इस तंत्र को बदलने वाली चीज़ है MiniMax Sparse Attention (MSA), जिसे MiniMax की हालिया रिपोर्ट, MiniMax Sparse Attention में प्रलेखित किया गया है। MSA बदलता है कि मॉडल प्रत्येक चरण में क्या पढ़ता है। ध्यान देने से पहले, यह एक हल्का प्री-फ़िल्टरिंग पास चलाता है: एक इंडेक्स ब्रांच संदर्भ को ब्लॉक में स्कोर करता है, वर्तमान टोकन के लिए सबसे अधिक प्रासंगिक ब्लॉक का चयन करता है, और मॉडल केवल उन ब्लॉकों पर ध्यान देता है। यह पूरी लाइब्रेरी के बजाय इंडेक्स पढ़ता है, जो संदर्भ के सैकड़ों हजारों टोकन तक बढ़ने पर भी प्रत्येक चरण की लागत को लगभग स्थिर रखता है।

MiniMax Sparse Attention: एक हल्की इंडेक्स ब्रांच की-वैल्यू ब्लॉक को स्कोर करती है और प्रति क्वेरी ग्रुप शीर्ष-k का चयन करती है, और मुख्य शाखा केवल उन ब्लॉकों पर ध्यान देती है। स्रोत: MiniMax Sparse Attention पेपर.

यदि आप M3 के साथ निर्माण कर रहे हैं तो इसका क्या अर्थ है:

• किसी भी लंबाई पर अनुमानित लागत। पेपर Bk = 128 और k = 16 सेट करता है, इसलिए प्रत्येक क्वेरी और GQA समूह 16 ब्लॉक, या 2,048 की-वैल्यू टोकन का चयन करता है। एक विस्तारित रन में अभी भी इंडेक्सिंग ओवरहेड है, लेकिन मुख्य अटेंशन बजट स्थिर रहता है।
• सस्ता लंबा संदर्भ। पेपर के मॉडल कॉन्फ़िगरेशन में, वे समान हेड सेटअप के तहत डेंस GQA की तुलना में चरम अनुक्रम लंबाई पर 28.4x प्रति-टोकन अटेंशन FLOPs कमी की रिपोर्ट करते हैं।
• उत्पादन में तेज़। लंबी अनुक्रम लंबाई पर H800 पर, वे 14.2x प्रीफ़िल और 7.6x डिकोडिंग वॉल-क्लॉक स्पीडअप की रिपोर्ट करते हैं। अलग टॉप-k बेंचमार्क कहता है कि MiniMax का विशेष कर्नेल सभी परीक्षण सेटिंग्स में torch.topk और TileLang के मुकाबले सबसे तेज़ है।
• न्यूनतम गुणवत्ता लागत। 109B MoE प्रयोगों में, पेपर प्रति टोकन 6B सक्रिय पैरामीटर की रिपोर्ट करता है और कहता है कि MSA-CPT लंबे-संदर्भ विस्तार के बाद पूर्ण-अटेंशन बेसलाइन के करीब रहता है। यह MMLU, GSM8K, HumanEval, RULER, HELMET और कई अन्य बेंचमार्क का मूल्यांकन करता है, जबकि प्रत्येक क्वेरी 2,048 टोकन पर ध्यान देती है।

प्रति-टोकन अटेंशन FLOPs और विलंबता MSA के लिए अनुक्रम लंबाई बढ़ने पर लगभग स्थिर रहती है, जबकि डेंस GQA (समूहित-क्वेरी अटेंशन) तेजी से बढ़ती है: चरम अनुक्रम लंबाई पर 28.4x कम कंप्यूट, 14.2x तेज़ प्रीफ़िल, और 7.6x तेज़ डिकोडिंग। स्रोत: MiniMax Sparse Attention पेपर.

यह क्या संभव बनाता है

दिलचस्प हिस्सा सिर्फ यह नहीं है कि M3 अधिक टोकन धारण कर सकता है। यह है कि लंबा संदर्भ इतना सस्ता और तेज़ हो जाता है कि इसे पुनरावृत्त प्रणालियों में रखा जा सके जिन्हें समय के साथ स्थिति बनाए रखने की आवश्यकता होती है।

• स्व-सुधार करने वाले एजेंट। यह पहला एप्लिकेशन है जिस पर मैं नज़र रखूंगा। एक स्व-सुधार करने वाले एजेंट को वर्तमान कोड, पिछले असफल संपादन, मूल्यांकन लॉग, बेंचमार्क परिणाम और अपनी परिकल्पनाओं को दृश्य में रखने की आवश्यकता होती है, जबकि वह अगला परिवर्तन प्रस्तावित करता है। स्पार्स अटेंशन मूल्यांकन को हल नहीं करता है, लेकिन यह लंबे समय तक चलने वाले प्रस्ताव, सत्यापन और संशोधन लूप को संदर्भ लागत के तहत ढहने की संभावना को बहुत कम कर देता है।
• रिपॉजिटरी-स्केल इंजीनियरिंग। Fireworks पूर्ण-रिपॉजिटरी कोड समझ और मजबूत एजेंटिक कोडिंग पर प्रकाश डालता है। यह मायने रखता है क्योंकि वास्तविक इंजीनियरिंग का काम शायद ही कभी एक साफ-सुथरे प्रॉम्प्ट में फिट बैठता है। कोडबेस में डीबग करना, रिग्रेशन को ट्रैक करना और मल्टी-फ़ाइल परिवर्तन करना, सभी एक ऐसे एजेंट से लाभान्वित होते हैं जो एक सत्र में रिपॉजिटरी, टेस्ट आउटपुट और एडिट हिस्ट्री को जीवित रख सकता है।
• वैज्ञानिक और सिस्टम अनुसंधान। Fireworks पेपर रिप्रोडक्शन और CUDA कर्नेल ऑप्टिमाइज़ेशन पर लंबे स्वायत्त रन की ओर इशारा करता है। ये उपयोगी उदाहरण हैं क्योंकि काम एक ही उत्तर नहीं है। यह प्रयोगों, लॉग, विफलताओं, फिक्स और मापों का एक क्रम है जहाँ निरंतरता ही उत्पाद की विशेषता है।
• मल्टीमॉडल लॉन्ग-कॉन्टेक्स्ट वर्कफ़्लो। M3 मूल रूप से मल्टीमॉडल है, न कि केवल टेक्स्ट जिसमें विज़न जोड़ा गया है। यह लंबे संदर्भ को मूल छवि और वीडियो समझ के साथ जोड़ता है, इसलिए एक ही रन टेक्स्ट, कोड, स्क्रीनशॉट, आरेख और वीडियो फ्रेम पर एक साथ तर्क कर सकता है। यह मॉकअप या स्क्रीनशॉट से विज़ुअल-टू-कोड, वीडियो विश्लेषण, मल्टीमॉडल दस्तावेज़ समीक्षा और ऐसे एजेंटों के लिए द्वार खोलता है जो एक लंबे सत्र में अपने कोड और टूल ट्रेस के साथ विज़ुअल कॉन्टेक्स्ट को जीवित रखते हैं।

यही कारण है कि यह मॉडल डेवलपर्स के लिए दिलचस्प है। यह लंबे संदर्भ को एक दस्तावेज़-पढ़ने की सुविधा से एक निष्पादन सब्सट्रेट की ओर ले जाता है, जो उन एजेंटों के लिए है जिन्हें मेमोरी, पुनरावृत्ति और सत्यापन की आवश्यकता होती है।

यह ध्यान देने योग्य है कि यह अब क्यों आ रहा है। MiniMax ने M2 पीढ़ी के दौरान स्पार्स अटेंशन पेश किया और इसे अलग रख दिया क्योंकि बुनियादी ढाँचा अभी परिपक्व नहीं था। M3 के लिए, फोकस कर्नेल पर था। MSA संदर्भ को ब्लॉक में विभाजित करता है, प्रत्येक ब्लॉक को सन्निहित मेमोरी एक्सेस के साथ एक बार पढ़ता है, और केवल प्रासंगिक ब्लॉकों पर ध्यान देता है, जो इसे गुणवत्ता बनाए रखते हुए अन्य ओपन स्पार्स-अटेंशन विधियों की तुलना में कई गुना तेज़ चलने देता है।

यह सीधे उस संदर्भ इंजीनियरिंग कार्य से जुड़ता है जिस पर मैंने ध्यान केंद्रित किया है। वर्षों से, मैंने डेवलपर्स को प्रोत्साहित किया है कि वे कॉन्टेक्स्ट विंडो में क्या जाता है, इसे क्यूरेट करें। MSA मॉडल सीख रहा है कि विंडो के भीतर वह किस पर ध्यान देता है, उसे क्यूरेट करे; वही सिद्धांत आर्किटेक्चर में एक स्तर नीचे चला जाता है।

डेवलपर्स और शोधकर्ताओं के लिए, यह एक छोटे डेमो और एक ऐसे टूल के बीच का अंतर है जिस पर आप भरोसा कर सकते हैं। इसका मतलब है एक एजेंट जो एक बार में पूरी रिपॉजिटरी पढ़ता है, एक ही निरंतर सत्र में पूरे कोडबेस में डीबग करता है, या संदर्भ खोए बिना घंटों के प्रयोगों, लॉग और संशोधनों के माध्यम से एक शोध कार्य करता है। MiniMax के अपने लंबी अवधि के रनों में, सबसे मजबूत परिणाम अक्सर बहु-घंटे के सत्र में गहराई से उभरता है, उस समय के बाद जब अधिकांश मॉडल पठार पर पहुँच जाते हैं और रुक जाते हैं। किफायती लंबा संदर्भ ही एक एजेंट को उस तरह की दृढ़ता देता है।

यह वह हिस्सा है जो मुझे सबसे आकर्षक लगता है। मैं जो एजेंट बनाता हूँ, वे आमतौर पर इसलिए विफल होते हैं क्योंकि मॉडल कमजोर है, बल्कि इसलिए कि वे एक लंबे कार्य को बनाए नहीं रख सकते हैं, और एक विश्वसनीय लंबा संदर्भ मूलभूत बुनियादी ढाँचा है जो अंततः इसे संबोधित करता है।

MiniMax M3 के साथ शुरुआत कहाँ से करें

एक तकनीकी टीम के लिए, @FireworksAI_HQ बिंदु परिचालनात्मक है। M3 का स्पार्स-अटेंशन डिज़ाइन तभी उपयोगी होता है जब सर्विंग लेयर लंबे संदर्भ में विलंबता, थ्रूपुट और लागत को स्थिर रख सके। Fireworks का कहना है कि यह MiniMax के प्रथम-पक्ष API इन्फ़रेंस को शक्ति प्रदान करता है, MiniMax मॉडल श्रृंखला में सबसे तेज़ एंडपॉइंट प्रदान करता है, और M3 को $0.60 प्रति 1M इनपुट टोकन से सर्वरलेस और ऑन-डिमांड डिप्लॉयमेंट विकल्पों के साथ मूल्य निर्धारित करता है। उस दर पर, M3 तुलनीय उपयोग के लिए GLM 5.2 से लगभग 75% कम पर आता है, जो कहानी को एक बड़ी कॉन्टेक्स्ट विंडो के बारे में कम और इस बारे में अधिक बनाता है कि क्या लंबी अवधि के एजेंट उत्पादन में आर्थिक रूप से चल सकते हैं।

मूल्य निर्धारण उपयोगी है क्योंकि यह M3 को M2.7 से एक अपग्रेड पथ के रूप में पुनर्परिभाषित करता है, न कि केवल एक नया फ्रंटियर मॉडल। Fireworks का कहना है कि ओपन-वेट लॉन्च मूल्य निर्धारण मानक सर्वरलेस उपयोग के लिए M2.7 के बराबर हो गया है, इसलिए टीमों को पिछली पीढ़ी पर प्रीमियम का भुगतान किए बिना M3 का लंबा संदर्भ और मूल मल्टीमॉडल समझ मिलती है।

M3 का परीक्षण करने के लिए, उसी Fireworks चैट कम्प्लीशन एंडपॉइंट का उपयोग करें जिसका उपयोग आप अन्य Fireworks मॉडल के लिए करेंगे। मॉडल आईडी accounts/fireworks/models/minimax-m3 है, और क्योंकि मॉडल मल्टीमॉडल है, एक एकल अनुरोध में एक ही संदेश में टेक्स्ट और इमेज URL शामिल हो सकते हैं।

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Can you describe this image?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

कठिन एजेंटिक या रीज़निंग कार्यों के लिए, पेलोड में "thinking": {"type": "enabled"} जोड़ें। प्रोडक्शन वर्कलोड के लिए, Fireworks सर्वरलेस को मूल्यांकन के लिए सबसे तेज़ पथ और ऑन-डिमांड डिप्लॉयमेंट को अनुमानित थ्रूपुट के विकल्प के रूप में रखता है।

इसे यहाँ आज़माएँ: Fireworks AI