आज रात अचानक मैंने मस्क की एक ट्वीट देखी: "Impressive work from Kimi."
मैं देखने गया कि बूढ़े मस्क को इतना उत्साहित किस चीज़ ने कर दिया। फिर, मुझे पता चला कि Kimi ने एक पेपर जारी किया है।
मैंने मस्क द्वारा प्रशंसित पेपर को ध्यान से पढ़ा। मैंने पाया कि इस पेपर का नायक कुछ ऐसा है जिससे मैं काफी परिचित हूँ—रिज़िड्युअल कनेक्शन। मेरी पहली प्रतिक्रिया थी: रुको, क्या यह वही नहीं है जिसे DeepSeek ने पिछले साल के अंत में छुआ था?
इस साल जनवरी में, मैंने DeepSeek के mHC पेपर की व्याख्या करते हुए एक लेख लिखा था। मुख्य बात थी: DeepSeek ने कुछ ऐसा पाया जिसके बारे में सभी को लगता था कि बदलने की ज़रूरत नहीं है—रिज़िड्युअल कनेक्शन—और उसे बदल दिया।
अब Kimi भी रिज़िड्युअल कनेक्शन पर हाथ डाल रहा है, और मस्क कह रहे हैं कि यह प्रभावशाली है। मैंने पेपर को उलझन में पढ़ा। निष्कर्ष: दोनों प्रयोगशालाओं ने एक ही समस्या पाई, लेकिन उनके समाधान के शुरुआती बिंदु और गहराई पूरी तरह से अलग हैं।
DeepSeek ने क्या समस्या पाई और उन्होंने इसे कैसे हल किया?
आइए जल्दी से DeepSeek पेपर की समीक्षा करें। मानक रिज़िड्युअल कनेक्शन इस तरह दिखते हैं:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
हर परत का आउटपुट = पिछली परत का आउटपुट + इस परत में सीखी गई नई चीज़ें। निश्चित भार, एकसमान संचय। 2015 में ResNet द्वारा प्रस्तावित, तब से सभी बड़े मॉडलों द्वारा उपयोग किया जाता है।
DeepSeek की समस्या जागरूकता थी: क्या निश्चित भार बहुत कठोर हैं? क्या हर परत के लिए सभी पिछली परतों के साथ समान व्यवहार करना उचित है?
उनका पहला प्रयास Hyper-Connections (HC) था: रिज़िड्युअल प्रवाह को 1 से बढ़ाकर 4 पथ करना, प्रत्येक के लिए सीखने योग्य भार के साथ। इसने अच्छा काम किया लेकिन इसमें एक घातक दोष था: प्रशिक्षण अस्थिरता। सीखने योग्य भार मैट्रिक्स की कोई बाध्यता नहीं थी, और 60 परतों के गुणन के बाद, सिग्नल 3000 गुना बढ़ गया। प्रशिक्षण के बीच में हानि वक्र अचानक बढ़ जाती थी।
अंतिम mHC समाधान: भार मैट्रिक्स को "डबली स्टोकास्टिक मैट्रिक्स" तक सीमित करना—जहाँ प्रत्येक पंक्ति और स्तंभ का योग 1 के बराबर होता है। यह गणितीय गुण सुनिश्चित करता है कि वर्णक्रमीय मानदंड ≤ 1 हो, जिससे सिग्नल विस्फोट को रोका जा सके। प्रशिक्षण स्थिर हो गया, और प्रदर्शन मूल रिज़िड्युअल कनेक्शन से बेहतर हुआ, जिसमें केवल 6.7% अतिरिक्त प्रशिक्षण समय लगा।
DeepSeek का समाधान: कनेक्शन भार को निश्चित से सीखने योग्य में बदलना, स्थिरता सुनिश्चित करने के लिए गणितीय बाधाओं का उपयोग करना।
Kimi ने क्या पाया, और यह वैसा ही क्यों दिखता है?
Kimi का पेपर भी रिज़िड्युअल कनेक्शन की समस्याओं पर चर्चा करके शुरू होता है। लेकिन जैसे-जैसे मैंने पढ़ा, Kimi की समस्या की परिभाषा एक अलग स्तर पर है।
DeepSeek ने पूछा: क्या भार अधिक लचीले हो सकते हैं?
Kimi ने पूछा: अधिक मौलिक समस्या क्या है? भले ही भार सीखने योग्य हों, फिर भी क्या अनसुलझा रहता है?
उन्हें तीन उत्तर मिले।
पहला, आप "मेनू से ऑर्डर नहीं कर सकते।"
प्रत्येक परत केवल पिछली परत से प्रेषित "मिश्रित अवस्था" देखती है—सभी पिछली परतों के आउटपुट को एक साथ मिलाने का परिणाम। लेकिन विभिन्न प्रकार की परतों को अलग-अलग चीज़ों की आवश्यकता होती है: कुछ को शुरुआती कच्चे शब्दार्थ की आवश्यकता हो सकती है, दूसरों को अभी-अभी गणना की गई सुविधाओं की। वर्तमान में, वे सभी एक ही मिश्रित भोजन खाते हैं; वे यह नहीं कह सकते कि "मुझे परत 3 का आउटपुट चाहिए।"
दूसरा, सूचना पुनर्प्राप्त नहीं की जा सकती।
एक बार जब कोई परत कुछ मूल्यवान सीख लेती है और वह संचयी अवस्था में मिल जाती है, तो यह बाकी सब चीज़ों के साथ मिश्रित हो जाती है। जैसे-जैसे बाद की परतें नए आउटपुट जोड़ती हैं, वह जानकारी फीकी पड़ जाती है और अंततः डूब जाती है। यह अपरिवर्तनीय है।
तीसरा, बाद की परतों के लिए प्रभाव डालना कठिन होता है।
एक ऐसे कमरे में बात करने की कल्पना करें जो लगातार शोरगुल करता रहे। पिछली परतों ने एक बड़ा सिग्नल जमा कर लिया है; बाद की परतों को सुनाई देने के लिए सभी पूर्ववर्तियों से अधिक जोर से चिल्लाना होगा। पेपर ने इसे मापा: अंतिम परतों तक, सिग्नल का परिमाण शुरुआत से दस गुना से अधिक होता है। समान प्रभाव डालने के लिए, बाद की परतों को दस गुना "आवाज़" की आवश्यकता होती है।
mHC ने प्रशिक्षण स्थिरता को हल किया, लेकिन ये तीन मौलिक समस्याएँ बनी रहीं—क्योंकि mHC भार, सीखने योग्य होने पर भी, प्रशिक्षण के बाद निश्चित हो जाते हैं। इनपुट चाहे जो भी हो, भार समान रहते हैं।
Kimi का समाधान: समय-आयाम समाधानों को गहराई-आयाम में स्थानांतरित करना
Kimi का समाधान एक सुंदर सादृश्य से आता है। ये तीन समस्याएँ—कोई मेनू नहीं, खोई हुई जानकारी, और शोरगुल वाले कमरे में चिल्लाना—परिचित लगती हैं। ये ठीक वही समस्याएँ हैं जो 2017 से पहले RNN के साथ टेक्स्ट अनुक्रमों को संसाधित करते समय सामने आई थीं।
2017 में, "Attention Is All You Need" ने Transformer का प्रस्ताव रखा, जिसमें ध्यान तंत्र का उपयोग करके इसे हल किया गया: प्रत्येक स्थान अब केवल पिछली संपीड़ित अवस्था नहीं देखता, बल्कि सभी ऐतिहासिक स्थानों को पीछे देख सकता है और गतिशील रूप से तय कर सकता है कि कहाँ ध्यान केंद्रित करना है।
दिलचस्प बात यह है कि जब उस पेपर ने टेक्स्ट प्रसंस्करण को उन्नत किया, तो इसने परतों के बीच सूचना प्रवाह को नहीं छुआ—रिज़िड्युअल कनेक्शन 2015 के निश्चित संचय के रूप में बने रहे।
Kimi का प्रश्न: जब हम टेक्स्ट संसाधित करते हैं, तो हमने "संपीड़ित स्थानांतरण" को ध्यान से बदल दिया; हम परतों के बीच अभी भी "संपीड़ित स्थानांतरण" का उपयोग क्यों कर रहे हैं?
यह AttnRes का मुख्य अंतर्दृष्टि है: परत-से-परत कनेक्शन पर ध्यान तंत्र को लागू करना। एक मायने में, यह गहराई दिशा में "Attention Is All You Need" का उत्तरकथा है।
सीधे शब्दों में, प्रत्येक परत अब सभी पिछली परतों के आउटपुट को "पीछे देख" सकती है और वर्तमान सामग्री के आधार पर गतिशील रूप से तय कर सकती है कि कौन से परिणाम सबसे अधिक प्रासंगिक हैं। यह "पीछे देखना" ध्यान तंत्र है—वही जो Transformer टेक्स्ट के साथ करता है, लेकिन दिशा "पिछले शब्दों को पीछे देखने" से बदलकर "पिछली परतों को पीछे देखने" में बदल जाती है।
पैरामीटर लागत नगण्य है: प्रति परत केवल एक अतिरिक्त वेक्टर। सबसे महत्वपूर्ण बात, "किसे देखना है" के भार निश्चित नहीं हैं। एक ही मॉडल, विभिन्न इनपुट संसाधित करते हुए, विभिन्न परतों पर ध्यान केंद्रित करेगा। यह mHC से आवश्यक अंतर है: mHC भार प्रशिक्षण के बाद निश्चित होते हैं; AttnRes भार "जीवित" हैं।
यह मुझे Proust की याद दिलाता है। "In Search of Lost Time" में, जब Marcel चाय में डूबा हुआ मेडलीन चखता है, तो Combray का बचपन वापस आ जाता है—एक अस्पष्ट छाप के रूप में नहीं, बल्कि एक सटीक धारणा के रूप में जो सभी मध्यवर्ती कथा श्रृंखलाओं को दरकिनार कर देता है। Proust ने इसे "अनैच्छिक स्मृति" कहा। AttnRes प्रत्येक परत को एक इंजीनियर Proustian क्षमता देता है: वर्तमान सामग्री से ट्रिगर होकर, यह मध्यवर्ती संपीड़न श्रृंखला से गुज़रे बिना किसी भी पूर्ववर्ती परत के सटीक आउटपुट पर सीधे कूद जाता है।
दोनों समाधानों के बीच आवश्यक अंतर
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
क्या बदला गया | कनेक्शन भार की सीखने की विधि | सूचना प्रवाह की संरचना |
भार: जीवित या मृत | प्रशिक्षण के बाद निश्चित | प्रत्येक इनपुट के लिए अलग |
क्या देखा जा सकता है | केवल पिछली परत की मिश्रित अवस्था | सभी पिछली परतों के कच्चे आउटपुट सीधे देख सकते हैं |
क्या हल किया गया | कठोर भार | "मेनू" चयन + शोरगुल वाले कमरे का प्रभाव |
पेपर में एक एब्लेशन स्टडी बहुत सीधी है: यदि मॉडल सभी पिछली परतों को देख सकता है लेकिन भार निश्चित हैं, तो लगभग कोई सुधार नहीं होता है। लेकिन गतिशील भार (सामग्री के आधार पर रीयल-टाइम में तय) के साथ, प्रदर्शन में काफी सुधार होता है।
Block AttnRes: इंजीनियरिंग कार्यान्वयन
आदर्श रूप से, प्रत्येक परत सभी पिछली परतों को पीछे देखती है (Full AttnRes)। लेकिन 100+ परतों वाले मॉडल के लिए, सभी आउटपुट को संग्रहीत करना बहुत अधिक मेमोरी-गहन है। Kimi का इंजीनियरिंग समाधान Block AttnRes है: परतों को लगभग 8 "ब्लॉकों" में विभाजित करना। ब्लॉकों के भीतर, मानक रिज़िड्युअल का उपयोग किया जाता है; ब्लॉकों के बीच, ध्यान का उपयोग किया जाता है। मेमोरी उपयोग काफी कम हो जाता है जबकि अधिकांश लाभ बरकरार रहते हैं। प्रशिक्षण ओवरहेड 4% से कम है, और अनुमान विलंबता 2% से कम बढ़ती है।
परिणाम क्या हैं?
Kimi के 48B पैरामीटर मॉडल पर परीक्षण किया गया: समान कंप्यूट का उपयोग करते हुए, AttnRes ने वह प्रदर्शन प्राप्त किया जो मानक विधियों को प्राप्त करने के लिए 25% अधिक कंप्यूट की आवश्यकता होती।
डाउनस्ट्रीम कार्यों में सुधार महत्वपूर्ण हैं, विशेष रूप से तर्क में:
- GPQA-Diamond: 36.9 → 44.4 (+7.5 अंक)
- Math: 53.5 → 57.1
- Code: 59.1 → 62.2
- C-Eval: 79.6 → 82.5
मॉडल ने क्या सीखा?
Kimi ने "पीछे देखने" के पैटर्न को विज़ुअलाइज़ किया:
- ज्यादातर पड़ोसियों को देखता है। मानक रिज़िड्युअल पूरी तरह से गलत नहीं थे।
- मूल इनपुट कभी नहीं भूला जाता। यहाँ तक कि सबसे गहरी परतों में भी, प्रारंभिक इनपुट पर ध्यान शून्य नहीं है।
- मॉडल ने "शॉर्टकट" का आविष्कार किया। कुछ परतें बहुत शुरुआती परतों पर ध्यान केंद्रित करने के लिए बीच को छोड़ देती हैं।
बड़ी तस्वीर
अधिकांश टीमें बेहतर डेटा, लंबे संदर्भ, या बड़े MoE पर ध्यान केंद्रित करती हैं। ये इस धारणा के तहत अनुकूलन हैं कि "परत कनेक्शन निश्चित हैं।" एक सफलता के लिए आधार संरचना पर लौटने के लिए तकनीकी निर्णय और इंजीनियरिंग ताकत की आवश्यकता होती है।
रिज़िड्युअल कनेक्शन दस वर्षों से डिफ़ॉल्ट रहे हैं। तीन महीनों के भीतर, दो चीनी प्रयोगशालाओं ने यहाँ मौलिक सफलताएँ पाईं। मस्क का "Impressive work" एक शिष्टाचार से अधिक है; यह संकेत देता है कि गहन शिक्षा का अंतर्निहित प्रतिमान बदल रहा है।
संदर्भ:
- Attention Residuals Report: https://github.com/MoonshotAI/Attention-Residuals
- mHC Paper: https://arxiv.org/abs/2512.24880
- Kimi Linear Report: https://arxiv.org/abs/2510.26692
Kimi इस पेपर को सरल शब्दों में समझाता है: बड़े मॉडल एक 100 मंजिला इमारत की तरह हैं। दस वर्षों तक, कर्मचारी एक मिश्रित फ़ाइल को मंज़िल दर मंज़िल ऊपर पहुँचाते रहे। Kimi ने हर मंज़िल पर एक टेलीफोन लगा दिया। अब, 100वीं मंज़िल पर कर्मचारी डेटा चेक करने के लिए सीधे तीसरी मंज़िल पर कॉल कर सकता है, बजाय एक ऐसी फ़ाइल खोदने के जिसे 97 बार संशोधित किया जा चुका है। इस सरल बदलाव ने मॉडल को 25% मुफ़्त प्रदर्शन बढ़ोतरी दी।
