DeepSeek की 10 ट्रिलियन USD की भव्य रणनीति

@bookwormengr
अंग्रेज़ी2 माह पहले · 22 मई 2026
936K
1.6K
291
38
2.9K

TL;DR

DeepSeek हार्डवेयर आवश्यकताओं को कम करने के लिए MLA और Engram जैसे आर्किटेक्चरल नवाचारों का लाभ उठा रहा है, जिसका उद्देश्य एक विशाल चीनी AI इकोसिस्टम को बढ़ावा देना और ट्रिलियन-डॉलर के मूल्यांकन तक पहुँचना है।

क्या आपने कभी सोचा है कि DeepSeek पैसा कैसे कमा सकता है, और वह भी बहुत सारा पैसा?

उन्होंने GLM, MoonShot और MiniMax जैसी प्रतिस्पर्धी कोडिंग योजनाएं नहीं बनाईं। उनके पास मल्टीमॉडल, ऑडियो, वीडियो मॉडल नहीं हैं। आज तक उनके पास एक हार्नेस नहीं है (हाल ही में उन्होंने हार्नेस बनाने के लिए भर्ती शुरू की है)? DeepSeek लंबी अवधि में ओपन सोर्स के लिए भी प्रतिबद्ध है और अपनी गुप्त चटनी साझा करने में बहुत खुश है। क्या यह पागलपन है? क्या यह पैसे की बर्बादी है? क्या वे निवेशक जो उनमें 10 बिलियन अमरीकी डॉलर निवेश करने वाले हैं, नाली में पैसा फेंक रहे हैं?

नहीं - इसके विपरीत, मेरी राय में!!!

यहाँ मैं उन अवलोकनों को प्रस्तुत कर रहा हूँ जो उन्होंने आज तक किए हैं, और एक रणनीति जो वे अपना रहे प्रतीत होते हैं। लियांग वेनफेंग (DeepSeek CEO) की नज़र बहुत बड़े इनाम पर लगती है और वे 1 ट्रिलियन अमरीकी डॉलर का मूल्यांकन हासिल कर सकते हैं, साथ ही 10 ट्रिलियन अमरीकी डॉलर का उद्योग बनाने में मदद कर सकते हैं!

GDP - inline image

DeepSeek की हीरो यात्रा पर पुनर्विचार

DeepSeek ने हमेशा धीरे-धीरे बेहतर मॉडल बनाने और तत्काल अनुप्रयोगों को बेचने की हवा के विपरीत काम किया है - उदाहरण के लिए कोडिंग योजनाएं। मैंने 27 जनवरी 2025 को यह वायरल ट्वीट लिखा था जिसमें मैंने DeepSeek की हीरो यात्रा के बारे में बताया था। कहानी और भी दिलचस्प होती जा रही है।

  • जब लोग डेंस मॉडल बनाने की कोशिश कर रहे थे, DeepSeek ने मिक्सचर ऑफ एक्सपर्ट मॉडल (MoE) का पीछा किया जिन्हें प्रशिक्षित करना मुश्किल था।
  • उन्होंने 'पहले सिद्धांत' दृष्टिकोण से काम किया और रीइन्फोर्समेंट लर्निंग (RL) के लिए प्रमुख PPO एल्गोरिदम को बदलने के लिए नया एल्गोरिदम GRPO का आविष्कार किया, जिसे लागू करना अधिक महंगा था।
  • उन्होंने मॉडलों की तर्क क्षमता में सुधार के लिए एक प्रमुख रणनीति के रूप में रीइन्फोर्समेंट लर्निंग फ्रॉम वेरिफाइड रिवार्ड्स (RLVR) का पता लगाया।
  • वे "मल्टी टोकन प्रेडिक्शन" के माध्यम से स्पेकुलेटिव डिकोडिंग के लिए एक सरल रणनीति लेकर आए, जिसने प्रशिक्षण संकेत को भी सघन बना दिया।
  • उन्होंने सीमित GPU संसाधनों के उपयोग में सुधार के लिए "जीरो बबल" पाइपलाइनों को पूर्णता प्रदान की।
  • उन्होंने एक्सपर्ट लोड बैलेंसर प्रकाशित किया ताकि हर कोई मिक्सचर ऑफ एक्सपर्ट मॉडल को आसानी से तैनात कर सके। विशेष रूप से "वाइड एक्सपर्ट पैरेलल" रणनीति के साथ मॉडलों को अधिक आर्थिक रूप से परोसा जा सकता है क्योंकि कोई बड़े बैच रख सकता है।
  • उन्होंने KV कैश की आवश्यकता को कम करने और बढ़ते संदर्भ के सामने कम्प्यूटेशन मांग को स्थिर रखने के लिए MLA, DSA, CSA, HCA का आविष्कार किया।
  • उन्होंने मेमोरी के बदले कंप्यूट का व्यापार करने के लिए एन्ग्राम का आविष्कार किया।
  • उन्होंने मॉडल के आकार बढ़ने पर स्थिर प्रशिक्षण प्राप्त करने के लिए mHC का आविष्कार किया। और सूची जारी है....

हीरो यात्रा कहानी संरचना (सबसे सार्वभौमिक) में, नायक कभी यह तय नहीं करता कि उसकी यात्रा क्या होने वाली है। वह रास्ते में सीखता है और अपने लिए एक महान मिशन खोजता है और सभी बाधाओं के खिलाफ इसे पूरा करता है। वह कई विरोधियों से मिलता है, लेकिन उन्हें अनदेखा करता है। वह कई बुरे इरादे वाले लोगों से मिलता है। उसमें बड़ी खामी या कमी है - लेकिन वह अपने मिशन को पूरा करने के लिए उन पर काबू पाता है। वह ऐसी चुनौतियों का सामना करता है जो असंभव लगती हैं, लेकिन गठबंधन बनाने और कीमती संसाधनों का बुद्धिमानी से उपयोग करने का तरीका ढूंढता है। यही दर्शकों को नायक के लिए जड़ने पर मजबूर करता है। यही DeepSeek को उनके प्रशंसक अनुयायी और वैश्विक सम्मान और साथ ही विरोधी दिलाता है।

जैसा कि मैं आपको विस्तार से दिखाऊंगा, DeepSeek काफी समय से इस यात्रा पर है और अब उसने अंतिम नियति की खोज कर ली है: यह कोडिंग योजनाएं बेचना नहीं है, बल्कि 10 ट्रिलियन अमरीकी डॉलर के चीनी AI हार्डवेयर इकोसिस्टम को सक्षम करना और अपने लिए 1 ट्रिलियन अमरीकी डॉलर का मूल्यांकन हासिल करना है। ऐसा करने में वे पश्चिमी हार्डवेयर इकोसिस्टम में भी कई नए प्रवेशकों को सक्षम करेंगे।

टिप्पणियाँ और आलोचना का स्वागत है: @naval @teortaxesTex @jukan05 @bubbleboi @poezhao0605 @hsu_steve @tphuang

GDP - inline image

KV कैश गणनाओं के साथ कुछ मज़ा:

@SemiAnalysis_ का यह समय पर ट्वीट पढ़ें:

GDP - inline image

आइए पहले कुछ मजेदार KV कैश गणित करें। अगर आपको गणित पसंद नहीं है तो चिंता न करें। हम हाल ही में जारी KV कैश कैलकुलेटर का उपयोग करके देखेंगे कि DeepSeek V4 Pro द्वारा KV कैश बचत संभव हुई है और इसकी तुलना नवीनतम GLM और Qwen मॉडल से करेंगे।

मैं 1M संदर्भ के लिए गणना करता हूँ। मैं 8 बिट KV सटीकता और 16 बिट इंडेक्सर सटीकता मानता हूँ। आप कैलकुलेटर के साथ खेल सकते हैं।

https://kvcache.ai/tools/kv-cache-calculator/

GDP - inline image

1M संदर्भ के लिए

  1. DeepSeek V4 को केवल 5.48GB HBM चाहिए
  2. GML5 को 60GB HBM चाहिए
  3. Qwen3-235B-A22B को चौंकाने वाला 89B चाहिए

ध्यान दें

  1. DeepSeek 1.6T पैरामीटर मॉडल है,
  2. GLM5 लगभग 700B पैरामीटर है, यह पहले से ही DeepSeek के MLA और DSA का उपयोग करता है; हालांकि नवीनतम संपीड़ित ध्यान नहीं
  3. Qwen3-235B-A22B लगभग 235B है और GQA ध्यान का उपयोग करता है

DeepSeek ने मेमोरी पर दबाव कम करने में मौलिक योगदान दिया है। यदि व्यापक रूप से अपनाया जाता है, तो यह नवाचार लंबे क्षितिज वाले एजेंटों को अत्यधिक किफायती बना सकता है और उपयोग के मामलों के अगले सेट को अनलॉक कर सकता है।

GDP - inline image

पागलपन के पीछे का तरीका:

KV कैश का यह छोटा आकार - गुणवत्ता से समझौता किए बिना - इसका कारण है कि वे लंबे समय तक कैश को इतनी हास्यास्पद कम कीमत पर दे सकते हैं - Sonnet 4.6 के कैश हिट की कीमत के 3% से भी कम - और वे इसे कई घंटों तक रखते हैं।

लंबे क्षितिज वाले कार्य के लिए कैश की छोटी मात्रा SSD पर ऑफलोडिंग और बहुत लागत प्रभावी रीलोडिंग को सक्षम बनाती है। इससे HBM की आवश्यकता कम हो जाती है जो कम आपूर्ति में है और चीनी AI हार्डवेयर उद्योग के परिप्रेक्ष्य से बनाने के लिए सबसे कठिन मेमोरी है। DeepSeek ने डुअल पाथ पेपर में वर्णित SSD से KV कैश को तेजी से लोड करने की तकनीक भी विकसित की है।

GDP - inline image

KV कैश संपीड़न का तत्काल लाभार्थी कौन है?:

बड़ी मात्रा में SSD कौन आपूर्ति करता है? याद रखें YMCT 3D NAND दिग्गज के रूप में उभर रहा है। NAND DeepSeek को KVs की पुनर्गणना से बचने की अनुमति देता है। बदले में, DeepSeek NAND और SSD के लिए एक बड़ा बाजार बनाता है - न केवल YMTC का बल्कि बाकी सभी का भी।

GDP - inline image

हालांकि, यह केवल NAND और SSD के बारे में नहीं है:

LPDDR मेमोरी में वजन रखने और आवश्यकतानुसार उन्हें HBM में स्ट्रीम करने की बड़ी क्षमता है, जिससे HBM मांग पर दबाव कम होता है। SGLang टीम ने इसके बारे में एक शानदार ब्लॉग प्रकाशित किया है। मैं नीचे आरेख प्रस्तुत करता हूँ कि यह योजना कैसे काम करती है।

जबकि DeepSeek ने इसके लिए विशेष रूप से कुछ नहीं किया - बड़ी संख्या में विशेषज्ञों और 4 बिट वजन के साथ उनका MoE आर्किटेक्चर इस योजना को लागू करना आसान बनाता है।

GDP - inline image

यह नवाचार सुपर कॉम्पैक्ट KV कैश (दोषरहित) के साथ मिलकर HBM मांग को काफी कम करता है।

चीन में LPDDR कौन बनाता है? CXMT। वे गति के लिए LPDDR में केवल 0.5 जनरेशन पीछे हैं और घनत्व में 1 जनरेशन पीछे हैं। बहुत दूर नहीं! इसके अलावा प्रचुर NAND के साथ, चीनी इकोसिस्टम के पास निकट भविष्य में प्रचुर LPDDR होगा। क्या यह कंप्यूट पर दबाव कम कर सकता है? हाँ। आगे देखें...

GDP - inline image

मेमोरी का स्मार्ट उपयोग GPUs/ASICS पर दबाव भी कम करता है

KV कैश के लिए NAND का उपयोग KV कैश को लंबे समय तक रखने, HBM पर दबाव कम करने और KV कैश की पुनर्गणना से बचने की अनुमति देता है, जो GPUs और ASICs पर कंप्यूट दबाव से राहत देता है। क्या LPDDR भी इसी तरह मदद कर सकता है, इसके अलावा एक ऐसी जगह होने के नाते जहां से वजन को "जस्ट इन टाइम फैशन" में स्ट्रीम किया जा सकता है? इसका उत्तर हाँ है।

LPDDR बड़ी मात्रा में तथाकथित "एन्ग्राम" रखने का समर्थन करता है। अपने एन्ग्राम पेपर में DeepSeek ने दिखाया कि जबकि MoE सशर्त कम्प्यूटेशन के माध्यम से क्षमता को बढ़ाता है, ट्रांसफॉर्मर में ज्ञान लुकअप के लिए एक देशी प्रिमिटिव का अभाव है। वे कम्प्यूटेशन के माध्यम से अकुशल रूप से खोज का अनुकरण करने के लिए मजबूर हैं। वे एन्ग्राम पेश करते हैं, एक मॉड्यूल जो क्लासिक N-ग्राम एम्बेडिंग को O(1) हैश-आधारित लुकअप में आधुनिक बनाता है, एक पूरक विरलता अक्ष बनाता है जिसे वे सशर्त मेमोरी कहते हैं। यह कम्प्यूटेशन बचाता है, लेकिन एम्बेडिंग टेबल को होस्ट करने के लिए मेमोरी की आवश्यकता होती है जो आकार में बड़ी हो सकती है। यह एक क्लासिक मेमोरी-कंप्यूट प्रतिस्थापन है, लेकिन इस अंतर्दृष्टि के साथ कि "मेमोरी" पक्ष प्रति बिट पुनर्प्राप्ति में नाटकीय रूप से सस्ता है (एक LPDDR लुकअप बनाम ट्रांसफॉर्मर परतों के माध्यम से एक पूर्ण फॉरवर्ड पास), जो इसे बड़े पैमाने पर एक बहुत ही अनुकूल व्यापार बनाता है। इस प्रकार वे मेमोरी का व्यापार करके कंप्यूट पर बचत करते हैं!!!

GDP - inline image

करने लायक समझौते: चीनी GPUs और ASICs हमेशा कच्चे FLOPs में पश्चिमी GPUs से पिछड़ेंगे क्योंकि उनके पास प्रति चिपलेट समान ट्रांजिस्टर घनत्व नहीं है (कोई EUV नहीं)। वे पैकेजिंग में भी काफी पीछे हैं। तो ऐसे समझौते करना अच्छा है, खासकर यदि आप प्रचुर NAND और LPDDR मेमोरी बना सकते हैं।

DeepSeek के लंबे खेल का पुनर्कथन:

इन सभी नवाचारों से, DeepSeek का खेल कुछ सौ मिलियन के तत्काल लाभ प्रतीत नहीं होता है, यह देखते हुए कि उन्होंने सभी विकल्प बनाए हैं (अभी तक कोई मल्टीमॉडैलिटी नहीं, कोई वॉयस मॉडल नहीं, वीडियो - वह क्या है?) - लेकिन वे एक धैर्यपूर्ण 10 ट्रिलियन अमरीकी डॉलर का खेल खेल रहे हैं ताकि वैकल्पिक हार्डवेयर इकोसिस्टम को सक्षम किया जा सके।

यह केवल चीनी मेमोरी खिलाड़ियों को चीनी और वैश्विक AI हार्डवेयर क्षेत्र में प्रमुख खिलाड़ी बनाने के बारे में नहीं है, बल्कि संसाधन मांग को भी कम करना है, ताकि AI मॉडल को लागत प्रभावी ढंग से प्रशिक्षित और सेवित किया जा सके - यह कई GPU/ASIC निर्माताओं के साथ-साथ नेटवर्किंग चिप निर्माताओं को भी सक्षम करेगा क्योंकि वे व्यवहार्य विकल्प बन जाएंगे। ये सभी नवाचार पश्चिमी ओपन सोर्स इकोसिस्टम के साथ-साथ नए हार्डवेयर निर्माताओं की भी मदद करेंगे।

सभी संकेत मौजूद हैं। आइए हम उन सभी नवाचारों का विस्तार से पुनर्कथन करें जो वे लेकर आए हैं:

  1. मिक्सचर ऑफ एक्सपर्ट (MoE) और MLA DeepSeek V2 में पेश किए गए। MoE ने 40 से 50% कम कंप्यूट पर बहुत बुद्धिमान मॉडल को प्रशिक्षित करना संभव बनाया। MLA ने KV कैश को 90% तक कम करना संभव बनाया। इसने KV कैश को SSD पर ऑफलोड करना काफी कुशल बना दिया। ये विचार उनके मई 2024 के पेपर DeepSeek V2 में पेश किए गए थे। बाद में इसने DeepSeek V3 के प्रशिक्षण को अनलॉक किया जो उस समय केवल 2048 H800 नेर्फ्ड GPUs के साथ लगभग क्लोज्ड सोर्स था।
GDP - inline image
  1. DSA ([DeepSeek V3.2 Exp] (https://arxiv.org/pdf/2512.02556 में पेश किया गया) लंबे संदर्भ परिदृश्यों के लिए कंप्यूट को कम करने और HBM बैंडविड्थ पर दबाव से राहत देने के लिए। यह सुनिश्चित करता है कि बढ़ते संदर्भ के साथ कम्प्यूटेशन न बढ़े। कृपया नीचे चार्ट देखें - DeepSeek-v3.2 के लिए प्रसंस्करण समय संदर्भ के साथ स्थिर रहता है।
GDP - inline image
  1. mHC दिसंबर 2025 में पेपर mHC: मैनिफोल्ड-कॉन्स्ट्रेन्ड हाइपर-कनेक्शंस में पेश किया गया। mHC DeepSeek से एक मैक्रो-आर्किटेक्चर नवाचार है जो ट्रांसफॉर्मर परतों के बीच सूचना प्रवाह को पुनः परिभाषित करता है। ResNet के बाद से उपयोग किए जाने वाले मानक अवशेष कनेक्शन (x + F(x)) के बजाय, mHC अवशेष धारा को कई समानांतर सूचना राजमार्गों में विस्तारित करता है और उनके बीच सीखा मिश्रण की अनुमति देता है - लेकिन महत्वपूर्ण रूप से मिश्रण मैट्रिक्स को दोगुना स्टोकेस्टिक होने के लिए बाध्य करता है (बिरखॉफ पॉलीटोप पर सिंकहॉर्न-नॉप प्रक्षेपण के माध्यम से), जो गणितीय रूप से गारंटी देता है कि सिग्नल परिमाण मनमानी गहराई में संरक्षित है।
  • यह विनाशकारी अस्थिरता को हल करता है जिसने अनियंत्रित हाइपर-कनेक्शंस (शुरुआत में ByteDance में आविष्कार) को प्रभावित किया, जहां सिग्नल प्रवर्धन 27B पैमाने पर 3000× तक विस्फोट हो गया, प्रशिक्षण पूरी तरह से ढह गया।
  • कंप्यूट लागत न्यूनतम है: mHC केवल 6.7% दीवार-घड़ी प्रशिक्षण ओवरहेड जोड़ता है क्योंकि यह ध्यान या FFN परतों के FLOPs को नहीं बदलता है, केवल उनके आउटपुट को परतों के बीच कैसे रूट किया जाता है।
  • प्रदर्शन लाभ, हालांकि, पर्याप्त हैं: 27B पैरामीटर पर, mHC BIG-Bench हार्ड रीजनिंग पर +7.2 अंक, DROP पर +3.2, GSM8K गणित पर +2.8, और MMLU सामान्य ज्ञान पर +1.4 देता है, सभी समान मॉडल आकार और लगभग समान कंप्यूट बजट पर।

संक्षेप में, mHC नेटवर्क को परतों में सूचना रूट करने के लिए एक समृद्ध, अधिक अभिव्यंजक टोपोलॉजी देकर प्रति पैरामीटर काफी अधिक बुद्धिमत्ता प्राप्त करता है, जबकि अतिरिक्त FLOPs में लगभग कुछ भी भुगतान नहीं करता है।

GDP - inline image
  1. CSA, HSA (DeepSeek V4 में अप्रैल 2026 में पेश किया गया) KV टोकन को संपीड़ित करके KV आवश्यकता को और 90% कम करता है और बड़े अंतर से आवश्यक FLOPs को कम करता है, जिससे HBM और GPU/ASIC दोनों पर दबाव से राहत मिलती है।
GDP - inline image
  1. एन्ग्राम Q1 2026 में पेश किया गया जहां वे मेमोरी (LPDDR मेमोरी) का कंप्यूट के लिए व्यापार करते हैं (एक तरह से)। जैसा कि निम्नलिखित विस्तृत चार्ट समान समग्र पैरामीटर बजट पर एन्ग्राम के कारण प्रदर्शन लाभ दिखाता है।
GDP - inline image
  1. कंप्यूट और कम्युनिकेशन ओवरलैप पर अत्यधिक ध्यान, और डुअल पाथ जैसे नवाचारों को संसाधन बाधा के आसपास काम करने के रूप में समझाया जा सकता है। लेकिन DeepSeek हार्डवेयर विक्रेताओं को उनके ASIC डिज़ाइन पर सलाह देने के लिए और आगे जाता है ताकि यह सुनिश्चित किया जा सके कि वे कीमती सिलिकॉन संसाधनों को बर्बाद न करें। यह [DeepSeek V4 पेपर] (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf से है।
GDP - inline image
  1. TileLang में निवेश लगातार दिशा की ओर इशारा करता है कि वे न केवल अपने स्वयं के कंप्यूट संकट से निपट रहे हैं बल्कि चीनी हार्डवेयर इकोसिस्टम को पश्चिमी इकोसिस्टम के साथ प्रतिस्पर्धी बना रहे हैं। TileLang के साथ एक बार कर्नेल (कम्प्यूटेशन के लिए कोड) विकसित करना और इसे कई हार्डवेयर प्लेटफार्मों पर सफलतापूर्वक चलाना संभव है जिनके लिए TileLang बैकएंड उपलब्ध है। मुझे उम्मीद है कि चीन के अन्य सभी प्रयोगशालाएं इसमें शामिल होंगी - चीनी हार्डवेयर निर्माताओं को अप्रत्यक्ष रूप से "CUDA खाई" से निपटने में मदद करना। यह AMD जैसे अधिक पश्चिमी हार्डवेयर को भी अनलॉक करता है।

नोट: चीन में कई AI प्लेटफॉर्म या तो CUDA संगतता या CUDA अनुवाद परत प्रदान करते हैं: मूर थ्रेड्स, मेटाएक्स, बायरेन और इलुवाटर कोरएक्स अनुवाद परतों के माध्यम से सबसे अधिक CUDA-संगत चीनी चिप्स हैं। उन्हें TileLang की आवश्यकता नहीं है (सिद्धांत रूप में)।

GDP - inline image

बड़े पैमाने पर RL और RSI:

अधिक कंप्यूट (अधिक संभावित हार्डवेयर विकल्पों के कारण) और कंप्यूट मांग में कमी के साथ, DeepSeek बहुत अधिक महत्वाकांक्षी प्रशिक्षण परियोजनाओं को ले सकता है; विशेष रूप से RL पोस्ट ट्रेनिंग। RL में बड़ी संख्या में ट्रैजेक्टरी बनाना शामिल है - ट्रिलियन टोकन उत्पन्न करना। यह बहुत जल्दी महंगा हो सकता है। इसके अलावा, 1M संदर्भ मॉडल को प्रशिक्षित करने के लिए, आपको उतनी लंबी ट्रैजेक्टरी बनाने की आवश्यकता है। इतनी लंबी ट्रैजेक्टरी के लिए मॉडल को प्रशिक्षित करना लंबे क्षितिज वाले कार्यों को सक्षम बनाता है।

इसके अलावा, बढ़े हुए विकल्पों के कारण DeepSeek में अधिक हार्डवेयर की उपलब्धता स्वचालित अनुसंधान (RSI) को सक्षम करेगी। RSI में AI स्वयं प्रयोगों को डिजाइन और संचालित करता है। दृष्टिकोण में बड़ी संख्या में परीक्षण और त्रुटियां होती हैं और यह बहुत जल्दी महंगा हो सकता है। हालांकि, संपूर्ण डिज़ाइन स्थान का पता लगाने के लिए RSI महत्वपूर्ण है। DeepSeek को AGI और उसके बाद ASI तक पहुंचने से पहले RSI में सक्षम होने की आवश्यकता होगी।

DeepSeek आज जो करता है, बाकी उद्योग कल करता है:

DeepSeek के मिक्सचर ऑफ एक्सपर्ट, MLA, DSA के आसपास के नवाचारों को दुनिया भर और चीन के बाकी AI प्रयोगशालाओं द्वारा उठाया गया है।

उदाहरण के लिए, ZAI - GLM परिवार के मॉडल के निर्माता - MLA और DSA का उपयोग करते हैं। Kimi (Moonshot) ने MLA को अपनाया है और उन्हें यह कहने में कोई हिचकिचाहट नहीं है कि उनकी वास्तुकला DeepSeek की वास्तुकला पर आधारित है। बदले में DeepSeek Muon ऑप्टिमाइज़र का उपयोग करता है जिसे पहली बार Kimi (Moonshot) द्वारा बड़े पैमाने पर प्रशिक्षण के लिए इस्तेमाल किया गया था।

(नोट:

  • MoE का आविष्कार गूगल में 2027 में नाओम शाज़ीर द्वारा मुख्य लेखक के रूप में किया गया था। DeepSeek ने इसे बड़े पैमाने पर लागू किया और अपनी स्वयं की तरकीबों का आविष्कार किया।
  • Muon (MomentUm Orthogonalized by Newton-Schulz) ऑप्टिमाइज़र देर से 2024 में मशीन लर्निंग रिसर्चर केलर जॉर्डन द्वारा बनाया गया था। Kimi (Moonshot) टीम इसे बड़े पैमाने पर उपयोग करने वाली पहली टीम थी।)

पैसा कमाने के बारे में क्या?:

आइए OpenAI का एक दिलचस्प उदाहरण का अध्ययन करें। OpenAI को उपभोग माइलस्टोन के आधार पर कम कीमत पर AMD और Cerebras के स्टॉक खरीदने के लिए वारंट/विकल्प प्राप्त हुए। AMD और Cerebras के लिए यह एक बड़ा सौदा है। OpenAI उनके प्रति प्रतिबद्ध है, जिससे लंबे समय में उनके सफल होने की संभावना है।

AMD घोषणा से उद्धरण: "समझौते के हिस्से के रूप में, रणनीतिक हितों को और संरेखित करने के लिए, AMD ने OpenAI को AMD कॉमन स्टॉक के 160 मिलियन शेयरों तक का वारंट जारी किया है, जो विशिष्ट माइलस्टोन प्राप्त होने पर निहित होने के लिए संरचित है। पहली किस्त प्रारंभिक 1 गीगावाट तैनाती के साथ निहित होती है, अतिरिक्त किस्तें खरीद के 6 गीगावाट तक बढ़ने पर निहित होती हैं। वेस्टिंग आगे AMD द्वारा कुछ शेयर-मूल्य लक्ष्यों को प्राप्त करने और OpenAI द्वारा बड़े पैमाने पर AMD तैनाती को सक्षम करने के लिए आवश्यक तकनीकी और वाणिज्यिक माइलस्टोन प्राप्त करने से जुड़ा हुआ है।"

GDP - inline image

मैं भविष्यवाणी करता हूँ कि DeepSeek कई चीनी मेमोरी, ASIC, CPU और नेटवर्किंग स्टैक निर्माताओं के साथ ऐसे समझौतों में प्रवेश करेगा और उनके हार्डवेयर स्टैक को अग्रणी AI वर्कलोड के लिए व्यवहार्य बनाने के लिए उनके साथ मिलकर काम करेगा।

पश्चिमी (पूर्वी एशियाई सहयोगियों सहित) AI स्टॉक का संयुक्त मूल्यांकन 10 ट्रिलियन अमरीकी डॉलर से कहीं अधिक है। यह - सहयोग जो इक्विटी प्रदान करता है - दृष्टिकोण DeepSeek को चीन में समान रूप से बड़ा उद्योग बनाने और अपने लिए 1 ट्रिलियन अमरीकी डॉलर का मूल्यांकन प्राप्त करते हुए अपना हिस्सा दावा करने की अनुमति देता है।

यह उन्हें बहुत अधिक पैसा कमाने की अनुमति देगा, साथ ही उनके शब्दों में "सभी के लिए AGI" के अपने लक्ष्य को प्राप्त करेगा। लियांग वेनफेंग - जिम सिमन के एक बड़े प्रशंसक - इस चूकने के लिए बहुत चालाक पूंजीपति हैं!

यह एकमात्र चीज है जो समझ में आती है, यदि आप DeepSeek ने अब तक जो कुछ भी किया है उसे देखें...

GDP - inline image

इन नवाचारों पर विस्तृत ब्लॉग इस सप्ताहांत आ रहा है, यदि रुचि हो तो मेरे substack https://polymath707.substack.com/ को फॉलो करें...

एक क्लिक में सहेजें

YouMind में वायरल लेखों की AI गहन पढ़ाई

Save the source, ask focused questions, summarize the argument, and turn a viral article into reusable notes in one AI workspace.

Explore YouMind
क्रिएटर्स के लिए

अपने Markdown को एक साफ़-सुथरे 𝕏 आर्टिकल में बदलें

जब आप अपना लंबा कंटेंट पब्लिश करते हैं, तो इमेज, टेबल और कोड ब्लॉक को 𝕏 के लिए फ़ॉर्मेट करना मुश्किल होता है। YouMind पूरे Markdown ड्राफ़्ट को एक साफ़-सुथरे, पोस्ट के लिए तैयार 𝕏 आर्टिकल में बदल देता है।

Markdown से 𝕏 आज़माएँ

समझने के लिए और पैटर्न

हाल के वायरल लेख

और वायरल लेख देखें