बाजार और हालिया कई रिपोर्टों ने मेमोरी के प्रति मंदी का रुख अपनाया है। इस तर्क के अनुसार, 2027 और 2028 के आसपास क्षमता में होने वाली बड़ी वृद्धि से आपूर्ति मांग के बराबर पहुंच जाएगी, कीमतें गिर जाएंगी, और पुरानी चक्रीय स्क्रिप्ट के अनुसार डी-रेटिंग होगी।
मैं इस दृष्टिकोण से असहमत हूं।
मंदी का तर्क अभी भी मेमोरी को एक कमोडिटी मानता है, और इस धारणा के तहत तकनीकी आधार अभी बदल रहा है। मेमोरी उद्योग में चल रहे संरचनात्मक बदलाव को इंजीनियरिंग स्तर पर ट्रेस करें और यह स्पष्ट हो जाता है कि "कोई भी इसे बनाए, यह एक ही मानक भाग है" की धारणा, जिस पर साइकिल-टॉप तर्क निर्भर करता है, आने वाली मेमोरी पर कम और कम लागू होती है।
इस बदलाव के केंद्र में HBM बेस डाई है।
बेस डाई एक लॉजिक प्रक्रिया में जाती है, ग्राहक का सर्किट्री उसमें चला जाता है (cHBM), और अंत में मेमोरी सीधे ग्राहक के कंप्यूट डाई के ऊपर बैठती है (मेमोरी-ऑन-लॉजिक)।
मुझे उम्मीद है कि इस प्रगति के अंत में मेमोरी कंपनियां कमोडिटी निर्माताओं से कस्टम सिलिकॉन पार्टनर्स में बदल जाएंगी, और मेमोरी कंपनियां आज जिस तरह से आगे बढ़ रही हैं, वह इसी दिशा की ओर इशारा करता है। यह लेख तकनीकी पृष्ठभूमि, उद्योग भर में किए जा रहे वास्तविक कदमों, और मेमोरी राजस्व संरचना और मूल्यांकन के लिए इस बदलाव के अर्थ पर चर्चा करता है। अंत तक, आप समझ जाएंगे कि मैं मेमोरी पर बुलिश क्यों बना हुआ हूं, और यह तर्क मेमोरी व्यवसाय की संरचना में बदलाव पर क्यों टिका है।
https://x.com/damnang2/status/2054089498070556846
https://x.com/damnang2/status/2038016806653415929
विषय सूची
- HBM, cHBM, और मेमोरी-ऑन-लॉजिक, तीन संरचनाएं अलग-अलग
- cHBM से मेमोरी-ऑन-लॉजिक तक, उद्योग के आगे बढ़ने का क्रम
- सिलिकॉन वैली क्या सुन रही है
- मेमोरी राजस्व संरचना कैसे बदलती है
- निवेश के दृष्टिकोण से क्या देखना चाहिए
अस्वीकरण
इस लेख में दिए गए आंकड़े और समय-सीमाएँ कंपनी की घोषणाओं, सार्वजनिक रिपोर्टों और प्रकाशित पत्रों से लिए गए हैं। उन आंकड़ों की व्याख्या और यहाँ व्यक्त दृष्टिकोण पूरी तरह से मेरा अपना विश्लेषण है, और यहाँ कुछ भी किसी विशिष्ट सुरक्षा को खरीदने या बेचने की सिफारिश नहीं है। निवेश निर्णयों और उनके परिणामों की जिम्मेदारी व्यक्तिगत निवेशक पर ही है।
1. HBM, cHBM, और मेमोरी-ऑन-लॉजिक, तीन संरचनाएं अलग-अलग
HBM
HBM (हाई बैंडविड्थ मेमोरी) DRAM डाइज़ को आठ, बारह, या सोलह ऊँचा स्टैक करती है और उन्हें TSV (थ्रू-सिलिकॉन वियास) से लंबवत जोड़ती है। स्टैक के नीचे बेस डाई बैठती है। यह मेमोरी कंट्रोल, I/O, और टेस्ट लॉजिक को संभालती है, और DRAM स्टैक को बाहरी दुनिया से जोड़ने वाले प्रवेश द्वार के रूप में कार्य करती है। तैयार HBM स्टैक को GPU के बगल में एक सिलिकॉन इंटरपोज़र पर रखा जाता है और इंटरपोज़र की वायरिंग के माध्यम से GPU से जोड़ा जाता है। स्टैक स्वयं 3D है, लेकिन चूंकि यह GPU के ऊपर के बजाय उसके बगल में बैठता है, इसलिए इस व्यवस्था को 2.5D कहा जाता है। HBM4 में GPU और स्टैक के बीच इंटरफ़ेस 2,048 बिट चौड़ा है, और वे सिग्नल GPU डाई के किनारे पर PHY से निकलते हैं, इंटरपोज़र वायरिंग को पार करते हैं, और बेस डाई में प्रवेश करते हैं।
ऊपर के DRAM कोर डाइज़ काफी हद तक संरचना में निश्चित हैं, क्योंकि डेटा संग्रहीत करने वाला कैपेसिटर सरणी उनके अधिकांश क्षेत्र पर कब्जा कर लेता है, इसलिए स्टैक में एकमात्र परत जो लॉजिक रखती है, वह नीचे की बेस डाई है। GPU और मेमोरी के बीच जाने वाला हर बाइट इस परत से होकर गुजरता है, जो बेस डाई की प्रोसेसिंग क्षमता को पूरे स्टैक की बैंडविड्थ और बिजली दक्षता का निर्धारक बनाता है, और यह बोझ प्रत्येक पीढ़ी के साथ बढ़ता है। इंटरफ़ेस HBM3 में 1,024 बिट से दोगुना होकर HBM4 में 2,048 बिट हो गया है, प्रति-पिन गति इसके साथ बढ़ी है, और सिग्नल प्रोसेसिंग, चैनल प्रबंधन, और बिजली प्रबंधन की जटिलता प्रत्येक चरण के साथ बढ़ी है।
इस कारण से, मेमोरी कंपनियों ने HBM प्रदर्शन में सुधार करते समय पहले बेस डाई पर काम किया है, और शुरुआती बिंदु इसके निर्माण के लिए उपयोग की जाने वाली प्रक्रिया थी। HBM3E के माध्यम से बेस डाई DRAM प्रक्रिया पर निर्मित की गई थी, जो इसके ऊपर DRAM डाइज़ के समान थी। एक DRAM प्रक्रिया उच्च कैपेसिटर घनत्व के लिए विशिष्ट है, इसलिए उस पर लॉजिक सर्किट्री लगाने से लॉजिक प्रक्रिया पर बने समान लॉजिक की तुलना में कुछ बड़ा और धीमा उत्पन्न होता है। बेस डाई को जो काम करना होता है वह हर पीढ़ी के साथ बढ़ता है, और एक DRAM प्रक्रिया गति नहीं रख सकती, इसलिए HBM4 से बेस डाई लॉजिक प्रक्रिया में जाने लगी।
SK hynix इसे TSMC की 12nm प्रक्रिया पर और Samsung अपनी स्वयं की फाउंड्री की 4nm प्रक्रिया पर बनाता है, जबकि Micron अकेला HBM4 के माध्यम से अपनी मौजूदा DRAM प्रक्रिया पर लागत के आधार पर बेस डाई रखता है और HBM4E से TSMC लॉजिक प्रक्रिया में जाने की योजना बनाता है।
हालाँकि, प्रक्रिया में बदलाव के बावजूद, इस बेस डाई का डिज़ाइन अभी भी मेमोरी कंपनी का है, और उत्पाद JEDEC विनिर्देशों के अनुरूप एक मानक भाग बना हुआ है।
cHBM
बेस डाई को लॉजिक प्रक्रिया में ले जाने से HBM संरचना में निर्मित समस्या दूर नहीं होती है। GPU पक्ष में गणना के लिए डाई क्षेत्र की पुरानी कमी है, और उस दुर्लभ क्षेत्र का एक हिस्सा HBM इंटरफ़ेस और मेमोरी कंट्रोलर जैसे डेटा-मूविंग सर्किट द्वारा लिया जाता है।
यहीं से cHBM (कस्टम HBM) की अवधारणा शुरू होती है।
विचार GPU पक्ष के उन सर्किटों को नीचे बेस डाई में धकेलने का है जो मेमोरी के साथ संचार करते हैं, जो वैसे भी मेमोरी स्टैक के ठीक नीचे बैठता है। GPU फिर खाली किए गए क्षेत्र को गणना पर खर्च करता है, और मेमोरी से संबंधित लॉजिक ठीक वहीं चलता है जहाँ डेटा संग्रहीत है। उसी स्थान पर प्रीप्रोसेसिंग या कम्प्रेशन को संभालें और GPU तक जाने वाले डेटा की मात्रा कम हो जाती है, जिससे बिजली भी बचती है।
पकड़ यह है कि एक JEDEC-मानक बेस डाई हर ग्राहक के लिए सामान्य भाजक है, इसलिए इसमें किसी विशिष्ट ग्राहक के आर्किटेक्चर के लिए तैयार इस प्रकार के स्थानांतरण के लिए कोई जगह नहीं है। दूसरे शब्दों में, cHBM मानक से हटकर और HBM बनाने के लिए बेस डाई को कस्टम तरीके से डिज़ाइन करने का दृष्टिकोण है। एक ओर, उद्योग कभी-कभी पारंपरिक HBM को जो मानक का पालन करता है, उसे sHBM (मानक HBM) के रूप में संदर्भित करता है।
cHBM बेस डाई को डिज़ाइन करने के कई तरीके हैं। वे मेमोरी कंपनी द्वारा इसे ग्राहक के विनिर्देश के अनुसार डिज़ाइन करने से लेकर, Marvell जैसे ASIC (एप्लिकेशन-स्पेसिफिक इंटीग्रेटेड सर्किट) पार्टनर द्वारा तीन मेमोरी निर्माताओं के साथ संयुक्त रूप से बेस डाई को परिभाषित करने, से लेकर ग्राहक द्वारा सीधे बेस डाई लॉजिक को डिज़ाइन करने तक होते हैं, जैसा कि NVIDIA करता है।
हर रूप में मेमोरी स्टैक और लॉजिक को एक के रूप में काम करना होता है, और ग्राहक के डिज़ाइन विनिर्देश या सर्किट बेस डाई में प्रवेश करते हैं, इसलिए दोनों पक्षों के पास डिज़ाइन के शुरुआती चरण से एक साथ बैठकर विनिर्देश को परिभाषित करने के अलावा कोई विकल्प नहीं है।
इसका क्या अर्थ है कि ग्राहक के सर्किट्री का एक हिस्सा बेस डाई में डिज़ाइन किया गया है।
इसका अर्थ है कि मेमोरी का व्यवसाय मॉडल, जिसे लंबे समय से एक कमोडिटी माना जाता है, इस बिंदु से बदलना शुरू हो जाता है। एक HBM जो ग्राहक के सर्किट्री को ले जाता है, वह उस ग्राहक का समर्पित भाग है और इसे कहीं और नहीं बेचा जा सकता है, और ग्राहक की ओर से, अपने स्वयं के सर्किट्री के साथ एम्बेडेड मेमोरी को आसानी से किसी अन्य आपूर्तिकर्ता के उत्पाद से नहीं बदला जा सकता है। कमोडिटी की धारणा कि जब तक स्पेक मेल खाता है, किसी का भी भाग विनिमेय है, cHBM से आगे नहीं रहती है।
मेमोरी-ऑन-लॉजिक
जब तक आप cHBM तक पहुँचते हैं, बेस डाई मेमोरी प्रबंधन के लिए एक चिप की तुलना में ग्राहक के लॉजिक चिप की तरह अधिक दिखती है। इंटरफ़ेस ग्राहक का है, कंट्रोलर भी, और शेष क्षेत्र को भरने वाले कार्य भी। यह एक नया प्रश्न उठाता है। क्या एक अलग बेस डाई बनाने का कोई कारण है। GPU को, कंप्यूट डाई को, बेस डाई की स्थिति में क्यों न रखा जाए और मेमोरी को सीधे उसके ऊपर स्टैक किया जाए। वह संरचना मेमोरी-ऑन-लॉजिक है। कंप्यूट डाई वह सब कुछ अवशोषित कर लेता है जो बेस डाई करती थी, इंटरपोज़र गायब हो जाता है, और मेमोरी स्टैक को कंप्यूट डाई के ऊपर सीधे 3D में स्टैक किया जाता है।
इस बिंदु पर कनेक्शन की भौतिक स्थितियाँ बदल जाती हैं। HBM स्टैक और GPU को 2,048-बिट एज इंटरफ़ेस के माध्यम से जोड़ने के बजाय, कनेक्शन बिंदु पूरे बंधे इंटरफ़ेस में फैल जाते हैं। TSV और हाइब्रिड बॉन्डिंग जैसी ऊर्ध्वाधर बॉन्डिंग विधियाँ कनेक्शन घनत्व को दसियों हज़ार से सैकड़ों हज़ारों तक धकेल देती हैं, और सिग्नल की यात्रा करने की दूरी इंटरपोज़र वायरिंग के मिलीमीटर से ऊर्ध्वाधर दिशा में दसियों माइक्रोमीटर तक सिकुड़ जाती है।
बैंडविड्थ परिमाण के क्रम से बदलती है, और एक बिट को स्थानांतरित करने के लिए आवश्यक ऊर्जा भी। जॉर्जिया टेक और SK hynix के 2025 के एक पेपर ने मेमोरी-ऑन-लॉजिक संरचना का विश्लेषण 2.5D की तुलना में 64 गुना थ्रूपुट और तीन गुना ऊर्जा दक्षता में सक्षम के रूप में किया। संख्याएँ अकादमिक मॉडलिंग हैं और उन्हें अंकित मूल्य पर लेने की आवश्यकता नहीं है, लेकिन वे सुधार की दिशा और परिमाण का एक अच्छा चित्रण हैं।
मेमोरी-ऑन-लॉजिक के साथ अनसुलझी समस्या गर्मी है। सैकड़ों वाट जलाने वाले कंप्यूट डाई के ऊपर DRAM रखें और DRAM कंप्यूट डाई के थर्मल एस्केप पथ को अवरुद्ध करता है जबकि उस गर्मी को स्वयं अवशोषित करता है। और DRAM, जो तापमान के प्रति संवेदनशील है, गर्मी के तहत अपने रिफ्रेश अंतराल को छोटा करता है, जिससे प्रदर्शन में गिरावट का दरवाजा खुलता है। अंत में, यह गर्मी की समस्या कैसे हल होती है, संभवतः मेमोरी-ऑन-लॉजिक की सफलता का निर्धारण करने वाला सबसे बड़ा चर होगा।
अब तक की कहानी पूरे HBM से नहीं, बल्कि स्टैक के नीचे एक एकल डाई से शुरू होती है।
वह बेस डाई एक DRAM प्रक्रिया से लॉजिक प्रक्रिया में जाती है (HBM4), ग्राहक लॉजिक उसमें जाता है (cHBM), और अंत में बेस डाई की स्थिति ग्राहक के कंप्यूट डाई (मेमोरी-ऑन-लॉजिक) द्वारा ले ली जाती है।
हालाँकि, इस प्रगति को एक रैखिक पीढ़ीगत प्रतिस्थापन के रूप में नहीं पढ़ा जाना चाहिए। cHBM अगले कुछ वर्षों के लिए सबसे यथार्थवादी व्यावसायीकरण पथ है, जबकि मेमोरी-ऑन-लॉजिक एक अधिक क्रांतिकारी संरचना है जो गर्मी और उपज की समस्याओं के हल होने के बाद ही मुख्यधारा में पहुँचती है। एक तुरंत दूसरे को बदलने के बजाय, दोनों संरचनाओं को ग्राहक के बिजली बजट, कार्यभार और पैकेजिंग लागत के आधार पर कुछ समय के लिए समानांतर रूप से अपनाए जाने की संभावना है।
बेस डाई ग्राहक के सिलिकॉन के जितना करीब जाती है, मेमोरी व्यवसाय उतना ही करीब एक कस्टम सिलिकॉन व्यवसाय में जाता है, और….
मुझे लगता है कि यह ठीक वही बिंदु है जिसे बाजार ने अभी तक मेमोरी व्यवसाय में तेजी के बारे में ठीक से नहीं समझा है।
तीनों मेमोरी निर्माताओं को अभी भी चक्रीय स्टॉक के रूप में महत्व दिया जाता है जो बिट ग्रोथ और ASP पर चलते हैं, और कस्टम संक्रमण से उत्पन्न होने वाले राजस्व और मार्जिन संरचना में परिवर्तन कभी भी रिपोर्ट किए गए आंकड़ों में दिखाई नहीं दिए हैं, इसलिए उनके पास मूल्यांकन मॉडल में प्रतिबिंबित होने का कोई अवसर नहीं था। यह बदलाव कितना महत्वपूर्ण है, और व्यवसाय मॉडल और राजस्व संरचना वास्तव में कैसे बदलती है, इसका विवरण नीचे दिया गया है।
2. cHBM से मेमोरी-ऑन-लॉजिक तक, उद्योग के आगे बढ़ने का क्रम
cHBM पहले से ही उत्पाद रोडमैप पर दिखाई देता है। NVIDIA Feynman पीढ़ी के लिए cHBM का अनुप्रयोग लगातार सामने आ रहा है, जो 2028 के लिए निर्धारित है, हालाँकि NVIDIA ने आधिकारिक तौर पर विवरणों की पुष्टि नहीं की है, इसलिए इसे एक स्थापित तथ्य के बजाय उस पीढ़ी के लिए देखने योग्य एक प्रमुख बिंदु के रूप में मानना बेहतर है। Samsung, SK hynix, और Micron सभी ने अपने आधिकारिक रोडमैप पर कस्टम HBM रखा है, और Marvell ने घोषणा की है कि वह तीन मेमोरी निर्माताओं के साथ एक कस्टम HBM आर्किटेक्चर सह-विकसित कर रहा है। मानक बेस डाइज़ के स्थान पर ग्राहक-विशिष्ट बेस डाइज़ का स्थानांतरण पहले ही निष्पादन चरण में प्रवेश कर चुका है।
जबकि cHBM रोडमैप पर बस रहा है, अगला चरण, मेमोरी-ऑन-लॉजिक, ने खुली उत्पादन समय-सीमा के साथ अपना स्वयं का मामला तैयार किया है।
वह है Qualcomm का HBC (हाई बैंडविड्थ कंप्यूट), जिसे जून 2026 के निवेशक दिवस पर अनावरण किया गया।
यह अभी तक बाजार में उपलब्ध उत्पाद नहीं है। HBC Gen1 ले जाने वाला AI250 एक्सेलेरेटर मध्य-2027 में लॉन्च होने वाला है, जिसमें Gen2 फॉलो-ऑन रोडमैप पर है। HBC मेमोरी-ऑन-लॉजिक परिवार से संबंधित है, लेकिन मेमोरी HBM के बजाय LPDDR (लो पावर DDR) है, और स्टैक के नीचे रखी गई डाई GPU के बजाय एक समर्पित नियर-मेमोरी एक्सेलेरेटर है।
संरचना पर विचार करें। Qualcomm ने AI एक्सेलेरेटर को SoC से अलग किया। यह अलग किए गए एक्सेलेरेटर डाई के ऊपर एक LPDDR स्टैक रखता है और उन्हें TSV से जोड़ता है। यह HBC इकाई और SoC एक साधारण कार्बनिक सब्सट्रेट पर एक दूसरे के बगल में बैठते हैं। कोई सिलिकॉन इंटरपोज़र नहीं है, और CoWoS जैसी कोई 2.5D उन्नत पैकेजिंग नहीं है। डिज़ाइन एक साथ दो बाधाओं, HBM आपूर्ति की कमी और उन्नत पैकेजिंग क्षमता की कमी, को दरकिनार करने के लिए बनाया गया है।
Qualcomm ने क्षमता और बिजली के लिए LPDDR को चुना। LPDDR कम बिजली के लिए डिज़ाइन किया गया DRAM परिवार है, इसलिए प्रति स्टैक बिजली का बोझ छोटा है और यह क्षमता विस्तार के लिए उपयुक्त है। Qualcomm का मेमोरी-ऑन-लॉजिक ताप समस्या का उत्तर यहीं है। गर्म GPU के बजाय, यह एक कम-शक्ति वाला समर्पित एक्सेलेरेटर नीचे रखता है, और मेमोरी के लिए भी कम-शक्ति वाले LPDDR का उपयोग करता है, इसलिए पूरी चीज़ थर्मल बजट के भीतर फिट हो जाती है।
Qualcomm का दावा है कि यह HBM की तुलना में प्रति वाट छह गुना बैंडविड्थ और ऑन-चिप SRAM की तुलना में प्रति वाट 200 गुना क्षमता प्रदान करता है। बताए गए आंकड़ों को सत्यापित करने के लिए एक विस्तृत श्वेतपत्र और वास्तविक हार्डवेयर की आवश्यकता होगी, लेकिन ग्राहक पक्ष पर हलचल पहले ही दिखाई दे चुकी है।
सऊदी अरब के Humain ने अपनी तैनाती योजनाओं में HBC Gen1 ले जाने वाले AI250 रैक को शामिल किया है, और रिपोर्टों के अनुसार Microsoft के Nadella ने Azure डेटा केंद्रों में Qualcomm HBC तैनात करने की भी बात कही। लॉन्च से अभी एक साल दूर एक उत्पाद के आसपास पहले से ही एक बड़े बुनियादी ढाँचा ग्राहक और एक हाइपरस्केलर के नामों का प्रचलन होना, इस संरचना की मांग का प्रमाण है।
Qualcomm अकेला मेमोरी-ऑन-लॉजिक की ओर बढ़ने वाला नहीं है।
ऐसी रिपोर्टें थीं कि SK hynix 2023 से कई फैबलेस कंपनियों के साथ HBM को सीधे प्रोसेसर के ऊपर स्टैक करने की विधि पर चर्चा कर रहा था, और TSMC की वेफर बॉन्डिंग का उपयोग करके लॉजिक वेफर पर मेमोरी को बॉन्ड करने का एक निर्माण दृष्टिकोण इसके साथ सामने आया।
ताइवान की ASIC डिज़ाइन हाउस GUC ने DoL (DRAM-ऑन-लॉजिक) प्रस्तावित किया है, जिसमें लॉजिक के ऊपर DRAM की एक से चार परतें रखी जाती हैं। ऊपर क्या जाता है, LPDDR या HBM-शैली DRAM स्टैक, और नीचे का लॉजिक एक समर्पित एक्सेलेरेटर है या GPU, यह मामले के अनुसार भिन्न होता है, लेकिन दिशा हर एक में समान है, मेमोरी लगातार लॉजिक के करीब खींचती है जब तक कि वह अंततः उसके ऊपर न बैठ जाए।
और जैसा कि उल्लेख किया गया है, मेमोरी का लॉजिक के ऊपर बैठने का अर्थ है मेमोरी का एक विशिष्ट ग्राहक की चिप के साथ एक शरीर बनना।
cHBM से मेमोरी-ऑन-लॉजिक तक इस प्रगति के अंत में, मेमोरी व्यवसाय धीरे-धीरे एक कस्टम सिलिकॉन व्यवसाय में बदल जाता है, और सिलिकॉन वैली ने हाल ही में जो सुना है, वह बताता है कि परिवर्तन पहले ही संगठनात्मक स्तर पर शुरू हो चुका है।
तो निवेश के दृष्टिकोण से क्या मायने रखता है।
यह कि मेमोरी कंपनियों के कस्टम सिलिकॉन कंपनियों बनने की ओर यह बदलाव उनकी राजस्व संरचना को कैसे बदलता है, आपूर्ति श्रृंखला में लाभ कहाँ जाता है, और प्रगति को किससे ट्रैक करना है। ये वे चीजें हैं जिन पर ध्यान केंद्रित करना है। नीचे दिया गया भाग उन्हें विस्तार से कवर करता है।
Damnang का Substack एक पाठक-समर्थित प्रकाशन है। नए पोस्ट प्राप्त करने और मेरे काम का समर्थन करने के लिए, कृपया एक मुफ्त या भुगतान वाला सब्सक्राइबर बनने पर विचार करें।
3. सिलिकॉन वैली क्या सुन रही है
एक और सबूत है कि मेमोरी-ऑन-लॉजिक एक वास्तविक प्रवृत्ति है।
पूरा लेख Substack पर उपलब्ध है।
कृपया नीचे दिए गए लिंक को देखें।
