उन व्यस्त निर्माताओं और निवेशकों के लिए जो सर्वश्रेष्ठ तकनीकी और व्यावसायिक बातचीत से सीखना चाहते हैं, बिना उन्हें पूरा देखने में घंटों गंवाए।
इस सप्ताह प्रकाशित आठ सर्वश्रेष्ठ एपिसोड, एक स्थान पर सारांशित, प्रत्येक पूरा लेख एक क्लिक दूर। Fireside Alpha पर सब्सक्राइब करना न भूलें ताकि नए एपिसोड पर दैनिक ब्रेकडाउन और विश्लेषण प्राप्त हो सके।
इस सप्ताह का सबसे बड़ा:
- जेन्सेन हुआंग का कहना है कि AI बिल्ड-आउट पूरा होने से पहले चिप उद्योग को अभी पाँच से दस गुना बड़ा होना होगा, और बुलबुले की तारीख "किसी दिन, बस आज नहीं" बताते हैं। ▶ देखें · 00:32:01
- चार्ली कव्वास (अध्यक्ष, Broadcom) का एक ग्राहक इस वर्ष 1.5 GW AI सिलिकॉन से बढ़कर अगले वर्ष 6.5 GW तक और उसके बाद के वर्ष 10 से अधिक GW तक जा रहा है। ▶ देखें · 00:16:40
- सासीन ग़ाज़ी (CEO, Synopsys) AI चिप डिज़ाइन को आज L4 पर आंकते हैं, फ्रंट-एंड पहले से ही छह से आठ एजेंटों पर चल रहा है, दो साल गलत होने के बाद कि यह पाँच से छह साल दूर था। ▶ देखें · 00:12:56
- एंडी हॉक (मुख्य रणनीति अधिकारी, Cerebras) का कहना है कि OpenAI ने Cerebras कंप्यूट के 750 मेगावाट खरीदने पर सहमति व्यक्त की, और इसके कोडिंग उत्पाद में तेज़ Codex विकल्प अंतर्निहित रूप से Cerebras पर चलता है। ▶ देखें · 00:49:58
- पैट गेल्सिंगर और SK hynix सहित HBM पैनल ने नोट किया कि मेमोरी एक ऐसे व्यवसाय के लिए लगभग 90% मार्जिन प्रिंट करती है जिसे पहले "चार में से एक अच्छा वर्ष" मिलता था, और फिर भी इसे खराब मेमोरी कहते हैं। ▶ देखें · 0:03:11
- SemiAnalysis डेस्क का तर्क है कि Anthropic पहले से ही लाभदायक है, उच्च-मार्जिन API पक्ष पर 80% से अधिक ARR के साथ और Q3 परिचालन लाभ संभवतः $1 बिलियन से अधिक है।
- स्कॉट वू दिखाते हैं कि Cognition का 90%+ कोड अब Devin द्वारा कमिट किया जाता है, और एजेंट पहले से ही अपने अधिकांश सत्र स्वयं शुरू करता है। ▶ देखें · 5:31
- Aria Networks के मंसूर करम का कहना है कि एक ही मिलियन टोकन की कीमत $0.20 या $20 हो सकती है, जो 100x का अंतर है, और निर्णय लेने वाली परत नेटवर्क है। ▶ देखें · 0:03:38
जेन्सेन हुआंग · Axios
पूरा लेख: जेन्सेन हुआंग AI डूमर्स पर: बुलबुला किसी दिन आएगा, बस अगले पाँच वर्षों में नहीं
जेन्सेन हुआंग, NVIDIA के सह-संस्थापक और CEO, Axios के "Behind the Curtain" पर माइक एलन के साथ एक नए फोर्ट वर्थ चिप प्लांट से, क्यों AI बुलबुला वास्तविक है लेकिन वर्षों दूर है और पहले क्या बनाया जाना चाहिए।
अगले दस वर्षों में चिप उद्योग को पाँच से दस गुना बड़ा होना होगा। हुआंग का अनुमान मेमोरी, स्टोरेज, ऑप्टिकल इंटरकनेक्ट, पैकेजिंग और TSMC क्षमता में एक साथ कमी पर आधारित है।
"मेरा मानना है कि हमें संभवतः अपने सेमीकंडक्टर उद्योग को वर्तमान से पाँच से दस गुना बड़ा होने की आवश्यकता है।"
▶
बुलबुला "किसी दिन" आएगा, अगले पाँच वर्षों में नहीं। एलन ने उनसे सेमीकंडक्टर में सबसे पुराना सवाल पूछा, कि क्या इतना बड़ा उछाल मंदी के लिए तैयार है।
"बुलबुला किसी दिन आएगा। बस आज नहीं। आप जानते हैं, यह बिल्ड-आउट की शुरुआत है।"
▶
NVIDIA की चीन बिक्री "आज लगभग शून्य है।" हुआंग ने निवेशकों से कहा कि जब तक चीनी बाजार बंद है, वे कोई बिक्री न उम्मीद करें।
"हमारी चीन बिक्री आज लगभग शून्य है। और मैंने अपने सभी निवेशकों से कहा है कि वे कोई चीन बिक्री की उम्मीद न करें।"
▶
पिछले कुछ वर्षों में विनिर्माण नौकरियों में लगभग 50% की वृद्धि हुई है। हुआंग इस वृद्धि को AI डेटा सेंटरों के भौतिक निर्माण से जोड़ते हैं जो टोकन उत्पन्न करते हैं।
"पिछले कुछ वर्षों में विनिर्माण नौकरियों की संख्या में लगभग 50% की वृद्धि हुई है क्योंकि इन कंप्यूटरों को AI डेटा सेंटरों में जाना होता है, जो टोकन, बुद्धिमत्ता उत्पन्न करते हैं।"
▶
AI नहीं, बल्कि AI का उपयोग करने वाला व्यक्ति आपकी नौकरी लेता है। हुआंग की एंटी-डूम लाइन किसी कार्य को स्वचालित करने को पूरी नौकरी खत्म करने से अलग करती है।
"AI हमारी सभी नौकरियों को नष्ट नहीं करेगा। AI का उपयोग करने वाला व्यक्ति हमारी नौकरियां लेगा।"
▶
सौ बिलियन से एक ट्रिलियन एजेंट हर समय चल रहे हैं। आज किसी भी समय लगभग 100 मिलियन लोग कंप्यूटर का उपयोग कर रहे हैं, इसके विपरीत।
"हमारे पास सौ बिलियन, एक ट्रिलियन एजेंट होंगे जो हर समय चल रहे होंगे। स्मार्ट एजेंट, कम स्मार्ट एजेंट, विशेषज्ञ एजेंट, सुपर एजेंट, सभी प्रकार के विभिन्न एजेंट हर समय चल रहे होंगे।"
▶
चार्ली कव्वास · RAISE समिट
पूरा लेख: Broadcom (चार्ली कव्वास): कस्टम सिलिकॉन शून्य से $100bn तक कैसे पहुंचा
चार्ली कव्वास, Broadcom के सेमीकंडक्टर सॉल्यूशंस ग्रुप के अध्यक्ष, RAISE समिट के मंच पर, BlackRock के टोनी किम को बता रहे हैं कि कस्टम सिलिकॉन शून्य से $100bn तक कैसे पहुंचा और क्यों सबसे बड़ी AI प्रयोगशालाएं Nvidia के सामान्य-उद्देश्य रैक को छोड़ रही हैं।
Nvidia के सामान्य-उद्देश्य रैक पर दो कर लगते हैं, एक दक्षता कर और एक मार्जिन कर। कव्वास उस लागत संरचना को बता रहे हैं जो एक फ्रंटियर लैब को Nvidia का पूर्व-निर्मित कंप्यूट प्लेटफॉर्म खरीदने पर विरासत में मिलती है।
"यह सामान्य कंप्यूट एक कर के साथ आता है। कर पहले उस कंप्यूट प्लेटफॉर्म की दक्षता है, यानी यह सभी के लिए बनाया गया है। यदि आपके AI फ्रंटियर मॉडल में कोई विशिष्ट कार्यभार है, तो अंदाजा लगाइए, आप वह अतिरिक्त कर चुका रहे हैं। और फिर दूसरा कर वह उच्च मार्जिन है जो इसके साथ आता है।"
▶
प्रत्येक चिप पीढ़ी मेमोरी को तीन गुना करती है और पिछली पीढ़ी की तुलना में लगभग 3x कंप्यूट चलाती है। कव्वास ने यह तब कहा जब वे मेजबान को लगातार वर्षों की वास्तविक चिप्स दे रहे थे, दो मेमोरी क्यूब्स के मुकाबले छह।
"पिछले वर्ष से इस वर्ष तक, अब आपको तीन गुना अधिक मेमोरी मिल रही है। यहाँ आपके पास मेमोरी के दो क्यूब्स हैं। यहाँ आपके पास मेमोरी के छह क्यूब्स हैं। और बीच में जो कंप्यूट है वह लगभग 3x अधिक शक्तिशाली है।"
▶
बड़ी पाँच AI प्रयोगशालाओं में से चार Broadcom के साथ कस्टम प्लेटफॉर्म बना रही हैं। पाँच हैं OpenAI, Anthropic, Google, Meta और xAI, कव्वास के अनुसार दुनिया के लगभग 90% AI खर्च के साथ।
"अमेरिका में बड़ी पाँच, जो आज दुनिया का लगभग 90% खर्च कर रही हैं, वे हैं OpenAI, Anthropic, Google अपने Gemini के साथ, Meta और xAI... इन पाँचों में सचमुच 80, 90 प्रतिशत से अधिक बाजार है। और इन पाँचों में से चार ने महसूस किया है कि Nvidia तकनीक बहुत अच्छी है, लेकिन वे यह सामान्य कंप्यूट प्लेटफॉर्म नहीं खरीद सकते जो रैक स्तर पर कस्टम है।"
▶
सह-डिज़ाइन दो स्तरों पर चलता है, XPU और पूरा रैक। कव्वास इसका उत्तर दे रहे हैं कि कोई प्रयोगशाला इस कस्टम सिलिकॉन को शेल्फ से क्यों नहीं खरीद सकती, और Broadcom एक खुले रैक के लिए कहाँ जोर देता है।
"उस ओट-कूचर के दो भाग हैं। एक बिल्कुल वह गहरा सह-डिज़ाइन है जिसका आपने XPU के लिए वर्णन किया। दूसरा रैक स्तर पर है। इसलिए न केवल हमें इसे उनके LLMs और उनके विशिष्ट उपयोग के मामलों के लिए XPU स्तर पर करना होता है, बल्कि हम वास्तव में इस बात में गहराई से शामिल होते हैं कि हम कैसे सुनिश्चित करें कि पूरा रैक खुला है।"
▶
एक ग्राहक इस वर्ष 1.5 GW से बढ़कर अगले वर्ष 6.5 GW और उसके बाद के वर्ष 10 से अधिक GW तक जाता है। जब पूछा गया कि AI बुनियादी ढाँचा आगे कहाँ जाता है, कव्वास ने चिप गणना के बजाय एक बड़े ग्राहक के लिए बिजली में उत्तर दिया।
"बड़ी पाँच में से एक के लिए, इस वर्ष हम उन चिप्स में से एक के साथ लगभग डेढ़ गीगावाट लगा रहे हैं जो मैंने आपको दिखाया। अगले वर्ष, हम शायद पाँच से अधिक लगाएंगे। हमने पहले ही पाँच का अनुबंध किया है... उसके बाद के वर्ष, मुझे पूरा यकीन है कि यह 10 से अधिक होगा।"
▶
सासीन ग़ाज़ी · RAISE समिट
पूरा लेख: Synopsys (सासीन ग़ाज़ी): चिप डिज़ाइन "L4" तक पहुँच गया है, और वेफर क्षमता ही सीमा है
सासीन ग़ाज़ी, Synopsys के CEO, RAISE समिट के मंच पर, कितनी तेजी से AI अब खुद चिप्स डिज़ाइन कर रहा है और बिल्डआउट कहाँ वेफर्स से बाहर हो जाता है।
पृथ्वी पर हर चिप Synopsys के माध्यम से चलती है, इसके CEO के अनुसार। Synopsys उन इलेक्ट्रॉनिक-डिज़ाइन-ऑटोमेशन उपकरण बेचता है जो चिप इंजीनियर सिलिकॉन बिछाने के लिए उपयोग करते हैं, अब Ansys अधिग्रहण द्वारा भौतिकी में विस्तारित।
"आज कोई भी चिप Synopsys के बिना डिज़ाइन नहीं की जाती है, इसलिए हम सिलिकॉन स्तर पर अपने उपयोग में आवश्यक और व्यापक हैं।"
▶
प्रशिक्षण से अनुमान की ओर बढ़ना पूरे स्टैक में अनुकूलन को मजबूर करता है। ग़ाज़ी का इस बारे में विवरण कि क्यों एक सामान्य-उद्देश्य AI चिप GPUs, Broadcom-शैली ASICs, और हाइपरस्केलर ग्राहक-स्वामित्व वाले उपकरणों में टूट रहा है।
"उस अनुमान दक्षता तक पहुँचने के लिए, आपको पूरे स्टैक को देखने की आवश्यकता है... और यहीं आपको सिलिकॉन के अनुकूलन की आवश्यकता है, स्टैक के साथ ऊपर तक देखते हुए, सही दक्षता, प्रदर्शन, लागत प्राप्त करने के लिए।"
▶
डेटा-सेंटर मार्जिन लागत है, और हाइपरस्केलर उन्हें कम करने के लिए सह-डिज़ाइन कर रहे हैं। Ansys अधिग्रहण, अगले सप्ताह एक वर्ष पुराना, वह है जो Synopsys को इलेक्ट्रॉनिक्स के साथ थर्मल, द्रव और संरचनात्मक भौतिकी को मॉडल करने देता है।
"जब आप एक डेटा सेंटर डिज़ाइन कर रहे होते हैं, तो आप आमतौर पर बहुत सारे मार्जिन के साथ डिज़ाइन कर रहे होते हैं, और मार्जिन लागत के बराबर होता है... हम कई हाइपरस्केलर और उन्नत ग्राहकों को कई इंजीनियरिंग डोमेन में सह-डिज़ाइन करके इस मार्जिन को कम करने की कोशिश करते देख रहे हैं।"
▶
ग़ाज़ी ने स्वायत्त चिप डिज़ाइन को पाँच से छह साल दूर बताया था, और लगातार दो वर्षों से गलत रहे हैं। Synopsys डिज़ाइन स्वायत्तता को L1 से L5 तक स्व-ड्राइविंग की तरह ग्रेड करता है और उद्योग को आज L4 पर रखता है, फ्रंट-एंड पहले से ही छह से आठ एजेंटों पर है।
"यदि आपने मुझसे यह सवाल दो साल पहले पूछा होता, तो मैं कहता कि यह लगभग पाँच, छह साल दूर है, और मैं पिछले दो वर्षों से गलत रहा हूँ क्योंकि यह बहुत तेजी से आ रहा है।"
▶
वेफर क्षमता लॉजिक और मेमोरी दोनों में छत है, और Tesla को 2030 तक सिलिकॉन की कमी दिखती है। बिल्डआउट पर बाध्यकारी बाधा मांग नहीं, बल्कि भौतिक फैब आउटपुट है, जो ग़ाज़ी को उम्मीद है कि इसके खिलाफ धकेलता रहेगा।
"वर्तमान बाधाएं वेफर क्षमता द्वारा सीमित हैं, और वह लॉजिक वेफर क्षमता है, साथ ही मेमोरी... जब आप Tesla जैसी कंपनियों को कहते सुनते हैं कि 2030 तक, EV से रोबोटिक्स तक उनकी महत्वाकांक्षा को देखते हुए, उनके पास उस सिलिकॉन मांग का समर्थन करने के लिए पर्याप्त क्षमता नहीं होगी जिसकी वे कल्पना करते हैं।"
▶
एंडी हॉक · Cerebras
पूरा लेख: Cerebras Nvidia को मारने की योजना कैसे बनाता है (एंडी हॉक, मुख्य रणनीति अधिकारी)
एंडी हॉक, Cerebras में मुख्य रणनीति अधिकारी, क्यों उद्योग ग्राफिक्स के लिए बनी चिप खरीदता रहता है, और कैसे एक वेफर-आकार का प्रोसेसर पूरा छोड़ दिया गया, OpenAI के 750-मेगावाट कंप्यूट सौदे को शक्ति देने लगा।
Cerebras एक चिप बनाता है और वेफर को सैकड़ों टुकड़ों में काटने के बजाय पूरा छोड़ देता है। उद्योग एक वेफर प्रिंट करता है, उसे छोटी चिप्स में काटता है, और उन्हें बोर्डों और डेटा सेंटरों में वापस जोड़ता है।
"क्या होगा अगर हम एक चिप पर, एक बड़ी चिप पर, जितना संभव हो उतना कंप्यूट एक साथ रख दें, और फिर कंप्यूट तत्वों को सिलिकॉन पर एक-दूसरे से बात करने दें, ताकि हमें छोटी चिप्स को एक साथ तार न लगाना पड़े? [...] क्या होगा अगर हम बस वह अंतिम भाग न करें? क्या होगा अगर हम एक बड़ी चिप बनाएं और फिर उसे पूरा छोड़ दें?"
▶
वेफर स्केल इंजन में लगभग एक मिलियन कोर होते हैं, उत्पादन मशीनों में 900,000। प्रत्येक कोर अपने स्वयं के तेज़ ऑन-चिप मेमोरी बैंक रखता है, सभी तांबे और फाइबर के बजाय सिलिकॉन पर जुड़े होते हैं।
"यह वेफर स्केल इंजन है। [...] इसमें एक डिवाइस पर लगभग दस लाख कोर हैं, और हमारी उत्पादन मशीनों में 900,000 कोर हैं। वे वेफर की पूरी सतह पर एक 2D ग्रिड में हैं, और वे सभी कोर सीधे एक-दूसरे से जुड़े हुए हैं। [...] यह डिज़ाइन हमें वह देता है जिसे आप एक डिवाइस पर AI कंप्यूट के क्लस्टर के रूप में सोच सकते हैं, और पारंपरिक चिप डिज़ाइनों के साथ संभव संचार बैंडविड्थ और मेमोरी बैंडविड्थ की तुलना में सचमुच तीन ऑर्डर ऑफ मैग्नीट्यूड अधिक है।"
▶
प्रशिक्षण एक लागत केंद्र है, अनुमान वह जगह है जहाँ आप कैश रजिस्टर बजाते हैं। हॉक AI अर्थव्यवस्था को मॉडल बनाने और अंतिम उपयोगकर्ताओं के लिए इसे चलाने में विभाजित करते हैं।
"प्रशिक्षण एक लागत केंद्र है। यह वह जगह है जहाँ आप अपना मॉडल बनाते हैं, यह वह जगह है जहाँ आप उसे सिखाते हैं कि आप उसे क्या करना चाहते हैं। अनुमान एक मूल्य केंद्र है। एक बार जब मॉडल वह काम करता है जो आपको चाहिए, या वह काम जो आपके या आपके अंतिम उपयोगकर्ताओं के लिए मूल्यवान है, तो अनुमान वह जगह है जहाँ आप कैश रजिस्टर बजाते हैं।"
▶
Cerebras Gemma 4 को 1,500 टोकन प्रति सेकंड पर सेवा देता है, जो किसी भी GPU कार्यान्वयन से 10x अधिक है। कंपनी ने साक्षात्कार के दिन Google मॉडल को पूर्वावलोकन में लाया और क्षेत्र के मुकाबले अपनी गति बताई।
"हम Gemma 4 को 1,500 टोकन प्रति सेकंड पर सेवा दे रहे हैं। यह किसी भी GPU कार्यान्वयन से 10 गुना तेज है और Claude के Haiku मॉडल जैसी किसी चीज़ से 15 गुना तेज है। [...] तेज़ कोडिंग एजेंट, जहाँ गति सॉफ्टवेयर इंजीनियर उत्पादकता के बराबर है।"
▶
OpenAI ने Cerebras कंप्यूट के 750 मेगावाट खरीदने पर सहमति व्यक्त की, और Codex Spark उस पर चलता है। OpenAI के उत्पाद में तेज़, उच्च-मूल्य वाला कोडिंग विकल्प अंतर्निहित रूप से Cerebras है।
"सौदे की सार्वजनिक शर्तें यह हैं कि वे अपने अनुप्रयोगों को शक्ति देने के लिए Cerebras द्वारा 750 मेगावाट कंप्यूट खरीदेंगे। कोडिंग मॉडल जो अब Cerebras का उपयोग करता है, Codex Spark है, और हम भविष्य में अतिरिक्त मॉडल लाने के लिए OpenAI टीम के साथ काम कर रहे हैं, उनके GPT फ्रंटियर मॉडल से लेकर अगली पीढ़ी के कोडिंग मॉडल तक।"
▶
Cerebras अपनी सारी मेमोरी चिप पर रखता है, इसलिए HBM की कमी उससे दूर रहती है। उच्च-बैंडविड्थ मेमोरी जहाँ से GPUs वजन खींचते हैं, फैब-सीमित है और आदेश पर स्केल नहीं कर सकती।
"वह मेमोरी फैब्रिकेशन सीमाओं, विनिर्माण सीमाओं के अधीन है। [...] आप एक नॉब घुमाकर 10x अधिक उत्पादन नहीं कर सकते। और इसलिए वह मेमोरी उस प्रकार की चिप्स के लिए अभी एक बाधा है। हमारे लिए, ऐसा नहीं है। हमारी सारी मेमोरी चिप पर है। यह ठीक यहाँ है। यह उस आपूर्ति श्रृंखला का हिस्सा नहीं है।"
▶
HBM पैनल · RAISE समिट
पेरिस में RAISE समिट में, पैट गेल्सिंगर, SK hynix फेलो होशिक किम, और निवेशक एंड्रयू होमन और विजय शिलपीकांडुला ने चर्चा की कि क्यों HBM लगभग 90% मार्जिन प्रिंट करता है जबकि मंच पर सभी इसे अभी भी खराब मेमोरी कहते हैं।
HBM एक ऐसे व्यवसाय के लिए लगभग 90% मार्जिन कमाता है जिसे पहले चार में से एक अच्छा वर्ष मिलता था। गेल्सिंगर ने Intel को कई मेमोरी चक्रों के माध्यम से चलाया और अब Playground Global में इस क्षेत्र में निवेश करते हैं।
"मेमोरी के पास कभी इतना अच्छा समय नहीं रहा। हम सेमीकंडक्टर उद्योग में मजाक करते थे कि यदि आप एक मेमोरी कंपनी थे, तो आपको चार में से एक अच्छा वर्ष मिलता था। बाकी तीन बेकार थे।" पैट गेल्सिंगर, Playground Global
▶
पूर्व Intel CEO ने HBM को "एक घटिया मेमोरी" कहा, SK hynix फेलो एक सीट दूर बैठे हैं। गेल्सिंगर की आपत्ति भौतिक है, व्यावसायिक नहीं: DRAM को स्टैक करना एक थर्मल सैंडविच बनाता है और बैंडविड्थ को उस तटरेखा पर पिन करता है जहाँ मेमोरी GPU से मिलती है।
"HBM एक घटिया मेमोरी है। मैं जानता हूँ कि मेरे मेमोरी मित्र मंच पर आने वाले हैं, और उनके बच्चे को बदसूरत कहना शायद दोस्त बनाने और लोगों को प्रभावित करने का सबसे अच्छा तरीका नहीं है।" पैट गेल्सिंगर, Playground Global
▶
SK hynix के अपने फेलो का कहना है कि HBM मेमोरी दीवार की समस्या का समाधान नहीं करेगा। किम SK hynix में सिस्टम-आर्किटेक्चर अनुसंधान चलाते हैं, जो HBM बाजार का अग्रणी है।
"यह एक अच्छी मेमोरी है, लेकिन यह अंतिम उत्तर नहीं है। HBM मेमोरी दीवार की समस्या का समाधान नहीं करेगा। मेमोरी दीवार की समस्या एक अंतर्निहित AI समस्या है, जिससे आप बच नहीं सकते।" होशिक किम, SK hynix
▶
HBM एक फैब के थ्रूपुट को 12 वेफर्स प्रति घंटे से घटाकर चार कर देता है। होमन ने यह समझाने के लिए रसोई का सहारा लिया कि क्यों विनिर्माण थ्रूपुट कमी को जल्दी दूर नहीं होने देता।
"SK hynix एक वफ़ल मेकर है। तो आपके पास एक वफ़ल मशीन है जो आमतौर पर पाँच मिनट में एक वफ़ल पका सकती है। तो उस परिदृश्य में, आप प्रति घंटे 12 वफ़ल बना सकते हैं। HBM के साथ, अब उस वफ़ल को बनाने में 15 मिनट लगते हैं। तो अब आप प्रति घंटे केवल चार वफ़ल बना सकते हैं।" एंड्रयू होमन, Maverick Silicon
▶
Apple ने अपनी पूरी लाइन में कीमतें बढ़ा दीं, और वह ग्रह पर सबसे परिष्कृत मेमोरी खरीदार है। HBM 2026 में लगभग 7% आपूर्ति घाटे पर बैठता है, और होमन ने यह जानने के लिए Cupertino की ओर इशारा किया कि यह जकड़न कितने समय तक रहेगी।
"Apple ने अपनी उत्पाद लाइन में कीमतें बढ़ा दीं। वे ग्रह पर सबसे परिष्कृत मेमोरी खरीद मशीन हैं, और स्पष्ट रूप से वे उम्मीद करते हैं कि यह कुछ समय तक चलेगा, अन्यथा उन्होंने ऐसा नहीं किया होता।" एंड्रयू होमन, Maverick Silicon
▶
पूर्व Intel CEO के अनुसार, अभी भी कई और वर्षों की मेमोरी कमी बाकी है। गेल्सिंगर ने अपनी समयसीमा उस क्षमता के विरुद्ध निर्धारित की जो तीन साल पहले किए गए पूंजीगत निर्णयों द्वारा पहले ही बंद कर दी गई थी।
"बहुतायत के वर्ष कई साल दूर हैं। मेमोरी की कमी के वर्ष, हमारे सामने अभी भी कई और वर्ष हैं।" पैट गेल्सिंगर, Playground Global
▶
SemiAnalysis टोकनॉमिक्स · Ep020
SemiAnalysis टोकनॉमिक्स डेस्क (क्रिस्टल हुआंग, मैक्स कान, जॉय ब्रूकहार्ट, होस्ट जॉर्डन नैनोस) मॉडल-लैब मार्जिन पर एक घंटा बिताता है: क्यों Anthropic पहले से ही लाभदायक है, सब्सक्रिप्शन API को कैसे सब्सिडी देते हैं, और राजस्व प्रति मेगावाट हर तीन तिमाहियों में दोगुना हो रहा है।
Anthropic का API 80%-plus ARR है, और Q3 परिचालन लाभ $1 बिलियन से अधिक हो सकता है। जॉय ब्रूकहार्ट लाभ को गैर-GAAP, स्टॉक-कम्प एक्सक्लूडिंग आधार पर P&L में रखते हैं।
"Q2 में परिचालन लाभ लाभदायक था, Q3 में 1 बिलियन प्लस के लाभ के लिए लाभदायक हो सकता है।" जॉय ब्रूकहार्ट
Anthropic के लिए 85%-plus API सकल मार्जिन, और 20x सब्सक्रिप्शन योजनाएं नकारात्मक चल सकती हैं। मैक्स कान इस बारे में कि सब्सक्रिप्शन-बनाम-API मार्जिन वास्तव में कहाँ उतरता है।
"API से भी बदतर मार्जिन होना भूल जाइए, जो हमें लगता है कि कम से कम Anthropic के लिए 85% प्लस है। यह इन 20x योजनाओं के लिए सामान्य रूप से नकारात्मक मार्जिन हो सकता है। और इसलिए निश्चित रूप से ये व्यवसाय अधिक से अधिक वॉल्यूम को API में स्थानांतरित करना चाहते हैं।" मैक्स कान
99वें प्रतिशतक कंपनी प्रति कर्मचारी प्रति वर्ष AI पर $100,000 खर्च करती है। जॉय ब्रूकहार्ट Ramp के कार्ड डेटा को भारी कोडिंग खर्च पर ROI जांच के रूप में पढ़ते हैं।
"Ramp डेटा 99वें प्रतिशतक की कंपनियों की तरह है, वे प्रति कर्मचारी प्रति वर्ष AI पर एक लाख डॉलर खर्च करते हैं। और यदि आप उस बिंदु पर पहुँच गए हैं जहाँ आप इतना खर्च कर रहे हैं, तो आपको स्पष्ट रूप से काफी अच्छा ROI मिल रहा है।" जॉय ब्रूकहार्ट
एंटरप्राइज़ योजनाएं सब्सक्रिप्शन को रोकती हैं और प्रति-टोकन बिलिंग को मजबूर करती हैं, जहाँ मार्जिन है। मैक्स कान क्यों प्रयोगशालाएं अपने सबसे भारी उपयोगकर्ताओं को API पर मापती हैं।
"कोई भी व्यक्ति जो सब्सक्रिप्शन का उपयोग कर सकता है, उसे निश्चित रूप से सब्सक्रिप्शन का उपयोग करना चाहिए क्योंकि यह बहुत सब्सिडी वाला है। OpenAI और Anthropic इसके प्रति बहुत चौकस हैं। जब उनके पास अपनी एंटरप्राइज़ योजनाएं होती हैं, तो वे आपको सब्सक्रिप्शन का उपयोग नहीं करने देते। वे आपको प्रति टोकन भुगतान करने के लिए मजबूर करते हैं क्योंकि वे जानते हैं कि वहीं मार्जिन है।" मैक्स कान
डेस्क का पढ़ना: एलोन Colossus का अधिकांश भाग Anthropic को बाजार दर से 3x से 4x पर किराए पर देता है, जिसमें 90-दिन का क्लॉबैक खंड है। मैक्स कान कंप्यूट मालिक की सीट से फ्रंटियर-किराए के तर्क का वर्णन करते हैं।
"मैं आप लोगों को यह साबित करने के लिए पर्याप्त कंप्यूट छोड़ दूंगा कि आप फ्रंटियर तक पहुंचने में सक्षम हैं। इस बीच, मैं इन अत्यधिक उच्च मार्जिन 3x, शायद 4x बाजार दर किराए के सौदों पर इसे किराए पर देकर सभी अतिरिक्त कंप्यूट का मुद्रीकरण करूंगा। मैं यह सुनिश्चित करूंगा कि उनमें से प्रत्येक में यह 90-दिन का क्लॉबैक खंड शामिल हो।" मैक्स कान
फ्रंटियर-लैब डेटा बजट इस वर्ष $10 बिलियन से अधिक है, जो पिछले वर्ष का लगभग 10x है। मैक्स कान इस बारे में कि वास्तव में मॉडल क्षमता को क्या गेट करता है, जहाँ बाधा कच्चे कंप्यूट के बजाय RL वातावरण है।
"सुदृढीकरण सीखना शायद आज मॉडल क्षमताओं में सुधार के लिए सबसे महत्वपूर्ण स्केलिंग कानून है। बहुत सारे लोग हैं जो मानते हैं कि मॉडलों को कंप्यूटर पर वह सब कुछ करने से रोकने वाली एकमात्र चीज जो एक मानव कर सकता है, पर्याप्त RL वातावरण का होना है।" मैक्स कान
स्कॉट वू · RAISE समिट
पूरा लेख (नीचे लिंक): Cognition (स्कॉट वू): सॉफ्टवेयर इंजीनियरिंग का स्वर्ण युगg
Scott Wu, Cognition के CEO और Devin AI सॉफ्टवेयर इंजीनियर के निर्माता, RAISE Summit मंच पर अपनी कंपनी के अंदर उत्पादकता में आई छलांग को इंजीनियरिंग टीम को छोटा करने के बजाय बढ़ाने का एक कारण बता रहे हैं।
Cognition का 90%+ कोड अब Devin द्वारा कमिट किया जाता है। Wu ने अपना आंतरिक चार्ट दिखाया और बताया कि एजेंट ने प्रदर्शन में गिरावट और DataDog त्रुटियों पर स्वयं अपने सत्र शुरू कर दिए हैं, जिसमें कोई मानव शामिल नहीं है।
"आप देखते हैं कि Devin द्वारा कमिट किए गए कोड का प्रतिशत 90 प्रतिशत से ऊपर जा रहा है। हम मूल रूप से अब लगभग हर चीज़ के लिए Devin का उपयोग करते हैं। इससे भी पागलपन की बात यह है कि Devin वास्तव में अधिकांश Devins को शुरू करने का काम भी करता है।"
▶
Cognition ने ~40% अधिक इंजीनियरों के साथ छह महीनों में 10 गुना अधिक सॉफ्टवेयर शिप किया। Wu ने नवंबर से अप्रैल के अंत तक अपनी कंपनी पर एक प्रयोग चलाया, टीम को लगभग 45 से बढ़ाकर 60 किया, और इसका श्रेय हेडकाउंट के बजाय मॉडल और एजेंटों को दिया।
"वास्तव में छह महीनों के दौरान क्या बदला जिसने हमें 10 गुना अधिक शिप करने और 10 गुना अधिक करने की अनुमति दी?"
▶
GPT-3.5 30 सेकंड का बिना सहायता वाला काम कर सकता था, नवीनतम मॉडल 16 घंटे के कार्य चलाते हैं। Wu ने METR अध्ययन की ओर इशारा किया, जो मापता है कि AI किसी कार्य को कितने समय तक पूरा कर सकता है, इससे पहले कि उसे किसी मानव के पास वापस आना पड़े।
"आप GPT-3.5 को देखें, उस चार्ट के ठीक बीच में, 30 सेकंड का काम, जो बुरा नहीं है, वैसे। और वह ChatGPT का क्षण था।"
▶
दिसंबर 2025 में वापस, Devin प्रति हजार 130 इंजीनियरों के अतिरिक्त बैंडविड्थ के बराबर था। Wu ने अतिरिक्त एजेंट क्षमता को हेडकाउंट के रूप में प्रस्तुत किया जिसे आप किसी मौजूदा टीम को दे सकते हैं, इससे पहले यह नोट किया कि तब से यह काम के 89 से 90% तक बढ़ गया है।
"एक हजार सॉफ्टवेयर इंजीनियरों की टीम के बारे में सोचें और कल्पना करें कि आप उन्हें बता सकते हैं, ठीक है, आपको चीज़ें बनाने के लिए 130 अतिरिक्त सॉफ्टवेयर इंजीनियरों के बराबर बैंडविड्थ मिल रही है। आप उसके साथ बहुत कुछ कर सकते हैं।"
▶
हर इंजीनियर 10 गुना अधिक उत्पादक है, और बनाने के लिए 10 गुना अधिक चीज़ें हैं। Wu का नौकरी जाने के डर का जवाब, जानबूझकर उबाऊ उदाहरणों जैसे कि एक DMV जो काम करता है और खींचे जा सकने वाले मेडिकल रिकॉर्ड पर आधारित है।
"हर मानव सॉफ्टवेयर इंजीनियर दस गुना अधिक उत्पादक है, लेकिन अंदाज़ा लगाइए? हमारे पास बनाने के लिए दस गुना अधिक चीज़ें हैं।"
▶
Wu ने एक प्रश्न के साथ बातचीत को समाप्त किया: आप सॉफ्टवेयर इंजीनियरों की एक अनंत सेना के साथ क्या करेंगे। उनके ग्राहकों में Goldman Sachs, Mercedes-Benz और Lowe's शामिल हैं, जिनमें से प्रत्येक के पास हजारों इंजीनियर एक बैकलॉग के खिलाफ काम कर रहे हैं जो कभी साफ नहीं होता।
"आप सॉफ्टवेयर इंजीनियरों की एक अनंत सेना के साथ क्या करेंगे? मैं आप सभी से एक सेकंड के लिए उस बारे में सोचने के लिए कहूंगा।"
▶
Mansour Karam · RAISE Summit
Mansour Karam, Aria Networks के संस्थापक और CEO, RAISE Summit मंच पर SemiAnalysis के Dylan Patel के साथ, क्यों "सब कुछ के लिए एक सामान्य-उद्देश्य क्लस्टर" का युग समाप्त हो रहा है और क्यों नेटवर्क इन्फ्रेंस अर्थशास्त्र तय करता है।
प्रशिक्षण एक लागत केंद्र है, सर्विंग एक अपार्टमेंट कॉम्प्लेक्स किराए पर लेने जैसी दिखती है। Karam एक AI क्लस्टर को दो व्यवसायों में विभाजित करता है जो हार्डवेयर साझा करते हैं लेकिन लगभग कोई अर्थशास्त्र साझा नहीं करते।
"प्रशिक्षण मूल रूप से एक मॉडल बनाना है। यह एक उत्पाद बनाने जैसा है। लेकिन फिर मॉडल की सर्विंग करना, वित्तपोषण के मामले में अर्थशास्त्र तब दिखता है जब आप एक अपार्टमेंट कॉम्प्लेक्स किराए पर ले रहे होते हैं।"
▶
एक कार्यभार के लिए क्लस्टर को विशेषज्ञ बनाना 10 या 100 गुना के कारक के लायक है। Karam को एकल उपयोग मामलों के आसपास बनने वाली नई कंपनियों के लिए गुंजाइश दिखती है, प्रत्येक एक मीट्रिक के लिए ट्यून किया गया हो।
"मैं नई कंपनियों के एक दिए गए उपयोग मामले के लिए अनुकूलित होने के आसपास बनने के लिए बहुत अवसर देखता हूं, और अंतर आप जिस मीट्रिक को अनुकूलित करने की कोशिश कर रहे हैं, उसके आधार पर 10 या 100 का कारक हो सकता है।"
▶
एक मिलियन टोकन की कीमत $0.20 या $20 हो सकती है, एक 100x का अंतर जो आपके निर्माण के तरीके से तय होता है। Karam इस उतार-चढ़ाव को इस बात से जोड़ते हैं कि क्या बुनियादी ढांचा सस्ते उच्च-थ्रूपुट इन्फ्रेंस के लिए बनाया गया था या किसी और चीज़ के लिए।
"आप एक मिलियन टोकन के लिए 20 सेंट से लेकर $20 या ऐसा कुछ भी जा सकते हैं। मेरा मतलब है, यह 100x का अंतर है। यदि आप वास्तव में उच्च-थ्रूपुट सरल इन्फ्रेंस के लिए अनुकूलित करना चाहते हैं, तो आप इसे बहुत सस्ता सर्व कर सकते हैं, लेकिन आपको अपने बुनियादी ढांचे को उसी को ध्यान में रखकर बनाना होगा।"
▶
Dylan Patel की पंक्ति: "गति ही सुरक्षा कवच है।" Patel मांग-पक्ष का कारण प्रदान करते हैं कि तेज कोना अचानक वह जगह क्यों है जहां पैसा जाता है: एजेंट अनुक्रमिक प्रयास-सत्यापन लूप में चलते हैं।
"एजेंट बहुत अनुक्रमिक, कार्य-उन्मुख होते हैं। कुछ कोशिश करना, उसे सत्यापित करना, जांचना कि क्या वह सही है, और आप इसे एक लूप में करते हैं। यह बहुत धीमा हो जाता है। और गति ही सुरक्षा कवच है। आप जितनी तेजी से जाते हैं, गति ही सुरक्षा कवच है।" - Dylan Patel, SemiAnalysis
▶
धूल के एक कण वाला एक ट्रांसीवर क्लस्टर पर हर उपयोगकर्ता को रोक देता है। एक एकल इन्फ्रेंस क्वेरी क्रम में कई नेटवर्कों को पार करती है, और सबसे धीमी कड़ी सभी के लिए गति निर्धारित करती है।
"यदि आपके पास पैकेट लॉस है, या आपके पास एक ट्रांसीवर है जिसमें धूल का एक कण है... तो बाकी सभी को इंतजार करना पड़ता है, और यह सब अनुक्रमिक है।"
▶
इन्फ्रेंस क्लस्टर के अंदर एक सेकंड "मानव पैमाने पर एक सदी के समान है।" Karam का Aria के लिए प्रस्ताव माइक्रोसेकंड-रिज़ॉल्यूशन टेलीमेट्री है ताकि उन रुकावटों को पकड़ा जा सके जो मानक एक-सेकंड मॉनिटरिंग से छूट जाती हैं।
"एक सेकंड, AI क्लस्टर के संदर्भ में जो इन्फ्रेंस चला रहा है, मानव पैमाने पर एक सदी के समान है। एक सेकंड में बहुत कुछ होता है। और इसलिए आपको वास्तव में इस टेलीमेट्री को माइक्रोसेकंड रिज़ॉल्यूशन पर एकत्र करने की आवश्यकता है, ताकि आप उन घटनाओं को पकड़ सकें जो रुकावट पैदा कर सकती हैं।"
▶
