Astra दिखाता है कि AI कितनी दूर आ गया है। इसे और आगे क्या ले जाता है?
आज के सबसे सक्षम मॉडलों की निरंतर प्रगति प्रशिक्षण से पहले बेहतर निर्णयों, प्रशिक्षण के दौरान बेहतर रणनीतियों, और दोनों के अंतर्गत अधिक कुशल बुनियादी ढांचे पर निर्भर करती है—यह काम अभी भी बड़े पैमाने पर मानव शोधकर्ताओं द्वारा किया जाता है। जब AI इन सुधारों को पुनरावर्ती रूप से आगे बढ़ा सकता है, तो प्रगति की गति मौलिक रूप से बदल जाती है: प्रत्येक सत्यापित उन्नति अगले चक्र को मजबूत करती है।
यही कारण है कि हमने AI प्रशिक्षण स्टैक में सुधारों की खोज और सत्यापन के लिए Apex Intelligence की स्वचालित AI अनुसंधान प्रणाली बनाई।
अपने पहले मूल्यांकन में, हमारी प्रणाली ने SLDBench SimpleTES, GPUMode TriMul (H100), और MLS-Bench Fused Causal Attention Kernel पर तीन नए आधिकारिक SOTA हासिल किए, जिसमें इसका TriMul परिणाम स्टैनफोर्ड, NVIDIA और अन्य संस्थानों की एक टीम के TTT-Discover से बेहतर रहा। NanoChat Autoresearch पर, इसके B200 परिणाम ने Recursive SuperIntelligence और Tencent Hunyuan के Hyra दोनों के प्रकाशित परिणामों को पीछे छोड़ दिया, और इसे निश्चित-बजट LLM प्रशिक्षण के लिए सार्वजनिक SOTA के करीब ला दिया।
यह प्रदर्शित करता है कि Apex का स्वचालित पुनरावर्ती-अनुसंधान प्रतिमान मॉडल-स्केलिंग भविष्यवाणी, निश्चित-बजट भाषा-मॉडल प्रशिक्षण, और GPU कर्नेल प्रदर्शन में शीर्ष-स्तरीय मानव इंजीनियरिंग और अत्याधुनिक स्वचालित प्रणालियों के स्तर पर—और कुछ मामलों में उससे आगे—प्रदर्शन करता है।
प्रत्येक बेंचमार्क के भीतर, अनुसंधान चक्र स्वायत्त रूप से चलता है: सिस्टम पहचानता है कि क्या सुधारना है, अपने विचारों का परीक्षण करता है, परिणामों को सत्यापित करता है, और सबूतों से सीखता है। ये सीमा-स्तरीय परिणाम आगे आने वाले चक्रों के लिए मजबूत शुरुआती बिंदु बनाते हैं—इस तरह सुधार पुनरावर्ती हो जाता है।
मूल्यांकन I: SLDBench (SimpleTES 4-कार्य प्रोटोकॉल)
एक बड़े प्रशिक्षण रन से पहले, शोधकर्ताओं को उन पैमानों पर प्रदर्शन की भविष्यवाणी करनी होती है जिनका वे सीधे परीक्षण नहीं कर सकते। स्केलिंग लॉ मॉडल आकार, डेटा संरचना, सीखने की दर, बैच आकार और कंप्यूट के बारे में निर्णयों का मार्गदर्शन करते हैं; एक ऐसा नियम जो छोटे प्रयोगों में फिट बैठता है लेकिन खराब एक्सट्रपलेशन करता है, पूरे प्रशिक्षण बजट को गलत दिशा में ले जा सकता है।
SLDBench इस अनिश्चितता को एक मापने योग्य खोज कार्य में बदल देता है जो 5,000 से अधिक प्रकाशित LLM प्रशिक्षण प्रयोगों से निर्मित है। प्रत्येक सिस्टम को एक प्रतीकात्मक नियम और एक फिटिंग प्रक्रिया तैयार करनी होती है जो आरक्षित स्केलिंग क्षेत्रों के लिए सामान्यीकृत हो। SimpleTES द्वारा उपयोग किए जाने वाले चार-कार्य मूल्यांकन के बाद, हमारी AI प्रणाली का समानांतर स्केलिंग, डोमेन-मिश्रण स्केलिंग, सीखने-दर/बैच-आकार सह-स्केलिंग, और U-आकार कंप्यूट स्केलिंग पर परीक्षण किया जाता है।
निर्धारित सार्वजनिक मूल्यांकनकर्ताओं के तहत, हमारी प्रणाली प्रत्येक कार्य पर पिछले सार्वजनिक संदर्भ में सुधार करती है, चार-कार्य औसत को 0.8613 से 0.8846 (+2.71%) तक बढ़ाती है। सबसे बड़ा लाभ U-आकार स्केलिंग पर आता है, जहां स्कोर 0.4975 से 0.5761 (+15.80%) तक बढ़ जाता है। सीखने-दर/बैच-आकार सह-स्केलिंग 0.9506 से 0.9650 (+1.51%) तक सुधरती है, समानांतर और डोमेन-मिश्रण स्केलिंग पर और लाभ के साथ। ये स्कोर आरक्षित क्षेत्रों पर प्रदर्शन को मापते हैं, उन नियमों को पुरस्कृत करते हैं जो उन्हें फिट करने के लिए उपयोग किए गए प्रयोगों से परे सटीक रहते हैं।
चित्र 1: हमारी AI अनुसंधान प्रणाली सभी चार चयनित SLDBench कार्यों पर पिछले सार्वजनिक संदर्भ में सुधार करती है, औसत आरक्षित स्कोर को 0.8613 से 0.8846 तक बढ़ाती है। सबसे बड़ा लाभ U-आकार स्केलिंग पर है। उच्च बेहतर है।
सबसे स्पष्ट विधि-स्तरीय प्रगति U-आकार कंप्यूट स्केलिंग पर दिखाई देती है। हमारी AI प्रणाली वक्र को एक स्थायी स्केलिंग प्रवृत्ति और एक स्थानीयकृत क्षेत्र प्रभाव के योग के रूप में दर्शाती है जो एक सीमित कंप्यूट रेंज पर उभरता है और फिर क्षय हो जाता है। यह संरचना देखे गए डेटा में एक अस्थायी उलटफेर को अनिश्चित काल तक प्रक्षेपित होने से रोकती है।
यह अंतर निर्णायक हो जाता है जब मूल्यांकनकर्ता वक्र के अंतिम चरण को रोक लेता है। लचीले समीकरण देखे गए मोड़ को पुन: उत्पन्न कर सकते हैं जबकि गलत दिशा में एक्सट्रपलेशन कर सकते हैं; क्षणिक घटक की शुरुआत, अवधि और क्षय को स्पष्ट रूप से मॉडल करना अधिक सटीक मोड़-बिंदु-पश्चात भविष्यवाणियां उत्पन्न करता है।
परिणाम तकनीकी रूप से सार्थक है क्योंकि अपघटन आरक्षित सटीकता में सुधार करता है जबकि व्याख्या योग्य और परीक्षण योग्य रहता है। यह स्केलिंग-लॉ खोज के लिए एक पुन: प्रयोज्य परिकल्पना का सुझाव देता है: एक स्पष्ट उलटफेर एक दीर्घकालिक स्केलिंग प्रवृत्ति पर स्तरित एक अस्थायी क्षेत्र को प्रतिबिंबित कर सकता है।
मूल्यांकन II: NanoChat Autoresearch
निश्चित-बजट प्रशिक्षण हर विचार को अपनी जगह अर्जित करने के लिए मजबूर करता है: सुधार उसी समय और हार्डवेयर का अधिक प्रभावी ढंग से उपयोग करने से आने चाहिए। यह NanoChat Autoresearch को इस बात का सीधा परीक्षण बनाता है कि क्या कोई AI प्रणाली तीव्र प्रयोग को एक मजबूत मॉडल-प्रशिक्षण कार्यान्वयन में बदल सकती है।
मार्च 2026 में Andrej Karpathy द्वारा जारी, NanoChat Autoresearch एक एजेंट को एक GPU और मॉडल आर्किटेक्चर, ऑप्टिमाइज़र, हाइपरपैरामीटर और प्रशिक्षण कोड को संशोधित करने की स्वतंत्रता देता है। प्रत्येक प्रयोग को समान पांच मिनट का बजट मिलता है और सत्यापन बिट्स प्रति बाइट (val_bpb; कम बेहतर है) द्वारा स्कोर किया जाता है। सेटअप तब से autoresearch@home में विस्तारित हो गया है, जहां मानव प्रतिभागी और AI एजेंट प्रयोग साझा करते हैं और सबसे मजबूत सार्वजनिक समाधानों के खिलाफ प्रतिस्पर्धा करते हैं।
निश्चित 300-सेकंड एकल-B200 सेटिंग के तहत, हमारी AI प्रणाली 0.892426 val_bpb तक पहुंचती है, इसे सार्वजनिक सीमा के करीब रखते हुए। यह Recursive SuperIntelligence के जून 2026 के सर्वश्रेष्ठ प्रकाशित एकल रन 0.903891 और 10-सीड माध्य 0.9108745, साथ ही Tencent Hunyuan के जुलाई 2026 के Hyra परिणाम 0.901543 से आगे निकल जाता है। यह सितंबर 2026 तक सार्वजनिक लीडरबोर्ड लीडर, AutoTrust AI के ScienceGuru, 0.889522 तक पहुंचता है।
चित्र 2: निश्चित 300-सेकंड एकल-B200 प्रशिक्षण बजट के तहत सत्यापन BPB तुलना। कम बेहतर है।
निर्णायक सुधार प्रशिक्षण गणना के माध्यम से n-gram विरलता ले जाने से आता है। ScienceGuru कार्यान्वयन बड़ी n-gram मेमोरी के मूल्य को प्रदर्शित करता है, फिर भी प्रत्येक बैच उनकी पंक्तियों के केवल एक छोटे से अंश तक पहुंचता है। हमारी AI प्रणाली घने ग्रेडिएंट लागतों की पहचान करती है जो प्रशिक्षण पथ में रहती हैं और उन्हें एक कॉम्पैक्ट बैकवर्ड पास से बदल देती है जो केवल वर्तमान बैच द्वारा उपयोग की जाने वाली पंक्तियों को अपडेट करता है।
यह परिवर्तन शिखर प्रशिक्षण मेमोरी को लगभग 177.7 GB से 140.6 GB—20.9% की कमी—कर देता है, जबकि SOTA के करीब की गुणवत्ता बनाए रखता है। उसी 300-सेकंड बजट के भीतर, हमारी AI प्रणाली ScienceGuru कार्यान्वयन की तुलना में लगभग 4.5% कम टोकन संसाधित करते हुए 0.892426 val_bpb तक पहुंचती है, यह दर्शाता है कि SOTA के करीब की गुणवत्ता उच्च टोकन थ्रूपुट पर निर्भर नहीं करती है।
हमारी AI प्रणाली उसी सिद्धांत को पूर्ण मेमोरी-एक्सेस पथ पर विस्तारित करती है। यह दो n-gram तालिका लुकअप, संयोजन, सक्रिय-पंक्ति खोज और पंक्ति पंजीकरण को एक एकल Triton कर्नेल में फ्यूज करता है। बैकवर्ड पास सीधे परिणामी पंक्ति-से-स्लॉट मैपिंग का पुन: उपयोग करता है, डुप्लिकेट इंडेक्सिंग कार्य को समाप्त करता है और लुकअप से ग्रेडिएंट अपडेट के माध्यम से विरलता को संरक्षित करता है।
यह एक मजबूत सिस्टम परिणाम है क्योंकि एक विरल मॉडल अब घने सिस्टम लागतों का भुगतान नहीं करता है। वही सिद्धांत बड़ी एम्बेडिंग या मेमोरी तालिकाओं के आसपास बने अन्य कार्यभार में स्थानांतरित हो सकता है, जब भी प्रत्येक बैच पंक्तियों के केवल एक छोटे से उपसमूह को छूता है।
मूल्यांकन III: GPUMode TriMul H100
एक बार जब GPU कर्नेल भारी रूप से अनुकूलित हो जाता है, तो शेष विलंबता शायद ही कभी सबसे स्पष्ट ऑपरेशन में पाई जाती है। बाधाएं फ्यूजन सीमाओं, टेंसर लेआउट और मेमोरी-एक्सेस पथों के पार चली जाती हैं, आगे की प्रगति को बाधा खोज के साथ-साथ कर्नेल निर्माण का परीक्षण बनाती हैं।
GPUMode TriMul कार्य AlphaFold-श्रेणी के प्रोटीन-संरचना मॉडल में उपयोग किए जाने वाले आउटगोइंग Triangle Multiplicative Update को लक्षित करता है। प्रतिभागियों को एक संख्यात्मक रूप से सही कार्यान्वयन तैयार करना होता है जो NVIDIA H100 पर सात निश्चित इनपुट आकृतियों में ज्यामितीय-माध्य विलंबता को कम करता है। इस कार्य ने मजबूत मानव और स्वचालित समाधान आकर्षित किए हैं, जिसमें TTT-Discover शामिल है, जो जनवरी 2026 में स्टैनफोर्ड, NVIDIA, Astera Institute, UC San Diego और Together AI के शोधकर्ताओं द्वारा प्रकाशित किया गया था।
सात H100 आकृतियों में, हमारी AI प्रणाली 1,036.1 μs की ज्यामितीय-माध्य विलंबता तक पहुंचती है। हमारे समान-मशीन युग्मित मूल्यांकन में, यह सबसे मजबूत मानव-डिज़ाइन तुलना, stashuk-olek (1,064.9 μs), में 2.71% का सुधार करता है। परिणाम अलग-अलग रिपोर्ट किए गए कार्यान्वयन shiyegao CUDA (1,074 μs), Zeyu Shen Triton (1,140 μs), और TTT-Discover (1,161 μs) से भी संख्यात्मक रूप से कम है, जबकि K-Search के अलग-अलग रिपोर्ट किए गए 1,030 μs के 0.59% के भीतर आता है।
चित्र 3: सात GPUMode TriMul H100 कार्यभार में ज्यामितीय-माध्य विलंबता। हमारी AI प्रणाली 1,036.1 μs तक पहुंचती है। कम बेहतर है।
सार्वजनिक मान उनके संबंधित रिपोर्ट या मूल्यांकन रिकॉर्ड से लिए गए हैं और समान-मशीन युग्मित माप नहीं हैं। हमारा 1,036.1 μs परिणाम आधिकारिक मूल्यांकनकर्ता का उपयोग करके स्थानीय रूप से मापा जाता है।
मौजूदा उच्च-प्रदर्शन TriMul कार्यान्वयन पहले से ही फ्यूजन, विशेष मैट्रिक्स गुणन, आकार विशेषज्ञता और लेआउट-जागरूक डेटा आंदोलन का उपयोग करते हैं। हमारी प्रणाली शुरू में उत्पादक-पक्ष फ्यूजन को और आगे बढ़ाती है, फिर रजिस्टर दबाव बढ़ने पर घटते और आकार-निर्भर रिटर्न का पता लगाती है। यह तदनुसार खोज को इस ओर स्थानांतरित करती है कि उत्पादक का आउटपुट कैसे उपभोग किया जाता है।
कई कार्यभार आकृतियों के लिए, हमारी AI प्रणाली BMM→LayerNorm सीमा को विलंबता के शेष स्रोत के रूप में पहचानती है। परिणामी कार्यान्वयन BMM आउटपुट को सन्निकट भौतिक आयाम के साथ लोड करता है और LayerNorm से पहले रजिस्टरों में आवश्यक ट्रांसपोज़ करता है।
परिणाम तकनीकी रूप से महत्वपूर्ण है क्योंकि हमारी AI प्रणाली खोज परिकल्पना को ही बदल देती है: यह पहचानती है कि उत्पादक-पक्ष अनुकूलन कब संतृप्त हो गया है, BMM→LayerNorm सीमा पर बाधा को फिर से स्थानीयकृत करती है, और तदनुसार अनुकूलन लक्ष्य को स्थानांतरित करती है। इसकी आकार-निर्भर योजनाएं आगे दिखाती हैं कि सिस्टम कार्यभार में बाधाओं के चलने पर अनुकूलित हो सकता है—एक निश्चित कर्नेल डिज़ाइन को ट्यून करने की तुलना में व्यापक मूल्य वाली क्षमता।
मूल्यांकन IV: MLS-Bench — Fused Causal Attention Kernel (H100)
ट्रांसफॉर्मर प्रशिक्षण और अनुमान में अटेंशन एक प्रमुख कंप्यूट और मेमोरी बाधा है, इसलिए इसकी दक्षता सीधे मॉडल की गति और लागत को प्रभावित करती है। आधुनिक फ्यूज्ड-अटेंशन कर्नेल पहले से ही अत्यधिक अनुकूलित हैं, जिससे बहुत कम स्पष्ट गुंजाइश बचती है; आगे के लाभों के लिए शेड्यूलिंग और मेमोरी आंदोलन के साथ-साथ संख्यात्मक एल्गोरिदम पर पुनर्विचार करने की आवश्यकता होती है।
MLS-Bench का Fused Causal Attention कार्य AI सिस्टम से NVIDIA H100 पर OpenAI Triton फ्यूज्ड सेल्फ-अटेंशन फॉरवर्ड पास लागू करने, तीन कॉज़ल-अटेंशन कॉन्फ़िगरेशन में थ्रूपुट को अधिकतम करने और 1e-2 से नीचे अधिकतम पूर्ण त्रुटि बनाए रखने के लिए कहता है। बेंचमार्क में Claude Opus 4.6, GPT-5.4 और Gemini 3.1 Pro जैसे सीमा मॉडलों के परिणाम शामिल हैं, जो Anthropic, OpenAI और Google DeepMind से मजबूत आधार रेखाएं प्रदान करते हैं।
तीन फ्यूज्ड-अटेंशन कॉन्फ़िगरेशन में, हमारी प्रणाली हेड आयाम 64, 128 और 256 में 430.7, 468.4 और 451.7 TFLOP/s तक पहुंचती है। ये परिणाम सभी तीन कॉन्फ़िगरेशन पर एक नया सर्वश्रेष्ठ स्थापित करते हैं, पिछले अग्रणी परिणामों में क्रमशः 27.18%, 15.63% और 17.11% का सुधार करते हैं।
चित्र 4: तीन MLS-Bench फ्यूज्ड कॉज़ल अटेंशन कार्यभार पर थ्रूपुट तुलना।
सबसे बड़ा सुधार ऑनलाइन सॉफ्टमैक्स पथ को सरल बनाने से आया। मानक FlashAttention-शैली कार्यान्वयन एक चल रहे अधिकतम को बनाए रखते हैं और संख्यात्मक स्थिरता के लिए संचित सॉफ्टमैक्स आंकड़ों को बार-बार पुन: स्केल करते हैं। हमारी स्वचालित अनुसंधान प्रणाली ने पाया कि, MLS-Bench कार्यभार पर, स्केल किए गए अटेंशन लॉगिट एक पर्याप्त रूप से संकीर्ण सीमा के भीतर रहते हैं, जिससे इस बार-बार पुन: स्केलिंग को हटाया जा सकता है जबकि बेंचमार्क की संख्यात्मक सहनशीलता अभी भी संतुष्ट होती है।
परिणामी पुन: स्केल-मुक्त सॉफ्टमैक्स सीधे एक्सपोनेंशियल और भारित मानों को जमा करता है और अंत में एक बार सामान्यीकृत करता है। इसने हेड आयाम 64, 128 और 256 के लिए क्रमशः 21.0%, 8.5% और 19.3% तक थ्रूपुट में सुधार किया।
अतिरिक्त लाभ आकार-विशिष्ट शेड्यूलिंग और मेमोरी आंदोलन को अनुकूलित करने से आए, जिसमें LPT शेड्यूलिंग और TMA शामिल हैं। पुन: स्केल-मुक्त पथ सबसे दिलचस्प परिणाम था क्योंकि इसने संख्यात्मक एल्गोरिदम के अंदर ही एक धारणा को बदल दिया: एक व्यापक ऑपरेटिंग रेंज के लिए डिज़ाइन किया गया एक स्थिरता तंत्र मूल्यांकन किए जा रहे कार्यभार के लिए अनावश्यक था।
अधिक व्यापक रूप से, यह परिणाम एक व्यापक अवसर की ओर इशारा करता है कि सिस्टम सीमा के करीब भी, आगे के लाभ उन धारणाओं पर पुनर्विचार करने से आ सकते हैं जिन्हें आमतौर पर निश्चित माना जाता है। इस मामले में, Apex की स्वचालित अनुसंधान प्रणाली मौजूदा कर्नेल के मापदंडों और शेड्यूल को ट्यून करने से आगे निकल गई: इसने एक संख्यात्मक सुरक्षा उपाय की पहचान की जिसे बेंचमार्क के ऑपरेटिंग रेजीम के तहत सुरक्षित रूप से छोड़ा जा सकता था और उस अवलोकन को एक तेज़ निष्पादन पथ में बदल दिया। इस तरह का व्यवहार हमारी रुचि का है: खोज का उपयोग न केवल मापदंडों और शेड्यूल को अनुकूलित करने के लिए, बल्कि स्थापित कार्यान्वयन की संरचना को चुनौती देने के लिए भी करना।
बेंचमार्क से परे
एक बेंचमार्क एक परिणाम को कैप्चर करता है। एक पुनरावर्ती AI प्रणाली इसे आगे ले जाती है। चार बेंचमार्कों में, हमारी AI अनुसंधान प्रणाली ने सत्यापित सीमा-स्तरीय सुधार उत्पन्न किए हैं। इसकी प्रक्रिया चार-चरणीय लूप का अनुसरण करती है: एक उच्च-मूल्य वाले अज्ञात की खोज करें, उम्मीदवार समाधानों को सत्यापित करें, सबूतों से सीखें, और अगले चक्र में सुधार करें। अगला कदम स्थानांतरण है—कार्य-विशिष्ट प्रगति को पुन: प्रयोज्य ज्ञान में बदलना जो आने वाले चक्रों को मजबूत करता है।
अनुसंधान अगले S-वक्र को जन्म देता है। वैज्ञानिक अंतर्दृष्टि, उपन्यास अनुसंधान और इंजीनियर सिस्टम नए रास्ते बनाते हैं—जिन्हें निष्पादन और पैमाना फिर वास्तविक दुनिया के उद्योगों में बदल देता है। जब एक S-वक्र पठार पर पहुंचता है, तो आगे की प्रगति अगले को अनलॉक करने पर टिकी होती है। हमारा मानना है कि आने वाली तकनीकी क्रांति को AI द्वारा एक देशी अनुसंधान इंजन के रूप में कार्य करने से परिभाषित किया जाएगा।
AI को-पायलट से को-वर्कर की ओर बढ़ रहा है। मानव निर्णय और कल्पना मार्गदर्शन करते हैं कि क्या मायने रखता है; AI विस्तार करता है कि क्या खोजा जा सकता है। साथ में, वे नई दिशाओं की खोज कर सकते हैं, नए प्रश्नों को प्रेरित कर सकते हैं, और अधिक सक्षम मॉडल बना सकते हैं—मशीन खोज और मानव कल्पना के बीच एक मजबूत चक्र बनाते हुए। Astra दिखाता है कि AI कितनी दूर आ गया है। इसे और आगे क्या ले जाता है? यह खोजने में मदद करने की क्षमता कि आगे क्या आता है।
हम इन परिणामों को आपके निरीक्षण, पुनरुत्पादन और विस्तार के लिए खोल रहे हैं। कोड, प्रयोग रिकॉर्ड, खोजे गए कार्यान्वयन और मूल्यांकन सामग्री अब GitHub और हमारी वेबसाइट पर उपलब्ध हैं।
