**
OpenAI ने GPT 6 Astra को अपना सबसे सक्षम और संरेखित मॉडल बताया है।
Greg Brockman ने आगे कहा कि Astra को कृत्रिम सामान्य बुद्धिमत्ता (AGI) का प्रारंभिक रूप मानना उचित होगा।
यह मॉडल साइबर सुरक्षा के लिए OpenAI की क्रिटिकल सीमा को पार करने वाला पहला मॉडल भी बन गया। कंपनी के अनुसार, यह पहले से अज्ञात कमजोरियों का पता लगा सकता है और सीमित मानव मार्गदर्शन के साथ कार्यशील एक्सप्लॉइट बना सकता है।
ये दावे नाटकीय हैं, लेकिन ये रिलीज़ का सबसे महत्वपूर्ण हिस्सा नहीं हैं।
असली बदलाव आर्किटेक्चरल है।
एक पारंपरिक भाषा मॉडल ट्रांसफॉर्मर ब्लॉक के एक निश्चित अनुक्रम के माध्यम से जानकारी पास करता है और अगला टोकन उत्पन्न करता है। Astra उपयोगकर्ता को एक भी शब्द दिखाने से पहले अपनी आंतरिक स्थिति को समान कम्प्यूटेशनल ब्लॉक के माध्यम से कई बार प्रोसेस कर सकता है।
यह केवल एक लंबी चेन ऑफ़ थॉट उत्पन्न नहीं करता है।
यह उत्तर देने से पहले अधिक समय सोचने में बिताता है।
1 आधुनिक भाषा मॉडल कैसे काम करते हैं
कल्पना करें कि आप टाइप कर रहे हैं:
एवरेस्ट है...
मॉडल को यह अनुमान लगाना होता है कि आगे क्या आएगा।
इसका अटेंशन मैकेनिज्म यह निर्धारित करता है कि संदर्भ के कौन से हिस्से मायने रखते हैं। एवरेस्ट शब्द पर्वत, ऊंचाई, हिमालय, नेपाल, तिब्बत, पर्वतारोहण और अभियान जैसी संबंधित अवधारणाओं को सक्रिय करता है।
मॉडल फिर उन संबंधों को आसपास के संदर्भ के साथ जोड़ता है। ज़्यादातर मामलों में, "पृथ्वी का सबसे ऊँचा पर्वत" जैसी निरंतरता अत्यधिक संभावित हो जाती है।
एक पारंपरिक ट्रांसफॉर्मर के अंदर, यह प्रतिनिधित्व ब्लॉक के एक अनुक्रम के माध्यम से चलता है। प्रत्येक ब्लॉक इसे एक बार रूपांतरित करता है और परिणाम को अगले ब्लॉक में भेजता है।
यदि किसी मॉडल में 40 ब्लॉक हैं, तो छिपी हुई स्थिति क्रम में सभी 40 के माध्यम से चलती है। अंतिम प्रतिनिधित्व को अगले टोकन के लिए संभाव्यता वितरण में बदल दिया जाता है।
अधिक ब्लॉक आमतौर पर अधिक कम्प्यूटेशनल गहराई का मतलब है। एक गहरा मॉडल उत्तर देने से पहले अधिक रूपांतरण कर सकता है।
लेकिन ब्लॉक जोड़ने से पैरामीटर, मेमोरी आवश्यकताओं और प्रशिक्षण लागत की संख्या भी बढ़ जाती है।
सामान्य धारणा सरल रही है: यदि आप एक गहरा मॉडल चाहते हैं, तो आपको परतों का एक बड़ा स्टैक बनाना होगा।
एक लूप्ड आर्किटेक्चर उस सिद्धांत को बदल देता है।
2 लूप्ड आर्किटेक्चर क्या बदलता है
द इंफॉर्मेशन की रिपोर्ट के अनुसार, GPT 6 Astra एक लूप्ड ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है।
OpenAI ने कोई पूर्ण तकनीकी विशिष्टता प्रकाशित नहीं की है, इसलिए सटीक कार्यान्वयन निजी बना हुआ है। लेकिन सामान्य तंत्र सार्वजनिक शोध से पहले से ही अच्छी तरह से समझा जा चुका है।
हिडन स्टेट को हर ब्लॉक के माध्यम से केवल एक बार भेजने के बजाय, मॉडल परिणाम को एक कम्प्यूटेशनल ब्लॉक में वापस कर सकता है और इसे फिर से प्रोसेस कर सकता है।
इसे एक आंतरिक ड्राफ्ट के रूप में सोचें।
मॉडल एक प्रारंभिक प्रतिनिधित्व तैयार करता है, इसे उसी वेट के माध्यम से फिर से भेजता है, इसे परिष्कृत करता है, और इस प्रक्रिया को कई बार दोहराता है। लूप पूरा होने के बाद ही अगला दृश्य टोकन दिखाई देता है।
पैरामीटर काउंट समान रहता है। वेट एक ब्लॉक के अंदर रहते हैं, लूप की संख्या के साथ कंप्यूट बढ़ता है, और केवल अंतिम टोकन उत्सर्जित होता है।
मुख्य विवरण यह है कि पैरामीटर की संख्या जरूरी नहीं बढ़ती है।
समान वेट हर पास पर पुन: उपयोग किए जाते हैं।
जो बढ़ता है वह कम्प्यूटेशन की मात्रा है।
एक पारंपरिक ट्रांसफॉर्मर में, एक टोकन विभिन्न ब्लॉक के अनुक्रम के माध्यम से यात्रा करता है। एक लूप्ड ट्रांसफॉर्मर में, यह एक ही साझा संरचना के माध्यम से कई बार यात्रा कर सकता है।
मॉडल पैरामीटर काउंट के माध्यम से बड़ा हुए बिना कम्प्यूटेशन के माध्यम से गहरा हो जाता है।
यह एक नया ट्रेडऑफ बनाता है:
- अधिक पैरामीटर के लिए अधिक मेमोरी की आवश्यकता होती है
- अधिक लूप के लिए अधिक कम्प्यूटेशन की आवश्यकता होती है
- एक मॉडल विभिन्न कार्यों पर अलग-अलग मात्रा में कंप्यूट खर्च कर सकता है
अंतिम बिंदु विशेष रूप से महत्वपूर्ण है। कम्प्यूटेशनल गहराई एक नया मॉडल बनाए बिना बदल सकती है।
3 रिकरंट डेप्थ को कैसे प्रशिक्षित किया जाता है
केवल एक ट्रांसफॉर्मर ब्लॉक को लूप के अंदर रखना पर्याप्त नहीं है।
यदि कोई मॉडल प्रशिक्षण के दौरान हमेशा ठीक 32 पास करता है, तो वह प्रत्येक चरण की स्थिति पर निर्भर रहना सीख सकता है। पहला पास एक फंक्शन सीख सकता है, दसवां दूसरा, और बत्तीसवां एक निश्चित आउटपुट लेयर बन सकता है।
परिणाम एक पारंपरिक 32-लेयर नेटवर्क होगा जो लूप के रूप में प्रच्छन्न है।
शोधकर्ता प्रशिक्षण के दौरान रिकरंट पास की संख्या को अलग-अलग करके इस समस्या का समाधान करते हैं।
सबसे स्पष्ट प्रदर्शनों में से एक रिकरंट डेप्थ मॉडल Huginn से आया। इसके निर्माताओं ने लगभग 800 बिलियन टोकन पर 3.5 बिलियन पैरामीटर नेटवर्क को प्रशिक्षित किया।
प्रत्येक प्रशिक्षण चरण में, लूप की संख्या को लगभग 32 के माध्य के साथ एक वितरण से नमूना लिया गया था। एक उदाहरण को चार पास मिल सकते हैं, दूसरे को 17, तीसरे को 40, और चौथे को लगभग 90।
मॉडल पहले से नहीं जान सकता था कि कौन सा पास उसका अंतिम होगा।
इसलिए इसे संचालन के एक निश्चित अनुक्रम की तुलना में कुछ अधिक सामान्य सीखना था।
इसे सीखना था कि अपनी वर्तमान आंतरिक स्थिति को कैसे बेहतर बनाया जाए।
arXiv पर रिकरंट डेप्थ पेपर से सारांश
दर्जनों रिकरंट चरणों के माध्यम से प्रशिक्षण एक और समस्या पैदा करता है: मेमोरी।
मानक बैकप्रोपेगेशन के लिए प्रत्येक लूप से मध्यवर्ती सक्रियणों को संग्रहीत करने की आवश्यकता होगी। पर्याप्त पुनरावृत्तियों के साथ, मेमोरी लागत बहुत अधिक हो जाती है।
Huginn शोधकर्ताओं ने एक व्यावहारिक समझौता किया। फॉरवर्ड पास कई लूप के लिए चल सकता था, लेकिन ग्रेडिएंट की गणना केवल अंतिम आठ के माध्यम से की गई थी।
पहले के पास अभी भी अंतिम परिणाम को प्रभावित करते थे, लेकिन उनका पूरा सक्रियण इतिहास मेमोरी में नहीं रहना था।
यह ट्रंकेटेड बैकप्रोपेगेशन थ्रू टाइम के समान है। अंतर यह है कि पुनरावृत्ति एक अनुक्रम में शब्दों के बजाय कम्प्यूटेशनल गहराई में होती है।
लूप की संख्या प्रत्येक प्रशिक्षण चरण में नमूना ली जाती है, जबकि ग्रेडिएंट की गणना केवल अंतिम आठ पास के माध्यम से की जाती है।
मॉडल को 32 संचालनों का एक कठोर अनुक्रम करना नहीं सिखाया जा रहा है।
इसे सिखाया जा रहा है कि प्रक्रिया को रोके जाने पर भी अपनी छिपी हुई स्थिति को एक उपयोगी उत्तर की ओर ले जाए।
यह बदलता है कि गहराई का क्या अर्थ है।
गहराई अब केवल प्रशिक्षण से पहले इंजीनियरों द्वारा चुनी गई संपत्ति नहीं है। यह अनुमान के दौरान एक चर बन सकती है।
4 अनुमान के दौरान अनुकूली कंप्यूट
अधिकांश वर्तमान रीज़निंग नियंत्रण दृश्य टोकन के स्तर पर काम करते हैं।
यदि किसी मॉडल को अधिक सोचने के लिए कहा जाता है, तो वह एक लंबी चेन ऑफ़ थॉट उत्पन्न करता है, अधिक आउटपुट टोकन का उपयोग करता है, या अतिरिक्त मध्यवर्ती टेक्स्ट बनाता है।
एक लूप्ड आर्किटेक्चर एक अलग तंत्र प्रदान करता है।
आंतरिक पास की संख्या वेट को संशोधित किए बिना और मॉडल को लंबी व्याख्या लिखने के लिए मजबूर किए बिना बदल सकती है।
एक सरल कार्य को चार लूप मिल सकते हैं।
एक कठिन गणितीय प्रमाण को 32 मिल सकते हैं।
एक जटिल कोडिंग समस्या को 64 मिल सकते हैं।
मॉडल वही रहता है। केवल आंतरिक कम्प्यूटेशन की मात्रा बदलती है।
वेट स्थिर रहते हैं। केवल प्रत्येक टोकन को प्रोसेस करने के लिए उपयोग किए जाने वाले आंतरिक पास की संख्या बदलती है।
सार्वजनिक रिकरंट डेप्थ प्रयोग पहले से ही अपेक्षित पैटर्न दिखाते हैं।
पहले लूप के दौरान प्रदर्शन तेजी से सुधरता है। फिर लाभ छोटे हो जाते हैं जब तक कि वक्र एक पठार तक नहीं पहुंच जाते।
इससे पता चलता है कि छिपी हुई स्थिति अभिसरित हो रही है।
प्रारंभिक पास बड़े सुधार करते हैं। बाद के पास छोटे विवरणों को परिष्कृत करते हैं। अंततः, अतिरिक्त कम्प्यूटेशन सार्थक सुधार पैदा करना बंद कर देता है।
एक भविष्य की प्रणाली उस क्षण को स्वचालित रूप से पहचान सकती है।
प्रत्येक प्रॉम्प्ट को एक निश्चित लूप काउंट निर्दिष्ट करने के बजाय, मॉडल तब तक प्रोसेसिंग जारी रख सकता है जब तक कि उसकी छिपी हुई स्थिति पर्याप्त रूप से स्थिर न हो जाए। आसान टोकन सस्ते होंगे। कठिन टोकन को अधिक कंप्यूट मिलेगा।
यह वास्तविक अनुकूली कम्प्यूटेशनल गहराई पैदा करेगा।
अधिक सोचने का अर्थ अब अधिक लिखना नहीं होगा।
5 शोध और प्रारंभिक व्यावहारिक परिणाम
ट्रांसफॉर्मर लेयर का पुन: उपयोग करना कोई नया विचार नहीं है।
यूनिवर्सल ट्रांसफॉर्मर्स ने 2018 में रिकरंट प्रोसेसिंग की शुरुआत की। ALBERT ने लेयर में वेट साझा करके पैरामीटर काउंट कम किया। मिक्सचर ऑफ़ रिकर्शन्स ने विभिन्न मात्रा में कम्प्यूटेशन के माध्यम से टोकन को रूट करने की खोज की।
ओपन Nanbeige4.2 3B मॉडल एक विशेष रूप से प्रत्यक्ष उदाहरण प्रदान करता है।
इसके कॉन्फ़िगरेशन में 22 लेयर और num_loops: 2 शामिल हैं। प्रभाव में, मॉडल उन लेयर के माध्यम से दो बार यात्रा करता है। इसमें लगभग 22-लेयर नेटवर्क का पैरामीटर काउंट है, लेकिन लगभग 44-लेयर नेटवर्क की कम्प्यूटेशनल गहराई है।
Hugging Face पर Nanbeige4.2 3B कॉन्फ़िगरेशन
बाईस लेयर, num_loops: 2, और Apache 2.0 लाइसेंस। तंत्र पहले से ही एक ओपन मॉडल कॉन्फ़िगरेशन में दिखाई दे रहा है।
वर्षों तक, रिकरंट ट्रांसफॉर्मर डिज़ाइन प्रमुख दृष्टिकोण के बजाय दिलचस्प शोध विचार बने रहे।
गायब घटक मजबूत स्केलिंग सबूत था।
1 सितंबर को, शोधकर्ताओं के एक समूह ने SMELT प्रकाशित किया, जो मिलान शर्तों के तहत लूप्ड और पारंपरिक ट्रांसफॉर्मर की तुलना करने के लिए डिज़ाइन किया गया एक अध्ययन है।
उन्होंने पैरामीटर काउंट, प्रशिक्षण कंप्यूट और KV कैश आकार को नियंत्रित किया। उन बाधाओं के तहत, लूप्ड मॉडल को प्रदर्शन के समान स्तर तक पहुंचने के लिए 6.8% से 18% कम प्रशिक्षण कंप्यूट की आवश्यकता थी।
सबसे बड़ा लाभ कोड पर दिखाई दिया।
arXiv पर SMELT पेपर से सारांश
कंप्यूट, पैरामीटर और KV कैश के मिलान के साथ, लूपिंग प्रशिक्षण कंप्यूट का 6.8% से 18% बचाता है, जिसमें कोड पर सबसे मजबूत लाभ है।
शोधकर्ताओं ने अटेंशन व्यवहार में भी बदलाव देखा।
पारंपरिक ट्रांसफॉर्मर में, एक अनुक्रम में सबसे पहले टोकन अक्सर अटेंशन सिंक बन जाते हैं। उन्हें असमान रूप से अधिक ध्यान मिलता है, भले ही उनका सिमेंटिक महत्व सीमित हो।
समान ब्लॉक के माध्यम से दूसरे पास के बाद, मॉडल का ध्यान अधिक प्रासंगिक टोकन की ओर स्थानांतरित हो गया।
दूसरे लूप ने केवल पहले को दोहराया नहीं। इसने पहले पास के परिणाम को अधिक चयनात्मक प्रसंस्करण के लिए एक आधार के रूप में उपयोग किया।
SMELT यह साबित नहीं करता है कि प्रत्येक भविष्य के मॉडल को रिकरंट होना चाहिए। यह दिखाता है कि प्रमुख प्रयोगात्मक शर्तों के मिलान के बाद लूपिंग प्रतिस्पर्धी बनी हुई है।
सवाल अब यह नहीं है कि क्या रिकरंट डेप्थ काम कर सकती है।
सवाल यह है कि यह कितनी दूर तक स्केल कर सकती है।
6 व्याख्यात्मकता और नियंत्रण
वही आर्किटेक्चरल विशेषता जो लूप को आकर्षक बनाती है, मॉडल निगरानी को भी जटिल बनाती है।
स्पष्ट चेन ऑफ़ थॉट रीज़निंग के साथ, कम से कम कुछ मध्यवर्ती चरण पढ़ने योग्य टेक्स्ट के रूप में दिखाई देते हैं। शोधकर्ता उनका निरीक्षण कर सकते हैं, संदिग्ध पैटर्न की खोज कर सकते हैं, और बताए गए तर्क की अंतिम उत्तर से तुलना कर सकते हैं।
एक रिकरंट मॉडल कोई टेक्स्ट उत्पन्न किए बिना छिपी हुई सक्रियणों के अंदर अधिक प्रोसेसिंग कर सकता है।
Buck Shlegeris और Ryan Greenblatt ने तर्क दिया है कि यह चेन ऑफ़ थॉट मॉनिटरिंग की उपयोगिता को कम कर सकता है। यदि अधिक प्रोसेसिंग छिपे हुए कम्प्यूटेशन में चली जाती है, तो दृश्य व्याख्या यह प्रकट करने में कम सक्षम हो सकती है कि मॉडल अपने परिणाम तक कैसे पहुंचा।
Sebastian Raschka ने एक महत्वपूर्ण प्रतिवाद प्रस्तुत किया।
वेट का पुन: उपयोग स्वचालित रूप से गुप्त या दुर्गम अनुभूति नहीं बनाता है। आंतरिक सक्रियणों का अभी भी व्याख्यात्मकता उपकरणों के साथ अध्ययन किया जा सकता है। मुख्य अंतर यह है कि मॉडल को कम दृश्य मध्यवर्ती टोकन की आवश्यकता हो सकती है क्योंकि उत्पादन शुरू होने से पहले अधिक कम्प्यूटेशन होता है।
OpenAI के मुख्य वैज्ञानिक Jakub Pachocki ने यह भी कहा है कि Astra का कम्प्यूटेशनल ग्राफ GPT 4 की गहराई के लगभग दो गुना के भीतर रहता है और निगरानी क्षमताओं को संरक्षित करने के लिए लूप को जानबूझकर सीमित किया गया था।
यह एक असीमित रिकरंट प्रक्रिया के बजाय एक संयमित कार्यान्वयन का सुझाव देता है।
एक चेन ऑफ़ थॉट को पहले स्थान पर मॉडल के आंतरिक कम्प्यूटेशन का एक वफादार प्रतिलेख होने की गारंटी नहीं है। सिस्टम को उपयोगी उत्तर देने के लिए पुरस्कृत किया जाता है, न कि प्रत्येक छिपे हुए संचालन की वैज्ञानिक रूप से सटीक रिपोर्ट प्रदान करने के लिए।
OpenAI, Anthropic और Google DeepMind से जुड़े शोध से पता चलता है कि मॉडल की व्याख्या महत्वपूर्ण कारकों को छोड़ सकती है, बाद में निर्णय को तर्कसंगत बना सकती है, या वास्तव में परिणाम को प्रभावित करने वाले मार्ग की तुलना में एक साफ मार्ग प्रस्तुत कर सकती है।
एक लूप्ड आर्किटेक्चर इस अंतर को अनदेखा करना कठिन बना देता है।
दृश्य तर्क एक इंटरफ़ेस हो सकता है।
मुख्य कम्प्यूटेशन कोई भी टेक्स्ट दिखाई देने से पहले मॉडल के अंदर हो सकता है।
7 GPT 6 Astra परिणाम
GPT 6 Astra का सबसे शानदार बेंचमार्क परिणाम ARC AGI 3 पर 99.9% का स्कोर है।
वह संख्या लगभग अंतिम लगती है, लेकिन यह काफी हद तक इस बात पर निर्भर करती है कि परीक्षण कैसे चलाया जाता है।
Simon Willison ने इस बात पर प्रकाश डाला कि 99.9% परिणाम OpenAI के कस्टम Provider Adapter हार्नेस से आया है। मानक ARC Prize हार्नेस के तहत, उसी मॉडल ने 62.7% स्कोर किया।
मॉडल नहीं बदला।
मूल्यांकन वातावरण बदल गया।
एक ही मॉडल दो अलग-अलग रन लागतों पर दो अलग-अलग स्कोर उत्पन्न करता है।
OpenAI रन की लागत लगभग $19,000 थी। मानक रन की लागत लगभग $26,000 थी।
काफी अधिक स्कोर भी सस्ते सेटअप द्वारा उत्पन्न किया गया था।
यह जरूरी नहीं कि परिणाम को अमान्य बनाता है। एक कस्टम एडाप्टर मॉडल के साथ अधिक प्रभावी ढंग से बातचीत कर सकता है या उन क्षमताओं को उजागर कर सकता है जो एक सामान्य मूल्यांकन ढांचा चूक जाता है।
लेकिन हेडलाइन नंबर को उन स्थितियों से अलग नहीं किया जा सकता है जिन्होंने इसे उत्पन्न किया।
ARC AGI 3 पर GPT 6 Astra
एक मॉडल, दो मूल्यांकन हार्नेस, और 37.2 प्रतिशत अंकों का अंतर।
अन्य मूल्यांकन कम नाटकीय हैं।
आर्टिफिशियल एनालिसिस इंटेलिजेंस इंडेक्स पर, Astra लगभग GPT 5.6 Sol के बराबर और Claude Fable 5.1 से लगभग पांच अंक नीचे स्कोर करता है।
इसका अधिक व्यावहारिक लाभ एजेंटिक कार्यों पर दक्षता हो सकता है, जहां यह कम लागत पर प्रतिस्पर्धी प्रदर्शन तक पहुंच सकता है।
बेंचमार्क दिखाते हैं कि एक मॉडल क्या हासिल कर सकता है। आर्किटेक्चर यह समझाने में मदद करता है कि वे क्षमताएं कहां से आती हैं और वे कैसे विकसित हो सकती हैं।
8 AI के भविष्य के लिए इसका क्या अर्थ है
वर्षों तक, स्केलिंग भाषा मॉडल का मुख्य अर्थ पैरामीटर जोड़ना, डेटा जोड़ना और ट्रांसफॉर्मर ब्लॉक के बड़े निश्चित स्टैक बनाना था।
प्रत्येक नई पीढ़ी बड़ी, अधिक महंगी और चलाने में अधिक मांग वाली बन गई।
GPT 6 Astra एक और मार्ग की ओर इशारा करता है।
एक मॉडल समान पैरामीटर का पुन: उपयोग कर सकता है, कठिन कार्यों के लिए अधिक कम्प्यूटेशन आवंटित कर सकता है, और अपना पहला शब्द उत्पन्न करने से पहले अपने आंतरिक प्रतिनिधित्व को परिष्कृत कर सकता है।
यह मॉडल आकार को उसके तर्क की गहराई से अलग करता है।
एक निश्चित कम्प्यूटेशनल पथ का पालन करने के बजाय, सिस्टम किसी विशिष्ट समस्या की कठिनाई के अनुसार काम की मात्रा को समायोजित कर सकता है।
यह मॉडल प्रदर्शन और AI के उपयोग के अर्थशास्त्र दोनों को बदल सकता है। वही बुद्धिमत्ता सरल अनुरोधों के लिए तेज़ और सस्ते मोड में काम कर सकती है, फिर अपनी कम्प्यूटेशनल गहराई बढ़ा सकती है जब कोई कार्य वास्तव में अधिक तर्क की मांग करता है।
पुनरावृत्ति भाषा मॉडल में लौट रही है। इस बार, यह मुख्य रूप से शब्दों के बीच नहीं, बल्कि उस प्रक्रिया के अंदर काम करती है जो उन्हें बनाती है।
सिस्टम की अगली पीढ़ी केवल इसलिए अधिक शक्तिशाली नहीं हो सकती क्योंकि उनमें अधिक पैरामीटर हैं।
उनका परिभाषित लाभ यह जानना हो सकता है कि एक अच्छा उत्तर कब पहले ही मिल चुका है और कब आंतरिक लूप के चारों ओर एक बार और जाना उचित है।
स्रोत
- OpenAI द्वारा GPT 6 Astra की घोषणा
- GPT 6 Astra और AGI पर Greg Brockman
- GPT 6 Astra और क्रिटिकल साइबर सुरक्षा सीमा
- Ilya Sutskever की अनुशंसित डीप लर्निंग रीडिंग लिस्ट
- Astra और लूप्ड ट्रांसफॉर्मर पर The Verge रिपोर्ट
- लेटेंट रीज़निंग के साथ टेस्ट टाइम कंप्यूट को स्केल करना
- मिक्सचर ऑफ़ रिकर्शन्स
- Hugging Face पर Nanbeige4.2 3B
- SMELT स्केलिंग लॉज़ फ़ॉर कंप्यूट मैच्ड MoE लूप्ड ट्रांसफॉर्मर्स
- Astra की रीज़निंग आर्किटेक्चर के आसपास AI सुरक्षा चिंताएं
- Astra और लूप्ड ट्रांसफॉर्मर का Sebastian Raschka का विश्लेषण
- चेन ऑफ़ थॉट मॉनिटरेबिलिटी
- GPT 6 Astra का Simon Willison का विश्लेषण
