GPT-6 और स्केल किए गए LLMs वास्तविक AGI क्यों नहीं हैं

स्केल किए गए LLM (GPT-6) AGI क्यों नहीं हैं:

पैमाने का भ्रम और सामान्य बुद्धिमत्ता की वास्तविकता

प्रौद्योगिकी क्षेत्र में प्रचलित कथा यह है कि कृत्रिम सामान्य बुद्धिमत्ता (AGI) मुख्य रूप से पैमाने की एक इंजीनियरिंग चुनौती है: अधिक कंप्यूट, बड़े डेटासेट, लंबे संदर्भ विंडो और विशाल सुदृढीकरण सीखने के क्लस्टर। OpenAI के CEO सैम ऑल्टमैन और NVIDIA के CEO जेन्सेन हुआंग जैसे प्रमुख व्यक्तियों ने बार-बार वर्तमान सीमांत प्रक्षेपवक्रों को - एक काल्पनिक "GPT-6" तक - मानवता को मानव-स्तरीय एजेंसी की तत्काल दहलीज पर रखने के रूप में प्रस्तुत किया है। हालांकि, स्केल किए गए ऑटोरेग्रेसिव ट्रांसफॉर्मर को AGI मानना उच्च-आयामी सांख्यिकीय पुनर्प्राप्ति को वास्तविक सामान्य [बुद्धिमत्ता](https://intelligence.an/) के साथ जोड़ता है। एक वास्तुशिल्प, गणितीय और आर्थिक आलोचना से पता चलता है कि अगले-टोकन भविष्यवक्ता संरचनात्मक स्केलिंग सीमाओं का सामना क्यों करते हैं, प्रचलित बेंचमार्क त्रुटिपूर्ण क्यों हैं, और वास्तविक सामान्य बुद्धिमत्ता के लिए वास्तव में क्या आवश्यक है।

AGI को परिभाषित करना: परिचालन आधार रेखा

यह मूल्यांकन करने के लिए कि ऑटोरेग्रेशन को स्केल करना AGI क्यों नहीं देता, हमें पहले एक कठोर, गैर-विपणन आधार रेखा स्थापित करनी होगी। अपने मौलिक पेपर On the Measure of Intelligence में, AI शोधकर्ता फ्रांस्वा चोलेट बुद्धिमत्ता को स्थिर कौशल के विश्वकोश के रूप में नहीं, बल्कि नमूना-कुशल सीखने की क्षमता के रूप में औपचारिक रूप देते हैं:

कृत्रिम सामान्य बुद्धिमत्ता (AGI) एक स्वायत्त प्रणाली है जो अनिश्चितता के तहत अज्ञात समस्याओं को हल करने के लिए नई दक्षताओं को प्राप्त करने, संश्लेषित करने और लागू करने में सक्षम है - नमूना सीखने, निरंतर अनुकूलन, कारण तर्क और लक्ष्य निर्माण में मानव दक्षता से मेल खाती है या उससे आगे निकल जाती है, बिना मैन्युअल हस्तक्षेप या कार्य-विशिष्ट पूर्व-प्रशिक्षण के।

AGI सभी मानव ज्ञान का योग नहीं है जो एक भार मैट्रिक्स में संकुचित हो; यह मेटा-लर्निंग इंजन है जो मौजूदा ज्ञान के विफल होने पर दुनिया के पूरी तरह से नए मॉडल उत्पन्न करने में सक्षम है।

ऑटोरेग्रेसिव ट्रांसफॉर्मर की वास्तुशिल्प बाधाएं

भले ही एक भविष्य का सीमांत मॉडल मल्टीमॉडल इनपुट पर $10^{27}$ FLOPs पर प्रशिक्षित हो, यह ट्रांसफॉर्मर आर्किटेक्चर की मूलभूत यांत्रिकी से बंधा रहता है:

$$\text{इनपुट टोकन} \longrightarrow \text{स्टैटिक मैट्रिक्स गुणन (जमे हुए भार)} \longrightarrow \text{अगला-टोकन संभाव्यता वितरण}$$

"GPT-6" की वास्तुशिल्प बाधाएं

भले ही एक भविष्य का "GPT-6" मल्टी-मॉडल इनपुट के साथ $10^{27}$ FLOPs पर प्रशिक्षित हो, यह ट्रांसफॉर्मर आर्किटेक्चर की मूलभूत यांत्रिकी से बंधा रहता है:

text

1[ इनपुट टोकन ] ──> [ स्टैटिक मैट्रिक्स गुणन (जमे हुए भार) ] ──> [ अगला-टोकन संभाव्यता वितरण ]
2│
3└── (कोई रनटाइम प्लास्टिसिटी नहीं / कोई गतिशील विश्व मॉडल नहीं)

A. स्वायत्त और सतत सीखने का अभाव

स्थैतिक भार: मानक LLM अलग-अलग प्रशिक्षण और अनुमान चरणों से गुजरते हैं। एक बार बैकप्रोपेगेशन समाप्त होने के बाद, मॉडल भार जम जाते हैं। जब एक LLM दुनिया के साथ बातचीत करता है, तो वह वास्तविक समय में अपने स्वयं के आंतरिक मापदंडों को संशोधित नहीं कर सकता है।
विनाशकारी भूल: न्यूरल नेटवर्क विनाशकारी भूल से ग्रस्त हैं - नए कार्यों पर भार अपडेट करने से पहले से अर्जित क्षमताएं खराब हो जाती हैं।
संदर्भ विंडो $\neq$ मेमोरी: विस्तारित संदर्भ विंडो (या RAG का उपयोग) अस्थायी स्क्रैचपैड प्रदान करती हैं, समेकित एपिसोडिक या सिमेंटिक मेमोरी नहीं। एक प्रणाली जो रनटाइम के दौरान स्वतंत्र रूप से झूठी मान्यताओं को दूर नहीं कर सकती और नए सिद्धांतों को आत्मसात नहीं कर सकती, वह एक सूचना पुनर्प्राप्ति इंजन है, गतिशील शिक्षार्थी नहीं।

B. सांख्यिकीय सहसंबंध बनाम कारण तर्क

अगला-टोकन क्षितिज: ट्रांसफॉर्मर $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$ के लिए अनुकूलन करते हैं। जैसा कि ट्यूरिंग अवार्ड विजेता जूडिया पर्ल द सेवन टूल्स ऑफ कॉज़ल इन्फ्रेंस (CACM) में रेखांकित करते हैं, साहचर्य मॉडल कारण पदानुक्रम (एसोसिएशन / "देखना") के सबसे निचले पायदान पर कब्जा करते हैं।
हस्तक्षेप की बाधा: वास्तविक सामान्य बुद्धिमत्ता के लिए हस्तक्षेप ("क्या होगा अगर हम X करें?") और प्रतितथ्यात्मक ("क्या होता अगर हमने अलग तरह से काम किया होता?") के स्तरों पर तर्क की आवश्यकता होती है। LLM टोकन पैटर्न के माध्यम से इनका अनुमान लगाते हैं, लेकिन एक स्पष्ट कारण इंजन के बिना, वे अपने प्रशिक्षण वितरण के बाहर तर्क करते समय भंगुर बने रहते हैं।

अनुमान पर स्थैतिक भार: मानक LLM प्रशिक्षण और अनुमान के बीच एक सख्त संरचनात्मक सीमा बनाए रखते हैं। एक बार बैकप्रोपेगेशन समाप्त होने के बाद, मॉडल भार जमे रहते हैं। निष्पादन के दौरान, एक LLM वास्तविक समय में अपने स्वयं के आंतरिक मापदंडों को संशोधित नहीं कर सकता है।

विनाशकारी भूल: नए कार्यों पर न्यूरल नेटवर्क भार अपडेट करने से पहले से अर्जित क्षमताएं खराब हो जाती हैं।

संदर्भ विंडो $
eq$ मेमोरी: विस्तारित संदर्भ विंडो (या रिट्रीवल-ऑगमेंटेड जनरेशन जोड़ना) एक अस्थायी स्क्रैचपैड प्रदान करता है, समेकित एपिसोडिक या सिमेंटिक मेमोरी नहीं। एक प्रणाली जो रनटाइम के दौरान स्वतंत्र रूप से झूठी मान्यताओं को दूर नहीं कर सकती और नए सिद्धांतों को आत्मसात नहीं कर सकती, वह एक सूचना पुनर्प्राप्ति प्रणाली के रूप में कार्य करती है, गतिशील शिक्षार्थी नहीं।

B. सांख्यिकीय सहसंबंध बनाम कारण तर्क

अगला-टोकन क्षितिज: ट्रांसफॉर्मर $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$ के लिए अनुकूलन करते हैं। जैसा कि ट्यूरिंग अवार्ड विजेता जूडिया पर्ल द सेवन टूल्स ऑफ कॉज़ल इन्फ्रेंस में रेखांकित करते हैं, साहचर्य मॉडल कारण पदानुक्रम (एसोसिएशन / "देखना") के सबसे निचले पायदान पर कब्जा करते हैं।

हस्तक्षेप की बाधा: वास्तविक सामान्य बुद्धिमत्ता के लिए हस्तक्षेप ("क्या होता है अगर हम $X$ करें?") और प्रतितथ्यात्मक ("क्या होता अगर हमने अलग तरह से काम किया होता?") के स्तरों पर तर्क की आवश्यकता होती है। LLM टोकन पैटर्न के माध्यम से इन तंत्रों का अनुमान लगाते हैं, लेकिन एक स्पष्ट कारण विश्व मॉडल के बिना, वे अपने प्रशिक्षण वितरण के बाहर मजबूर होने पर भंगुर बने रहते हैं।

महत्वपूर्ण विश्लेषण: नेतृत्व की कथा बनाम वास्तुशिल्प वास्तविकता

AGI समयसीमा के बारे में सार्वजनिक बयानों का उन कंपनियों के संरचनात्मक प्रोत्साहनों के साथ-साथ वस्तुनिष्ठ विश्लेषण किया जाना चाहिए जो उन्हें बना रही हैं।

जेन्सेन हुआंग (NVIDIA): हार्डवेयर विस्तार प्रोत्साहन

फ्रेम: हुआंग ने बार-बार कहा है कि AGI पांच साल की अवधि के भीतर आ जाएगा, विशेष रूप से इसे उस बिंदु के रूप में परिभाषित करते हुए जहां AI कानूनी, चिकित्सा और तकनीकी डोमेन में मानव पेशेवर परीक्षणों में शीर्ष प्रतिशत में स्कोर कर सकता है।

परिप्रेक्ष्य: AGI को मुख्य रूप से मानकीकृत परीक्षा प्रदर्शन के माध्यम से परिभाषित करना स्थिर ज्ञान पुनर्प्राप्ति और पैटर्न मिलान का मूल्यांकन करता है - ऐसे कार्य जहां ऑटोरेग्रेसिव मॉडल इंटरनेट-स्केल स्मरण के कारण उत्कृष्ट होते हैं। एक वास्तुशिल्प दृष्टिकोण से, बार परीक्षा या मेडिकल बोर्ड पास करना वितरण-बाहर तर्क या स्वायत्त अनुकूलनशीलता का संकेत नहीं देता है। परीक्षा की सफलता को AGI के रूप में प्रस्तुत करना एंटरप्राइज GPU क्लस्टर पर निरंतर पूंजीगत व्यय को प्रोत्साहित करता है, जो सीधे हार्डवेयर बिक्री उद्देश्यों के साथ संरेखित होता है।

सैम ऑल्टमैन (OpenAI): पूंजी और मूल्यांकन प्रोत्साहन

फ्रेम: ऑल्टमैन अक्सर AGI की ओर एक आक्रामक समयसीमा का उल्लेख करते हैं, एजेंटिक सिस्टम से पूर्ण संज्ञानात्मक स्वायत्तता तक तीव्र संक्रमणों का अनुमान लगाते हुए बहु-ट्रिलियन-डॉलर चिप और डेटा सेंटर पहलों जैसे विशाल बुनियादी ढांचे के निवेश को सही ठहराते हैं।

प्रोत्साहन समस्या: भ्रामक उद्योग बयानबाजी

टेक अधिकारियों के सार्वजनिक बयानों को समझने के लिए उनके संरचनात्मक प्रोत्साहनों का विश्लेषण करना आवश्यक है:

text

1┌───────────────────────────────┐        ┌───────────────────────────────┐
2│    जेन्सेन हुआंग (NVIDIA)    │        │      सैम ऑल्टमैन (OpenAI)     │
3├───────────────────────────────┤        ├───────────────────────────────┤
4│ प्रोत्साहन: H100s/B200s बेचना │        │ प्रोत्साहन: बहु-अरब $         │
5│ रणनीति: AGI को 5 सालों के     │        │ फंडिंग राउंड और स्टारगेट      │
6│ भीतर मानकीकृत परीक्षा पास      │        │ रणनीति: "आसन्न ईश्वर-तुल्य     │
7│ करने के रूप में पुनर्परिभाषित  │        │ AGI" और "सिर्फ एक उपयोगी     │
8│ करना।                         │        │ उपकरण" के बीच दोलन करना।     │
9└───────────────────────────────┘        └───────────────────────────────┘

परिप्रेक्ष्य: OpenAI का परिचालन फोकस कंप्यूट रन को निधि देने के लिए विशाल पूंजी भंडार सुरक्षित करने पर निर्भर करता है। एक आसन्न AGI कथा को बढ़ावा देना उच्च उद्यम मूल्यांकन बनाए रखता है और रणनीतिक संप्रभु समर्थन सुरक्षित करता है। हालांकि, बदलती परिभाषाएं - नई रिलीज को तकनीकी छलांग के रूप में प्रस्तुत करने और नियामक चर्चाओं के दौरान AGI के दावों को वापस लेने के बीच बारी-बारी से - बाजार संदेश और तकनीकी क्षमता के बीच एक तनाव को उजागर करती हैं। अनुमान-समय कंप्यूट स्केलिंग जैसी तकनीकें संरचित समस्या स्थानों में खोज में सुधार करती हैं, लेकिन वे भार फ्रीज, वास्तविक समय अनुकूलन, या सच्ची ज्ञानमीमांसीय स्वायत्तता को हल नहीं करती हैं।

बेंचमार्क भ्रांति: वर्तमान मीट्रिक क्यों भ्रामक हैं

यह धारणा कि सीमांत मॉडल AGI के करीब पहुंच रहे हैं, काफी हद तक बेंचमार्क संतृप्ति से उपजी है। वर्तमान मूल्यांकन पद्धतियां तीन मुख्य संरचनात्मक दोषों से ग्रस्त हैं:

डेटा संदूषण और बेंचमार्क संतृप्ति: MMLU और GSM8K जैसे लोकप्रिय मूल्यांकन सूट नियमित रूप से वेब-स्केल प्री-ट्रेनिंग डेटासेट में लीक हो जाते हैं। उच्च स्कोर अक्सर वितरण-बाहर तर्क के बजाय उच्च-आयामी पैटर्न स्मरण को दर्शाते हैं।

AI अनुकूलन में गुडहार्ट का नियम: जैसा कि सीमांत AI मॉडल के मूल्यांकन पर शोध प्रदर्शित करता है, "जब एक मीट्रिक एक लक्ष्य बन जाता है, तो वह एक अच्छा मीट्रिक नहीं रह जाता है।" पोस्ट-ट्रेनिंग तकनीकें (RLHF, DPO, सिंथेटिक डेटा जनरेशन) मानक सार्वजनिक मूल्यांकन पास करने के लिए मॉडल को आक्रामक रूप से अनुकूलित करती हैं।

एब्स्ट्रैक्शन एंड रीज़निंग कॉर्पस (ARC-AGI): विशेष रूप से स्मरण का विरोध करने के लिए डिज़ाइन किए गए उपन्यास दृश्य-अमूर्त तर्क पहेली पर मॉडल का मूल्यांकन - जैसे ARC-AGI बेंचमार्क - से पता चलता है कि जबकि स्केल की गई खोज और परीक्षण-समय कंप्यूट स्कोर को अधिक धकेल सकते हैं, क्रूर-बल सांख्यिकीय खोज को समान अमूर्त समस्याओं को हल करने के लिए मानव नमूना दक्षता की तुलना में परिमाण के आदेशों में अधिक कंप्यूट की आवश्यकता होती है।

सच्चे AGI के लिए वास्तुशिल्प आवश्यकताएं

सांख्यिकीय पैटर्न मिलान और वास्तविक AGI के बीच की खाई को पाटने के लिए शुद्ध ऑटोरिग्रेशन से दूर मौलिक वास्तुशिल्प बदलावों की आवश्यकता है:

मुख्य आवश्यकता	ट्रांसफॉर्मर मॉडल में सीमाएं	AGI के लिए वास्तुशिल्प आवश्यकता
सतत सिनैप्टिक प्लास्टिसिटी	अनुमान के दौरान जमे हुए भार; अपडेट पर विनाशकारी भूल।	निष्पादन के दौरान निरंतर, वास्तविक समय पैरामीटर अनुकूलन और ऑनलाइन सीखना।
कारण विश्व मॉडल	एक-आयामी टोकन-स्तरीय संभाव्यता वितरण मानचित्रण।	परिचालन तर्क और गतिशील स्थिति ट्रैकिंग में निहित बहु-आयामी कारण इंजन।
नमूना दक्षता	संकीर्ण कार्यों में महारत हासिल करने के लिए खरबों टोकन / वेब-स्केल डेटा की आवश्यकता होती है।	एकल-अंक प्रदर्शनों से जटिल नियमों को अमूर्त करने की क्षमता (मेटा-लर्निंग)।
ज्ञानमीमांसीय स्व-अंशांकन	आत्मविश्वासपूर्ण मतिभ्रम; आंतरिक ज्ञान सीमाओं को सत्यापित करने में असमर्थता।	निश्चितता और अज्ञानता के स्पष्ट ट्रैकिंग के साथ आंतरिक स्व-सत्यापन।
टिकाऊ ज्ञानमीमांसीय स्मृति	क्षणिक संदर्भ विंडो और बाहरी वेक्टर खोज (RAG)।	एकीकृत ज्ञान प्रतिनिधित्व जो लगातार तथ्यों को आसवित, सत्यापित और छांटते हैं।

निष्कर्ष

सच्चे AGI के लिए वास्तव में क्या आवश्यक है

उच्च-आयामी सांख्यिकीय पैटर्न मिलान और वास्तविक AGI के बीच की खाई को पाटने के लिए मौलिक वास्तुशिल्प बदलावों की आवश्यकता है:

मुख्य आवश्यकता	ट्रांसफॉर्मर मॉडल (GPT-4/6) में सीमा	सच्चे AGI के लिए वास्तुशिल्प आवश्यकता
सतत सिनैप्टिक प्लास्टिसिटी	जमे हुए मॉडल भार; ग्रेडिएंट अपडेट पर विनाशकारी भूल।	रनटाइम के दौरान निरंतर, वास्तविक समय पैरामीटर और मेमोरी अनुकूलन।
कारण विश्व मॉडल	1D टोकन-स्तरीय साहचर्य संभाव्यता मानचित्रण।	परिचालन यांत्रिकी और तर्क में निहित बहु-आयामी कारण इंजन।
नमूना दक्षता	बुनियादी कार्यों को सीखने के लिए खरबों टोकन / इंटरनेट-स्केल डेटा की आवश्यकता होती है।	एकल-अंक प्रदर्शनों से जटिल सिद्धांतों को अमूर्त करना (मेटा-लर्निंग)।
ज्ञानमीमांसीय स्व-अंशांकन	आत्मविश्वासपूर्ण मतिभ्रम; स्वतंत्र रूप से सत्य सीमाओं को सत्यापित करने में असमर्थ।	आंतरिक स्व-सत्यापन और निश्चितता/अज्ञानता का स्पष्ट ट्रैकिंग।
टिकाऊ ज्ञान ग्राफ एकीकरण	क्षणिक संदर्भ विंडो और बाहरी वेक्टर खोज (RAG)।	एकीकृत ज्ञान ग्राफ जो लगातार राज्य तथ्यों को आसवित, सत्यापित, याद और छांटते हैं।

कंप्यूट, पैरामीटर गणना और प्री-ट्रेनिंग डेटा को स्केल करना उत्कृष्ट उपकरण, अत्यधिक सक्षम कोडिंग सहायक और धाराप्रवाह प्राकृतिक भाषा इंटरफेस प्रदान करता है। हालांकि, सांख्यिकीय भविष्यवाणी को स्केल करने से स्वचालित रूप से स्वायत्त तर्क, गतिशील सीखना या वास्तविक एजेंसी उत्पन्न नहीं होती है।

एक भविष्य का GPT-6 मानव पाठ में तेज़, बड़ा और अधिक स्पष्ट हो सकता है, लेकिन निरंतर प्लास्टिसिटी, कारण आधार और गतिशील स्व-सत्यापन के बिना, यह एक उन्नत सहसंबंध इंजन बना रहता है - AGI नहीं।

Seedthink द्वारा सारांश