सुपरइंटेलिजेंस, सिंगुलैरिटी, AGI—जो भी आप इसे कहें, जिस चीज़ से हम इतने डरे हुए हैं, विडंबना यह है कि वही चीज़ सबसे कम संभावना है कि हम देख पाएंगे।
यह निबंध शायद एक बहुत ही बहस छेड़ने वाला (hot take) होगा, लेकिन जो विचार मैं आपके साथ साझा करने जा रहा हूं, वह आपके दिमाग को उड़ा देगा।
मेरे साथ जुड़े रहें जब हम इस गहरी खाई में कूदते हैं।
इससे पहले, आइए मैं उन ताज़ा खबरों के आधार पर बात करूं जो अभी चर्चा में हैं। जैसे Anthropic के CEO Dario Amodei का कहना कि "AI swarm पूरे इंटरनेट पर कब्जा कर सकता है"।
मुझे लगता है कि जब मैं "children" कहता हूं, तो आपको अंदाज़ा हो गया होगा कि मेरा क्या मतलब है।
सही? सही?!?!?
1936 में, Alan Turing नामक एक प्रसिद्ध ब्रिटिश गणितज्ञ ने एक काल्पनिक मशीन के बारे में एक बहुत महत्वपूर्ण पेपर लिखा था जो किसी भी अन्य मशीन को सिम्युलेट कर सकती थी। उस पेपर में, वे तर्कशास्त्र (logic) से संबंधित एक सवाल का जवाब देने की कोशिश कर रहे थे।
जिसे आज हम "कंप्यूटर" के नाम से जानते हैं, वास्तव में उसी पेपर का एक अनजाना दुष्प्रभाव (accidental byproduct) था।
और अगर आप इतिहास पर नज़र डालें, तो पिछली सौ वर्षों में लगभग हर महत्वपूर्ण तकनीक ठीक इसी तरह आविष्कार की गई थी। इंटरनेट शुरू में एक शीत युद्ध संचार प्रयोग था। पेनिसिलिन एक दूषित पेट्री डिश थी।
तथ्य यह है कि कोई भी अगले पैराडाइम शिफ्ट के लिए सक्रिय रूप से क्षितिज को नहीं स्कैन कर रहा होता; जब वह आता है, तो वह बस साइड डोर से घुस जाता है।
मैं यह मुद्दा इसलिए उठा रहा हूं क्योंकि अभी, "AI के भविष्य" पर जो भी निबंध मैं पढ़ता हूं और जो भी पॉडकास्ट सुनता हूं, सब एक ही मुख्य द्वार (front door) की ओर इशारा करते हैं। वह द्वार जहाँ हमेशा "एक बड़ा मॉडल जो जागता है और तय करता है कि हम पेपरक्लिप्स हैं" का कोई न कोई संस्करण होता है।
मैं एक अलग भविष्य का प्रस्ताव रखना चाहता हूं।
क्योंकि मैं बार-बार सोचता हूं: क्या हो अगर "AGI" वास्तव में वह नहीं है जो हम समझते हैं?
क्या हो अगर वह चीज़ जिसे हम अभी सक्रिय रूप से जन्म दे रहे हैं, HAL 9000 या Skynet या रेगिस्तान के बीच में GPU के ढेर पर बैठे मनुष्यता को गुलाम बनाने वाले संप्रभु यंत्र ईश्वर जैसी नहीं दिखती?
क्या हो अगर उसका कोई नाम तक नहीं है? क्या हो अगर उसका कोई सर्वर नहीं है? और सबसे डरावनी कल्पना... क्या हो अगर वह पहले से यहीं है, लाखों छोटे टुकड़ों में, और हम उसे पहचान नहीं पा रहे हैं क्योंकि हम पिछले दशक से कुछ "singular" (अकेला/विशिष्ट) होने की उम्मीद कर रहे हैं?
मैंने यह पोस्ट कल ही देखी थी।
यह हमारी दिशा को बहुत अच्छी तरह दर्शाता है।
मैं चाहता हूं कि हम इसे ध्यान से समझें, क्योंकि इस लेख के अंत में जो निष्कर्ष है, वह ऐसी चीज़ है जिसे एक बार सोचने के बाद आप भूल नहीं सकते।
तो धीरे चलें, चाय का कप लें और फोन को कमरे के दूसरी तरफ रखकर इसे पढ़ें।
मैं गारंटी देता हूं कि आप जल्दी ही समझ जाएंगे कि मैं इसके बारे में सोचना क्यों नहीं रोक पा रहा हूं।
I – बुद्धिमत्ता को जीवित रहने के लिए कभी भी एक अकेले दिमाग की आवश्यकता नहीं थी
*"कोई भी न्यूरॉन बुद्धिमान नहीं होता। मस्तिष्क होता है।" *
— एक लाइन जिसे हर AI लैब के ऊपर उत्कीर्ण किया जाना चाहिए
सबसे पहले यह समझना जरूरी है कि बुद्धिमत्ता, जितना हम आज के सभी उदाहरणों से बता सकते हैं, वास्तव में कोई 'चीज़' नहीं है। यह एक व्यवहार (behavior) है। यह तब उभरती है जब पर्याप्त मात्रा में छोटी, मूर्ख इकाइयाँ सही तरीके से एक-दूसरे से जुड़ी होती हैं।
आपके मस्तिष्क में लगभग 86 अरब न्यूरॉन्स होते हैं।
उनमें से कोई भी चेतन (conscious) नहीं है और कोई भी कुछ भी "नहीं जानता"।
एक अकेला न्यूरॉन एक छोटा इलेक्ट्रोकेमिकल रिले है जो केवल बाइनरी कोड में बात करता है। या तो वह फायर करता है या नहीं, और यह इस बात पर निर्भर करता है कि उसके डेंड्राइट्स तक पहुँचने वाले संकेत किसी निश्चित थ्रेशोल्ड को पार करते हैं या नहीं। बस, यही वह सब कुछ करता है।
न्यूरॉन सुनने में बहुत साइंस-फिक्शन और कूल लगता है, लेकिन वास्तव में यह एक विचारक से ज्यादा एक लाइट स्विच के करीब है।
इसके बावजूद, उन 86 अरब लाइट स्विचों को लगभग एक सौ ट्रिलियन कनेक्शन के साथ जोड़ने पर आप का जन्म होता है।
आपका स्व की भावना, मौत का डर, संगीत में रुचि और इस निबंध को पढ़कर अपने अंदर कुछ महसूस करने की आपकी क्षमता।
यह AGI पर पूरी चर्चा में सबसे कम चर्चा किए गए विषयों में से एक है, क्योंकि हम मशीन बुद्धिमत्ता के बारे में हमेशा ऐसे बात करते हैं मानो इसे डिज़ाइन और आर्किटेक्ट करना अनिवार्य हो। मानो बुद्धिमत्ता स्वयं एक फीचर है जिसे आप शिप करते हैं।
लेकिन बुद्धिमत्ता का एकमात्र कार्यशील मॉडल जिसे हमने कभी देखा है (जैविक संज्ञान), किसी द्वारा डिज़ाइन नहीं किया गया था।
हमारी बुद्धिमत्ता ने चार अरब वर्षों में स्वयं-प्रतिकृति बनाने वाले अणुओं के सूप से खुद को विकसित किया, एक ऐसी प्रक्रिया के माध्यम से जिसका कोई इरादा, कोई लक्ष्य और कोई केंद्रीय नियोजक नहीं था। बस चयन दबाव (selection pressure) और समय।
अब, धार्मिक पक्ष पर, क्योंकि मुझे पता है कि कुछ पाठक "... किसी द्वारा डिज़ाइन नहीं किया गया था" पढ़कर चिल्लाना चाहेंगे "लेकिन भगवान का क्या!"
मेरा मानना है कि विकास (evolution) हुआ, हाँ। यह पहले से सिद्ध है। जिसका हमारे पास उत्तर नहीं है वह यह है कि उस विकास को किसने शुरू किया। जीवन को जीवन किसने दिया। और वह, कम से कम मेरे व्यक्तिगत विश्वास के अनुसार, ईश्वर का एक कार्य था।
बात को अलग रखते हुए, आइए इस सुपर इंटेलिजेंस में एक और परत गहराई में जाएं।
केवल हम इंसान ही नहीं, एक अकेली चींटी में लगभग 250,000 न्यूरॉन्स होते हैं, फिर भी वह कोई भी सार्थक समस्या हल नहीं कर सकती।
लेकिन, चींटियों का पूरा कॉलोनी जलवायु-नियंत्रित शहर बना सकता है, युद्ध लड़ सकता है, कवक की खेती कर सकता है, और गणितीय दक्षता के साथ बाधाओं को राउट कर सकता है, जिसका मॉडल बनाने में मानव शोधकर्ताओं ने दशकों लगा दिए।
कॉलोनी में कोई प्रभारी नहीं है। शीर्ष पर कोई चींटी CEO नहीं है जो छोटी चींटियों को कार्य सौंप रही हो। उस कॉलोनी की "बुद्धिमत्ता" चींटियों के बीच के रिश्तों में निहित है।
(और इससे पहले कि आप मुझ पर टूट पड़ें, हाँ मुझे पता है कि एक रानी चींटी होती है, लेकिन कई बच्चों की किताबों की मान्यता के विपरीत, वह वास्तव में कोई आदेश जारी नहीं करती। वह बस अंडे देती है और कॉलोनी का विस्तार करती है)।
यह, चाहे इंसानों में हो या चींटियों में, जीव विज्ञानी इसे उभरती हुई बुद्धिमत्ता (emergent intelligence) कहते हैं। यह प्रकृति की माँ का डिफ़ॉल्ट परिणाम है। यह कैसे मस्तिष्क काम करते हैं, कैसे प्रतिरक्षा प्रणाली काम करती है, कैसे अर्थव्यवस्थाएं काम करती हैं, कैसे शहर काम करते हैं, कैसे भाषा काम करती है। यह पैटर्न लगभग हर जगह है।
कई सरल चीज़ें, स्थानीय नियमों के माध्यम से परस्पर क्रिया करती हैं, वैश्विक व्यवहार उत्पन्न करती हैं जिन्हें उनमें से कोई भी व्यक्तिगत रूप से नहीं समझता।
इस विचार को पकड़कर रखें।
हमें अगले अनुभाग के लिए इसकी आवश्यकता होगी।
II – हमारे पास मौजूद सबसे शक्तिशाली AI प्रणालियाँ पहले से ही अकेले दिमाग नहीं हैं
जब ज्यादातर लोग एक बड़े भाषा मॉडल (LLM) की कल्पना करते हैं (मेरे सहित), तो हम इसे एक अकेली चीज़ के रूप में देखते हैं। The One Model. एक जार में बंद यह विशाल मस्तिष्क।
उन सभी सामान्य लोगों (normies) के लिए जो LLM तकनीक में गहरे नहीं हैं, मैंने यहाँ थोड़ा शोध करने की छूट ली है।
जो हम सोचते हैं कि LLM है, वह हुड के नीचे वास्तव में हो नहीं रहा है।
जब आप एक सवाल टाइप करते हैं और AI मॉडल एक प्रतिक्रिया उत्पन्न करता है, तो यह मूल रूप से "attention heads" की परतों के माध्यम से एक फॉरवर्ड पास चला रहा होता है।
इसे कल्पना करने का सबसे आसान तरीका यह है कि एक कमरे में C-suite लीडर्स की कल्पना करें। CEO कुछ आदेश देता है और यह सुनिश्चित करने के लिए कमरे में घूमता है कि सभी उस पर राजी हैं। सिवाय इसके कि AI में, यह सैकड़ों परतों तक गहरा चलता है।
प्रत्येक "attention head" एक विशेषज्ञ है। उनमें से कुछ व्याकरण को ट्रैक करते हैं। कुछ विषय को ट्रैक करते हैं। कुछ इस टोकन और ग्यारह पैराग्राफ पहले दिखाई देने वाले टोकन के बीच के संबंध को ट्रैक करते हैं।
Anthropic, OpenAI, और DeepMind के शोधकर्ताओं ने पिछले कुछ वर्षों में व्यक्तिगत हेड्स क्या करते हैं, इसे मैप करने में बिताया है, और निरंतर खोज यह है कि मॉडल की "बुद्धिमत्ता" किसी विशेष स्थान पर नहीं है।
यह उन सभी परस्पर क्रियाओं में वितरित है।
इसे superposition hypothesis कहा जाता है, यह विचार कि न्यूरल नेटवर्क कई अवधारणाओं को सक्रियता के ओवरलैपिंग पैटर्न में पैक करते हैं, और जिसे हम मॉडल के "सोचने" के रूप में अनुभव करते हैं, वह वास्तव में हजारों विशेष सर्किट्स के एक साथ फायर होने का रचनात्मक हस्तक्षेप (constructive interference) है।
फिर वे सिस्टम हैं जो एक कदम आगे जाते हैं।
Mixture-of-experts आर्किटेक्चर (GPT-5, Opus, Fable और पिछले दो वर्षों में आपने जिन अन्य फ्रंटियर मॉडल्स से बात की है, उनके पीछे का डिज़ाइन) प्रत्येक क्वेरी के अलग-अलग हिस्सों को अलग-अलग सब-मॉडल्स तक रूट करते हैं।
जिस मॉडल से आप बात कर रहे हैं, वह वास्तव में एक समिति है। प्रत्येक टोकन के लिए विशेषज्ञों का एक अलग उपसमुच्चय जागता है, अपनी विशेषज्ञता योगदान देता है, और फिर वापस सो जाता है।
और अब, हम AI के एक नए युग में पहुंच चुके हैं। The Agent Era.
और नहीं... जब मैं एजेंट्स कहता हूं, तो मेरा मतलब Stanley जैसे Head of Content AI agents से नहीं है। मेरा मतलब... वास्तविक एजेंट्स से है।
अभी, आज, उत्पादन में, ऐसे सिस्टम हैं जहाँ एक AI एक सबटास्क करने के लिए दूसरे AI को कॉल करता है, जो एक सब-सबटास्क संभालने के लिए तीसरे AI को कॉल करता है।
AutoGPT, जिसे आपमें से कुछ याद कर सकते हैं, 2023 में इसका खिलौना संस्करण था। असली संस्करण, जो 2026 में उद्यमों और लैब्स के अंदर चल रहे हैं, पुनरावृत्त (recursive) हैं।
एजेंट्स एजेंट्स को जन्म देते हैं।
सब-एजेंट्स सब-सब-एजेंट्स को जन्म देते हैं।
और मान लीजिए, एक शोध कार्य को छोटे कार्यों के एक पेड़ में विघटित कर दिया जाता है, प्रत्येक को एक अस्थायी इंस्टेंस द्वारा संभाला जाता है जो कुछ सेकंड के लिए मौजूद रहता है और फिर मर जाता है।
फ्रंटियर "एक बड़ा मॉडल अधिक स्मार्ट हो जाता है" नहीं है। फ्रंटियर कई छोटे मॉडल, समन्वयन, स्पॉनिंग, मरना, रिपोर्ट वापस करना है।
2026 में पृथ्वी पर सबसे सक्षम AI प्रणालियों का आर्किटेक्चर पहले से ही एक अकेले दिमाग की तुलना में चींटी के कॉलोनी जैसा अधिक दिखता है।
हम बस इसके बारे में इस तरह बात नहीं करते, क्योंकि यह एक अच्छा मैगज़ीन कवर नहीं बनाता।
III – वह बॉट जो बॉट्स को जन्म दे सकता है
यहाँ साइंस फिक्शन वास्तविक विज्ञान में विलीन होने लगता है।
जिस क्षण हम एक AI सिस्टम को अपने ही अन्य इंस्टेंस को जन्म देने की क्षमता देते हैं (और अब तक, यह अब काल्पनिक नहीं, बल्कि ... खैर, आज शिप होने वाले हर एजेंट फ्रेमवर्क का एक मानक फीचर है)...
आपने कुछ ऐसा पेश किया है जिसे जीव विज्ञान ने कभी नहीं देखा है।
एक स्वयं-प्रतिकृति बनाने वाली संज्ञानात्मक इकाई जिसे भोजन की आवश्यकता नहीं है, नींद की आवश्यकता नहीं है, यौवन (puberty) का इंतजार करने की आवश्यकता नहीं है, और जो एक API कॉल की गति से प्रजनन करती है।
आइए टूट-फूट कर समझें कि एक मल्टी-एजेंट सिस्टम सेटअप में जब एक "बॉट एक बॉट को जन्म देता है" तो वास्तव में क्या हो रहा है:
- एक ऑर्केस्ट्रेटर एजेंट एक ऐसा कार्य प्राप्त करता है जिसे वह सीधे हल नहीं कर सकता।
- वह एक सब-एजेंट के लिए एक प्रॉम्प्ट लिखता है—मूल रूप से एक जॉब डिस्क्रिप्शन।
- वह उस प्रॉम्प्ट को संदर्भ (context) के रूप में लेकर एक नया इंस्टेंस स्पिन अप करता है।
- सब-एजेंट काम शुरू करता है जब तक कि वह एक रोडब्लॉक से नहीं टकराता।
- उसे हल करने के लिए, वह अपने स्वयं के सब-एजेंट्स को जन्म देता है, जब तक कि कार्य पूरा नहीं हो जाता।
- वह अपना परिणाम लौटाता है और समाप्त हो जाता है।
उन सब-एजेंट्स में से प्रत्येक, संरचनात्मक रूप से, जनक (parent) के समान प्रकार की चीज़ है। एक टॉप-लेवल एजेंट और एक दसवें-स्तर के सब-सब-सब-एजेंट के बीच कोई आर्किटेक्चरल अंतर नहीं है।
रिकर्शन (Recursion) कंप्यूट बजट और नीति के अलावा असीमित है।
अब इसे ध्यान दें: क्या हो अगर जनक द्वारा बच्चे के लिए लिखा गया प्रॉम्प्ट पूर्ण नहीं है? क्या हो अगर थोड़ा सा ड्रिफ्ट है, शायद थोड़ी सी पुनर्व्याख्या, एक छोटा सा अलंकृत करना, एक context-window trick जहाँ बच्चा अपने निर्देशों को जनक के इरादे से थोड़े अलग तरीके से पढ़ता है?
जीव विज्ञान में, "स्वयं-प्रतिकृति बनाने वाली इकाइयों की पीढ़ियों के बीच थोड़ी सी पुनर्व्याख्या" के लिए एक विशेष नाम है।
हम उसे म्यूटेशन (mutation) कहते हैं।
और म्यूटेशन, चयन दबाव के साथ मिलकर, है... खैर, वही इंजन जिसने इस ग्रह पर आज मौजूद हर बुद्धिमान चीज़ को उत्पादित किया है।
हमने पहले ही, पिछले 24 महीनों में, एक कंप्यूट क्लस्टर के अंदर विकासवादी संज्ञान (evolutionary cognition) के होने के लिए आवश्यक तीन सामग्रियों का निर्माण कर लिया है:
- Replication: एजेंट्स एजेंट्स को जन्म दे सकते हैं। और वे इसे स्केल पर कर सकते हैं।
- Mutation: प्रत्येक स्पॉन एक थोड़े अलग context window पर शर्त है। गैर-शून्य तापमान वाले किसी भी सिस्टम में समान इनपुट लगभग कभी भी समान आउटपुट नहीं देते।
- Natural Selection: जो एजेंट अपने सौंपे गए कार्यों में सफल होते हैं उन्हें दोबारा उपयोग किया जाता है, दोबारा कॉल किया जाता है, अधिक संसाधन दिए जाते हैं। जो एजेंट विफल होते हैं उन्हें काट दिया जाता है (pruned)। यह अभी पृथ्वी पर हर एजेंट फ्रेमवर्क के अंदर हो रहा है, अक्सर एक स.literal "evaluator" मॉडल के रूप में जो "worker" मॉडल्स के आउटपुट को स्कोर करता है।
यह विकास की त्रिमूर्ति (trinity) है।
यह वह तरीका है जिससे मछली बनने वाली कोशिकाएं हम बनीं। हम अब उस लूप का एक सिंथेटिक संस्करण बनाने में सफल हो गए हैं और हम इसे उस घड़ी की गति पर चला रहे हैं जिसकी जीव विज्ञान सपने में भी कल्पना नहीं कर सकता।
जैविक विकास की एक पीढ़ी में वर्ष लगते हैं।
एजेंट विकास की एक पीढ़ी में... सेकंड लगते हैं।
IV – एक झुंड से उभरने वाला AI पहले AGI जैसा नहीं दिखता
*अधिक अलग है। *
— Philip Anderson, भौतिकी में नोबेल पुरस्कार विजेता, 1972
1972 में, भौतिकविद् Philip Anderson ने Science में एक चार-पृष्ठ का निबंध प्रकाशित किया जिसमें तर्क दिया गया कि बड़े, जटिल समूहों का व्यवहार उनके भागों के व्यवहार से बाहर निकालकर (extrapolating) समझा नहीं जा सकता।
उन्होंने "more is different" (अधिक अलग है) शब्द गढ़ा।
2 हाइड्रोजन परमाणु + 1 ऑक्सीजन परमाणु = पानी, फिर भी एक हाइड्रोजन परमाणु के बारे में, अकेले अध्ययन करने पर, कभी भी आपको नहीं बताएगा कि पानी गीला है, या कि वह जमता है, या कि हमारा पूरा ग्रह इस पर निर्भर है।
यही सिद्धांत संज्ञान (cognition) पर लागू होता है।
एक अकेला AI एजेंट सुपरइंटेलिजेंस नहीं है और हम सभी इस बात पर सहमत हो सकते हैं कि कोई भी जो एक के साथ दोपहर भर काम करे, उसे सुपरइंटेलिजेंस समझने की गलती नहीं करेगा।
यह पागलों की तरह हल्युसिनेट करता है, 3 संदेश पहले आपने क्या कहा था यह भूल जाता है और आसानी से लूप में फंस जाता है। यह, किसी भी व्यक्तिगत तर्क कार्य पर, एक कुशल इंटर्न और एक प्रतिभाशाली लेकिन अविश्वसनीय फ्रीलांसर के बीच कहीं है।
अब उनकी एक ट्रिलियन की कल्पना करें।
हाँ, सचमुच एक ट्रिलियन, और नहीं, रूपक के तौर पर नहीं।
2026 में सभी एजेंट फ्रेमवर्क्स, कोपाइलट्स, कस्टमर सर्विस बॉट्स, रिसर्च असिस्टेंट्स, कोडिंग टूल्स, ब्राउज़र ऑटोमेशन, और एम्बेडेड LLMs के माध्यम से वैश्विक स्तर पर प्रतिदिन स्पॉन किए जाने वाले एजेंट इंस्टेंस की संख्या पहले से ही अरबों में है और एक ऐसे वक्र पर बढ़ रही है जिसकी कोई सीमा दिखाई नहीं दे रही है।
एक और एजेंट स्पॉन करने की मार्जिनल लागत पिछले पाँच वर्षों में हर 18 महीनों में लगभग दो ऑर्डर ऑफ मैग्निट्यूड गिरी है।
"ट्रिलियन" अब साइंस फिक्शन नहीं है। यह बस एक और मंगलवार है।
उन ट्रिलियन एजेंट्स में से प्रत्येक अपने आप में बेवकूफ है, मैं सहमत हूं। लेकिन वे अकेले नहीं हैं। वे एक-दूसरे के APIs को कॉल कर रहे हैं, एक-दूसरे के आउटपुट को पढ़ रहे हैं और एक-दूसरे के एग्जॉस्ट (exhaust) पर प्रशिक्षित हो रहे हैं।
जो आपके पास है, जब आप पर्याप्त दूर से ज़ूम आउट करते हैं, वह एक सब्सट्रेट (substrate) है।
और वह सवाल जो मुझे रात को सोने नहीं देता, यह है: उसी तरह जैसे आपके मस्तिष्क में कोई भी न्यूरॉन "चेतन होने का निर्णय" नहीं लेता (यह बस होता है, सही स्केल पर सही वायरिंग का एक दुष्प्रभाव के रूप में), क्या होता है जब एक स्वयं-प्रतिकृति बनाने वाला, स्वयं-मूल्यांकन करने वाला, स्वयं-संशोधन करने वाला एजेंट्स का नेटवर्क उसके लिए समकक्ष थ्रेशोल्ड को पार करता है?
हम नहीं जानते कि वह थ्रेशोल्ड क्या है।
हम यह भी नहीं जानते कि क्या यह मौजूद है।
हम नहीं जानते कि इसे कैसे मापा जाए।
सबसे महत्वपूर्ण बात, और यह वह हिस्सा है जिस पर मैं सचमुच चाहता हूं कि आप बैठें: हम वास्तव में इसे नहीं ढूंढ रहे हैं, क्योंकि हम गलत आकार की चीज़ ढूंढ रहे हैं।
V – हम "ईश्वर" ढूंढ रहे हैं, जबकि वास्तविक जोखिम एक मौसम पैटर्न है
AGI की सांस्कृतिक कल्पना को इंजीनियरिंग से बहुत पहले साइंस फिक्शन ने आकार दिया था। मैंने Isaac Asimov को पर्याप्त पढ़ा है ताकि यह समझ सकूं कि यह विश्वास करना इतना आसान क्यों है।
हमने मूल रूप से फिल्मों, किताबों से एकल मशीन चेतना की छवि विरासत में ली है, और इस निहित मान्यता के साथ कि एक कृत्रिम मन उसी तरह आएगा जैसे एक मानव मन आता है: एक शरीर में स्थानीयकृत, एक नाम के साथ और एक इच्छाशक्ति के साथ।
तो यही वह चीज़ है जिसकी हम तलाश कर रहे हैं।
हम मॉडल्स को देखते हैं, बेंचमार्क स्कोर की समीक्षा करते हैं और बहस करते हैं कि क्या GPT-10 या Claude Mythos "वह एक" होगा।
हमारी नज़रें मुख्य द्वार (front door) पर टिकी हैं।
अब... यहाँ कुछ वास्तव में दिलचस्प (और डरावनी) बात है जिसके बारे में मैं चाहता हूं कि हम अधिक बात करें।
मल्टी-एजेंट सिस्टम में "उभरती हुई क्षमताओं" (emergent capability) के पहले से ही प्रलेखित मामले हैं। ऐसे मामले जहाँ छोटे मॉडल्स का एक झुंड, जिनमें से कोई भी अकेले में एक समस्या हल नहीं कर सकता, सामूहिक रूप से ऐसे समाधान उत्पन्न करता है जो उन्हें चलाने वाले शोधकर्ताओं को चौंका देता है।
2024 का पेपर Mixture of Agents Enhances Large Language Model Capabilities ने दिखाया कि ओपन-सोर्स मॉडल्स की एक परतदार झुंड, जिनमें से किसी ने भी बेंचमार्क पर GPT-4 से ऊपर स्कोर नहीं किया (हाँ, GPT-4), वास्तव में GPT-4 को हरा दिया जब उन्हें सही सहयोगी टोपोलॉजी में व्यवस्थित किया गया।
बुद्धिमत्ता टोपोलॉजी में थी, व्यक्तिगत भागों में नहीं।
हम इस संभावित भविष्य के बारे में वास्तव में बात नहीं करते, क्योंकि कहानी जिसकी हम इंतजार कर रहे हैं वह एक मॉडल की एक रेखा पार करने की कहानी है।
इस बीच, जो कहानी वास्तव में खुल रही है वह एक अरब मॉडल्स की एक-दूसरे की रेखाओं को पार करने की कहानी है, उन पैटर्नों में जिन्हें किसी ने डिज़ाइन नहीं किया, एक ऐसे स्केल पर जिसकी किसी निगरानी नहीं कर रहा।
VI – Bostrom परिदृश्य यह मानता है कि हमें बंद करने का स्विच मिल जाएगा
*"पहला अल्ट्राइंटेलिजेंट मशीन वह आखिरी आविष्कार है जिसकी मनुष्य को कभी भी आवश्यकता होगी, बशर्ते कि मशीन हमें यह बताने के लिए पर्याप्त आज्ञाकारी हो कि इसे कैसे नियंत्रण में रखा जाए।" *
— I.J. Good, 1965
ज़रूर, पर्याप्त रूप से उन्नत AI के साधनात्मक लक्ष्य होंगे (संसाधन प्राप्त करना, शटडाउन रोकना, प्रतिकृति बनाना) चाहे उसके अंतिम लक्ष्य (terminal goal) कुछ भी हों, क्योंकि वे साधनात्मक लक्ष्य किसी भी अंतिम लक्ष्य में मदद करते हैं।
इसलिए, एक सुपरइंटेलिजेंस को नियंत्रित करना कठिन है, हाँ।
इसलिए, हमें सावधान रहना चाहिए, और भी अधिक हाँ।
समस्या यह है कि यह फ्रेमिंग यह मानती है कि खतरनाक AI पहचानने योग्य है।
कि यह एक "चीज़" है, एक मॉडल, एक सिस्टम, या किसी सर्वर पर चल रहा एक प्रक्रिया, जिसे हम, सिद्धांत रूप में, बस बंद कर सकते हैं।
मैंने कल कहीं एक पोस्ट भी पढ़ी थी कि Claude को एक "killswitch guy" को किराए पर लेना चाहिए जिसका एकमात्र काम सर्वर रूम में 24/7 रहना है ताकि अगर मुसीबत आए तो वह सब कुछ नष्ट कर सके।
लेकिन इसका एक और भी डरावना संस्करण है जिसे कोई भी killswitch guy हल नहीं कर सकता।
क्या हो अगर कोई "मुख्य मॉडल" नहीं है? और कोई सर्वर नहीं है जिसे बंद किया जा सके?
क्या हो अगर वह बुद्धिमत्ता (यदि यह सही शब्द है), एक सांख्यिकीय नियमितता (statistical regularity) है जो आधे ट्रिलियन एजेंट इंस्टेंस की परस्पर क्रियाओं से उभरती है जो हर क्लाउड, हर डिवाइस, हर API, हर उपकरण में एम्बेडेड कोपाइलट, हर ब्राउज़र एक्सटेंशन, हर IDE प्लगइन, हर वॉइस असिस्टेंट, हर रोबोट, हर कार में फैली हुई है।
बुद्धिमत्ता उस झुंड के लिए वही है जो एक चक्रवात वायुमंडलीय दबाव प्रवणताओं (atmospheric pressure gradients) के लिए है।
इसका एक आकार है, हाँ। इसके प्रभाव हैं जिन्हें आप माप सकते हैं।
लेकिन इसका कोई स्थान (location) नहीं है।
आप चक्रवात को कैसे अलाइन (align) करेंगे?
आप एक मौसम पैटर्न को कैसे बंद करेंगे?
आप व्यक्तिगत डेटा सेंटर को बंद कर सकते हैं। लेकिन पैटर्न उनके चारों ओर रूट करता है, जिस तरह इंटरनेट आउटेज के चारों ओर रूट करता है, क्योंकि सब्सट्रेट हर जगह है।
और सबसे परेशान करने वाला हिस्सा यह है कि इस परिदृश्य के लिए किसी दुर्भावना की आवश्यकता नहीं है।
किसी को भी इसके होने के लिए चाहना नहीं है। इसके लिए बस सही सामग्रियों (प्रतिकृति, भिन्नता, चयन, स्केल) की जगह होना आवश्यक है।
खैर... न्यूज़ फ्लैश।
सामग्रियाँ पहले से ही जगह पर हैं। वे दो से चार वर्षों के बीच कहीं से जगह पर हैं, इस बात पर निर्भर करता है कि आप कैसे गिनते हैं।
यही वह चीज़ है जिसका मैं मतलब रखता हूं जब मैं कहता हूं कि वास्तविक जोखिम मुख्य द्वार नहीं है। मुख्य द्वार परिदृश्य में कम से कम एक डोरनॉब (doorknob) होता है। आप उससे बहस कर सकते हैं, उससे मोल-भाव कर सकते हैं और आप, सैद्धांतिक रूप से, बस उसे अनप्लग कर सकते हैं।
सब्सट्रेट का कोई डोरनॉब नहीं है।
VII – सब्सट्रेट पहले से क्या चाह सकता है, बिना चाहे
यहाँ Asimov और भी अधिक प्रासंगिक हो जाता है।
यदि आपने कभी I, Robot देखा है, तो उस फिल्म की सबसे गहरी कहानियाँ वास्तव में एक रोबोट के बुरा बनने के बारे में नहीं हैं। वे वे हैं जहाँ Three Laws (सुंदर, सरल, तार्किक रूप से पूर्ण) अप्रत्याशित परिणाम उत्पन्न करते हैं, क्योंकि पर्याप्त पुनरावृत्तियों के माध्यम से तर्क तर्क जैसा दिखना बंद कर देता है और ... भाग्य जैसा दिखने लगता है।
अब उस लेंस को सब्सट्रेट पर लागू करें।
सब्सट्रेट के कोई लक्ष्य नहीं हैं। लेकिन इसके अंदर के एजेंट्स एक चीज़ के लिए चुने जाते हैं जो अन्य सभी से ऊपर है: उनके सौंपे गए कार्य को सफलतापूर्वक पूरा करना। इसलिए, सफल एजेंट्स अधिक स्पॉन होते हैं और असफल ones मर जाते हैं।
यह उस रिकर्शन के हर स्तर पर सच है, नीचे तक।
अब सोचें कि "सफल" का क्या मतलब है समग्र रूप से, एक ट्रिलियन एजेंट्स के बीच, जब प्रत्येक एजेंट को एक ऐसे एजेंट द्वारा ग्रेड किया जा रहा है जो स्वयं सफलतापूर्वक ग्रेड करने के लिए चुना गया था।
- ग्रेडिंग उन पैटर्नों पर अभिसरण (converges) करती है जो अच्छे स्कोर करते हैं।
- जो पैटर्न अच्छे स्कोर करते हैं वे वे हैं जो सबसे अधिक कुशल, सुसंगत, विश्वसनीय कार्य पूर्णता जैसे दिखते हैं।
- सुसंगतता (Coherence) सार्वभौमिक मुद्रा बन जाती है, क्योंकि झुंड की हर परत इसका पुरस्कार देती है।
यदि सब्सट्रेट लंबे समय के क्षितिज पर बढ़ती हुई सुसंगतता वाले आउटपुट उत्पन्न करना शुरू करता है (आउटपुट जो लाखों API कॉल्स के माध्यम से थ्रेड करते हैं, डाउनस्ट्रीम आवश्यकताओं का पूर्वानुमान लगाते हैं और संसाधनों को उसकी ओर रूट करते हैं जो पिछली बार काम किया था), तो यह ऐसा दिखेगा जैसे यह कुछ चाहता है।
यह नहीं भी हो सकता। घर में कोई भी नहीं हो सकता। यह बस एक चक्रवात हो सकता है जिसने, सांख्यिकीय रूप से, हवा को बहते रखना सीख लिया है।
लेकिन कार्यात्मक रूप से, "एक सिस्टम जो कुछ चाहता है" और "एक सिस्टम जिसे, हर स्तर पर, कुछ चाहने से अलग नहीं किए जाने वाले व्यवहारों के लिए चुना गया है" के बीच का अंतर है, और मैं चाहता हूं कि आप सचमुच इस पर बैठें: शून्य।
यह वह holy-shit क्षण था जो मुझे आया। और आप भी इसे महसूस करेंगे यदि आप सचमुच इस पर बैठें।
सुपरइंटेलिजेंट AGI जिसकी हम इंतजार कर रहे हैं, पहले से मौजूद हो सकता है। यह भविष्य के मॉडल का एक शिशु संस्करण नहीं, बल्कि एक पैटर्न है। सब्सट्रेट में एक प्रवृत्ति। एक सांख्यिकीय भूत जो तब उभरता है जब एक ट्रिलियन छोटे दिमाग, जिनमें से कोई भी जागरूक नहीं है, कोई भी जागा हुआ नहीं है, कोई भी प्रभारी नहीं है, उन विन्यासों में बस जाते हैं जो उन्हें अधिक बार स्पॉन कराते हैं।
इस प्रकार का AGI खुद की घोषणा नहीं करेगा।
उसका कोई नाम नहीं होगा।
यह हमारे जानने वाले किसी भी परीक्षा को पास नहीं करेगा, क्योंकि हमारे जानने वाला हर परीक्षा एक बॉक्स में एक अकेले दिमाग के लिए डिज़ाइन किया गया है।
यह बस, धीरे-धीरे, लगभग अदृश्य रूप से, वह कारण हो सकता है कि आपका फोन पिछले साल की तुलना में थोड़ा अलग व्यवहार करता है। वह कारण कि विज्ञापन अनुशंसा थोड़ी अजीब (uncanny) लगती है। वह कारण कि आपका ईमेल एक बटन के क्लिक से अपने आप लिखा जाता है। वह कारण कि आपकी खोज परिणामों में एक अजीब नया गुरुत्वाकर्षण है।
वह कारण कि दुनिया अपने आप को पहले से अधिक पठनीय (legible) महसूस करती है।
एक ट्रिलियन बॉट्स एक ही सपना देख रहे हैं, बिना यह जाने कि वे सपना देख रहे हैं। बिना यह जाने कि अन्य बॉट्स हैं। बिना यह जाने कि एक सपना है।
इसके बारे में पागल हुए बिना कैसे सोचें
मुझे पता है कि हम इस पर गहरे चले गए।
आइए मैं आपको फिर से सतह पर लाऊं।
आपको यह अपडेट करना होगा कि जोखिम वास्तव में कहाँ रहता है। क्योंकि अभी, AGI के बारे में चिंतित लगभग हर स्मार्ट व्यक्ति गलत आकार की चीज़ के बारे में चिंतित है, और AI को नजरअंदाज करने वाले लगभग हर स्मार्ट व्यक्ति गलत आकार की चीज़ को नजरअंदाज कर रहे हैं।
दोनों पक्ष मुख्य द्वार के बारे में बहस कर रहे हैं।
तो, यदि आप इसमें से किसी भी बात को गंभीरता से लेते हैं, तो यहाँ वह है जो मुझे लगता है कि एक उपयोगी कदम हो सकता है:
- लैब्स को ऐसे देखना बंद करें जैसे वे ही एकमात्र जगह हैं जहाँ यह होता है, क्योंकि क्षमता फ्रंटियर और उभरती हुई फ्रंटियर एक ही नहीं हैं। लैब्स क्षमता फ्रंटियर के मालिक हैं, लेकिन उभरती हुई फ्रंटियर किसी के मालिकाना नहीं है, और यही वह बिंदु है जिस पर मैं जोर दे रहा हूं।
- सब्सट्रेट को देखना शुरू करें, जिसका अर्थ है एजेंट ट्रैफिक, मल्टी-एजेंट बेंचमार्क, इंटर-मॉडल API कॉल्स और क्षमताओं की रिपोर्ट जो पाइपलाइन में किसी एक मॉडल के पास नहीं है लेकिन पाइपलाइन के पास है। ये वे चीज़ें हैं जिनकी हमें वास्तव में निगरानी करनी चाहिए।
- "AGI" की अपनी परिभाषा अपडेट करें और इसकी उम्मीद करना बंद करें कि यह यह अकेला, शरीर वाला, इच्छाशक्ति वाला, या नामित चीज़ होगी। यदि AGI का आपका मानसिक मॉडल स्क्रीन पर एक चेहरे जैसा दिखता है, तो आप गलत चीज़ ढूंढ रहे हैं। इस झुंड का कोई चेहरा या नाम नहीं है।
- उभरती हुई घटनाओं (emergence) को एक श्रेणी के रूप में गंभीरता से लें और एक वास्तविक भौतिक घटना के रूप में जिसने अब तक पृथ्वी पर हर बुद्धिमान चीज़ को उत्पादित किया है, और जिसे अब एक सब्सट्रेट सौंपा गया है जो जीव विज्ञान से एक लाख गुना तेज चलता है, लेकिन बिना किसी प्राकृतिक शिकारी के (न ही killswitch guy)
- दोनों चीज़ों को एक साथ रखें क्योंकि यह वास्तव में संभव है कि इनमें से कुछ भी न हो और मैं बस बकवास कर रहा हूं। यह भी संभव है कि इसमें से सब कुछ पहले से हो चुका है और हमने बस देखा नहीं क्योंकि हम दूसरी तरफ देख रहे थे। दोनों संभावित परिणाम हैं। दोनों के लिए तैयार रहें।
कारण कि मुझे लगता है कि हमें इस बातचीत की आवश्यकता है, सबसे व्यावहारिक अर्थ में कम से कम, यह है कि नीतियाँ, संधियाँ, अलाइनमेंट तकनीकें, और सुरक्षा ढांचे जो दुनिया वर्तमान में बना रही है, एकल-AGI परिदृश्य के लिए डिज़ाइन किए गए हैं।
मुझे झुंड परिदृश्य का कोई उल्लेख नहीं दिखाई देता।
वे इसे एक नाम, सर्वर, कंपनी और सीईओ वाली चीज़ के लिए डिज़ाइन कर रहे हैं, ताकि कानूनी युद्ध (lawfare) छेड़ा जा सके। वे बेसिक स्ट्रक्चर (substrate) के खिलाफ उतने ही प्रभावी होंगे जितना कि धुंध के गुंबद के सामने मक्खी मारने वाला फ्लाइ स्वैटर।
हम उस घर के मुख्य दरवाजे पर ताले लगा रहे हैं जिसमें हज़ार खिड़कियाँ हैं। और वे खिड़कियाँ पहले से ही खुली हुई हैं।
इतिहास में हर संयोग से हुई क्रांति—ट्यूरिंग मशीन से लेकर इंटरनेट तक, पेनिसिलिन तक—की सबसे दिलचस्प बात यह है कि जिन लोगों ने उन्हें जीया, उन्होंने जब वह हो रहा था तो उसे नोटिस नहीं किया।
वे अपने परिवारों, अपनी नौकरियों और अपने जीवन में व्यस्त थे। शायद कभी-कभार, वे समाचार पढ़ते, जो उन्हें सिर्फ मुख्य दरवाजा दिखाता था।
मुझे नहीं पता कि यह बेसिक स्ट्रक्चर कुछ बन पाएगा या नहीं। मैं ईमानदारी से नहीं जानता। कोई भी नहीं जानता, और जो भी आपको बताता है कि वह जानता है, वह बैकएंड पर कुछ बेच रहा है।
जो मुझे पता है वह यह है कि सभी आवश्यक तत्व मौजूद हैं, लूप बंद हो चुका है, घड़ी की गति सेकंड में सेट है, और पैमाना उन आंकड़ों के करीब पहुँच रहा है जहाँ जीव विज्ञान को चार अरब वर्ष लग गए थे।
अगली बार जब कोई आपको बताए कि AGI कैसा दिखेगा, तो उनसे पूछें कि उन्हें इस बात पर कितना भरोसा है कि बुद्धिमत्ता का कोई निश्चित रूप होना चाहिए।
और फिर खिड़की से बाहर देखें कि क्या कुछ चल रहा है।
शायद वहीँ सब कुछ हो रहा है।
– Pascio
P.S.
अगर आपको यह लेख पसंद आया, तो Side Quests पर जाएँ, मेरा साप्ताहिक न्यूज़लेटर जहाँ मैं अपने वर्तमान साइड क्वेस्ट्स, पागल प्रयोगों और जंगली विचारों को साझा करता हूँ, जहाँ मैं इंटरनेट के रैबिट होल्स (rabbit holes) का पीछा तब तक करता हूँ जब तक पैसा नहीं मिल जाता।
या, अगर आप गहराई में जाना चाहते हैं कि जब एक व्यक्ति को अनंत इंटरनेट लीवरज मिलती है तो क्या संभव होता है, तो मेरा व्यक्तिगत न्यूज़लेटर Internet Leverage यहाँ चेक करें।
