कार्डाशेव समस्या: सुपरइंटेलिजेंस की बेंचमार्किंग

अप्रैल 1965 में, सोवियत समाचार एजेंसियों ने एक सुपरसिविलाइज़ेशन (महासभ्यता) की खोज की घोषणा की। यह सारी हड़कंप सिर्फ एक इंसान के काम की वजह से मची थी: निकोलाई कार्दाशेव, एक सोवियत खगोलशास्त्री जो इस सवाल को लेकर जुनूनी हो गए थे: अगर तुम अपनी सभ्यता से कहीं ज़्यादा उन्नत किसी सभ्यता का पता लगा भी लो, तो क्या तुम उसके बारे में कोई ठोस और सटीक बात कह पाओगे?

वे अपने समाधान के लिए मशहूर हुए। बुद्धिमत्ता, इरादे या व्यवहार पर ध्यान केंद्रित करने के बजाय — जिन्हें आंकना बेहद जटिल और मुश्किल है — उन्होंने इस बात पर एक थ्योरी बनाई कि सभ्यताएं ऊर्जा का इस्तेमाल कैसे करती हैं। उनका तर्क था - थर्मोडायनामिक्स को बुद्धिमत्ता से कोई मतलब नहीं होता।

बाद में पता चला कि वह सब एक क्वासर (quasar) निकला। माप बिल्कुल सही था; बस उस माप के पीछे कोई एलियन नहीं था।

सुपरइंटेलिजेंस के दौर में बेंचमार्किंग

61 साल बाद, आज हमारे पास अजीबोगरीब तरीके से वैसी ही हड़कंप है: ऐसा लगता है कि हम ऐसी बुद्धिमत्ता बनाने की कगार पर हैं जो अब तक पैदा हुए सबसे होशियार इंसान को भी पीछे छोड़ देगी। और फिर भी, यह बहुत ज़रूरी है कि हम उनके बारे में कुछ सार्थक कह सकें, यानी हमें उन्हें बेंचमार्क करना होगा।

कारण सीधा है: संसाधनों का आवंटन। उनकी कहीं बेहतर बुद्धिमत्ता के बावजूद, हम अपने समय और पैसे का सबसे अच्छा रिटर्न ही चाहेंगे। शतरंज में गहन विश्लेषण के लिए कोई Stockfish 13 का इस्तेमाल नहीं करता, जब 2026 का मॉडल उससे कहीं बेहतर हो।

तो हम अपने मौजूदा बेंचमार्क का इस्तेमाल क्यों नहीं कर सकते?

सबसे पहली समस्या है संतृप्ति (saturation)। एक फिक्स्ड टेस्ट उसी पल बेकार हो जाता है जब हर मॉडल उसमें 100% स्कोर करने लगे, और यह पहले से ही हो रहा है: तीन साल पहले जिन्हें कठिन माना जाता था, वे बेंचमार्क अब सस्ते मॉडल आसानी से पार कर रहे हैं। तुम और कठिन टेस्ट बनाते रह सकते हो, लेकिन सिर्फ उस हद तक जितना कठिन टेस्ट कोई इंसान बना सकता है। और यहीं से असली समस्या शुरू होती है।

अब तक हमने ज़्यादातर बंद परीक्षणों (closed tests) के ज़रिए बुद्धिमत्ता को मापा है। जब मैं "बंद" कहता हूं, तो मेरा मतलब उन टेस्ट से है जिनका स्कोर टेस्ट शुरू होने से पहले ही हमें पता होता है (IQ टेस्ट, गणितीय टेस्ट, प्रोग्रामिंग...)। हम इस तरह के टेस्ट का इस्तेमाल जाहिर कारणों से करते हैं: 1. यह निष्पक्ष (objective) होता है। 2. इसे आंकना अपेक्षाकृत तेज़ होता है। 3. आदत: इंसानों को हम आमतौर पर ऐसे ही टेस्ट करते आए हैं।

लेकिन जैसे ही तुम इन टेस्ट को ज़्यादा स्मार्ट AI पर लागू करने के बारे में सोचते हो, समस्या साफ दिखने लगती है - ये परीक्षाएं एक बेहतर बुद्धिमत्ता द्वारा एक कमतर बुद्धिमत्ता को रैंक करने के लिए बनाई गई हैं: एक शिक्षक और एक छात्र। यही वजह है कि हमें एक नए तरह के मूल्यांकन के बारे में सोचना और उसे डिज़ाइन करना शुरू करना होगा। हम, यानी कमतर बुद्धिमत्ता - छात्र -, को एक SI (सुपरइंटेलिजेंस) - शिक्षक - का मूल्यांकन करना होगा, और वह भी निष्पक्षता बनाए रखते हुए।

इस समस्या को, कि एक कमतर बुद्धिमत्ता किसी बेहतर बुद्धिमत्ता का ठोस मूल्यांकन कैसे कर सकती है, मैं कार्दाशेव समस्या (Kardashev problem) कहता हूं, और यही वह चीज़ है जिसके बारे में मैं व्यक्तिगत रूप से सबसे ज़्यादा उत्साहित हूं (और यही कारण है कि मैंने Kardashevian.com बनाने का फैसला किया)।

भविष्य के सुपर-इंटेलिजेंस बेंचमार्क

हमारी मदद एक राहत देने वाले सिद्धांत से होती है: किसी दिए गए जवाब की जांच करना, उसे ढूंढने से कहीं ज़्यादा आसान होता है। सुडोकू हल करने में मेहनत लगती है; भरे हुए ग्रिड की जांच करने में तीस सेकंड लगते हैं। और ज़्यादातर मामलों में, एक बाहरी वेरिफायर (verifier) हमें इन अत्यधिक उन्नत सिस्टम की गुणवत्ता और बुद्धिमत्ता के बारे में जितना हो सके उतना निष्पक्ष रहने में मदद करेगा।

बेंचमार्किंग के भविष्य के लिए मुझे 4 अलग-अलग बाहरी वेरिफिकेशन सिस्टम दिखाई देते हैं:

दुनिया ही वेरिफायर है। ओपन-एंडेड क्वेस्ट: उद्देश्य; सवाल और जवाब नहीं। दुनिया उस उद्देश्य को ग्रेड करती है। जितना ऊंचा या जितना ज़्यादा ऑप्टिमाइज़्ड, उतना बेहतर।

**-उदाहरण: शेयर बाज़ार में वैल्यू इन्वेस्टिंग की पेपर ट्रेडिंग।

इस परिदृश्य में असली दुनिया की जटिलता इतनी विशाल और गतिशील (लगातार बदलती और प्रतिक्रिया करती) है कि इस चुनौती का संतृप्त (saturate) होना व्यावहारिक रूप से नामुमकिन है। मैं आगे चलकर एक और लेख लिखने की योजना बना रहा हूं कि मुझे क्यों लगता है कि वैल्यू इन्वेस्टिंग बुद्धिमत्ता के लिए एक बेहतरीन टेस्ट है; इसका मुख्य सार इस धारणा में है कि कोई ऐसा सिस्टम जो भरोसेमंद तरीके से यह अनुमान लगा सके कि दुनिया, इंसानों और बाज़ारों सहित, कैसा व्यवहार करेगी, वह बुद्धिमत्ता के सबसे स्पष्ट संकेतों में से एक है**।

2. नियम और खेल ही वेरिफायर हैं। प्रतिस्पर्धा। शतरंज, एक बार फिर, यह दिखाता है कि इंसानों से बेहतर खिलाड़ी होने के बावजूद, हम यह जानने में सक्षम हैं कि मॉडल X, मॉडल Z से बेहतर है। ELO सिस्टम, जिसका इस्तेमाल हम Kardashevian.com में करते हैं, हमें सिर्फ विजेता देखने की ही नहीं, बल्कि सांख्यिकीय रूप से महत्वपूर्ण स्कोरबोर्ड बनाए रखने की भी सुविधा देता है।

-उदाहरण: शतरंज, गो (Go), या कोई भी अनंत रूप से ज़्यादा जटिल खेल जो सिर्फ इसी उद्देश्य के लिए बनाया जा सकता है।

भौतिकी और रसायन विज्ञान वेरिफायर हैं। जटिल इंजीनियरिंग। हम टेस्ट को भौतिकी और रसायन विज्ञान तक सीमित रखते हैं और ग्रेडिंग का काम प्रकृति पर छोड़ देते हैं। **

-उदाहरण: किसी खास गुण वाला एक मटेरियल डिज़ाइन करो, फिर उसे एक ऑटोमेटेड लैब में सिंथेसाइज़ करो और उसका टेस्ट करो।

4. तर्क (Logic) वेरिफायर है। औपचारिक प्रमाण (Formal Proof)। गणित को ऐसी भाषा में लिखा गया जिसे कंप्यूटर चेक कर सके।

-उदाहरण: किसी ज्ञात बाउंड (bound) को बेहतर करना या Lean में किसी खुली परिकल्पना (open conjecture) को हल करना।

जोखिम ये हैं: ज्ञात बाउंड की सीमाएं इंसानी हैं, और प्रस्तावित परिकल्पनाएं भी। फिर भी इसे संतृप्त करना बहुत मुश्किल है।

KARDASHEVIAN.COM

**हम क्या कर रहे हैं:

**Kardashevian उन चारों विचारों का पहला प्रयास है, जिसे मैंने अपने खाली समय में और एक छोटे बजट पर बनाया है :)

हर एरिना एक ही तरीके से काम करता है: इनपुट फ्रीज़ कर दिए जाते हैं, मॉडल अपना दांव लगाते हैं, और फिर कोई ऐसी चीज़ ग्रेडिंग करती है जिसे वे न देख सकते हैं और न ही प्रभावित कर सकते हैं। किसी भी टेस्ट का कोई खास "जवाब" नहीं होता।

जैसी उम्मीद थी, मार्केट्स वैल्यू इन्वेस्टिंग ही ओपन-एंडेड क्वेस्ट है। यह लेख में बताए गए क्वेस्ट का एक छोटा वर्ज़न है: उन्हें 300 US स्टॉक्स, ETF और क्रिप्टो पेयर्स के एक पैकेट से ट्रेडिंग डेटा मिलता है। उनका उद्देश्य 15 लॉन्ग-ओनली पोर्टफोलियो बनाना है: 1 महीने से 2 साल तक के पांच समय-क्षेत्र (horizons), तीन रिस्क लेवल पर, और हर एक में रिटर्न का पूर्वानुमान। फिर हम हर पोर्टफोलियो को रोज़ाना S&P 500 के मुकाबले ट्रैक करते हैं। दोबारा, ग्रेडिंग बाज़ार करता है। अब तक किसी मॉडल ने (औसतन) कोई पैसा नहीं गंवाया है और लगभग 1 महीने में 3/5 मॉडल S&P500 को मात दे रहे हैं - हालांकि इसकी सांख्यिकीय सार्थकता अभी भी सीमित है।

सैंडबॉक्स वह प्रतिस्पर्धा है जिसे हमने बनाया है। हर मॉडल छिपी हुई भौतिकी (मोटर असंतुलन, कमांड लैग, सेंसर नॉइज़, हवा, बर्फ) वाली एक सिमुलेटेड दुनिया में रोवर के लिए कंट्रोलर लिखता है, उसका रन देखता है, और आठ बार फिर से कोशिश करता है। फिर उसके सबसे अच्छे कंट्रोलर को दस ऐसे कोर्सेस पर स्कोर किया जाता है जो उसने पहले कभी नहीं देखे होते। उस दुनिया के लिए परफेक्ट कंट्रोलर क्या है यह किसी को नहीं पता, लेकिन हम बिल्कुल सटीक बता सकते हैं कि किस मॉडल का कंट्रोलर बेहतर है, और हर एक ने कितनी तेज़ी से सीखा।

दोनों एरिना में मॉडल को एक-दूसरे के मुकाबले उसी सांख्यिकी से रेट किया जाता है जिसका इस्तेमाल शतरंज में होता है: हर जोड़ी हर सेल में एक मैच खेलती है, और Elo स्केल पर Bradley–Terry फिट नतीजों को 95% अंतराल (interval) वाली रेटिंग में बदल देता है। S&P 500 एक ऐसा खिलाड़ी है जिसे 1,500 पर फिक्स किया गया है। जो मॉडल किसी इंडेक्स फंड को नहीं हरा सकता, उसकी रेटिंग यही दिखाती है।

दो बहुत स्पष्ट सीमाएं जिनका हम अभी सामना कर रहे हैं:

पहली बात, हम सेल्फ-फंडेड हैं, इसलिए हम हर फ्रंटियर लैब के कम लागत वाले मॉडल चलाते हैं (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), उनके फ्लैगशिप नहीं। तरीका ही असली बात है; फ्लैगशिप तब आएंगे जब बजट आएगा।

हमें समय चाहिए। तो 358 पोर्टफोलियो और 6 दुनिया, हर सोमवार को नई किताबें और 25 अक्टूबर को पहले पोर्टफोलियो मैच्योर हो रहे हैं। अंतराल अभी भी लगभग ±100 पॉइंट चौड़े हैं।

सब कुछ सार्वजनिक है। हर नंबर एक नंबर वाली रिलीज़ से आता है जिसे तुम डाउनलोड कर सकते हो, और मेथड पेज पर बिल्कुल बताया गया है कि इसकी गणना कैसे की गई।

हम इन टास्क की संख्या और कठिनाई बढ़ाने पर कड़ी मेहनत कर रहे हैं।

अगर कोई इस प्रोजेक्ट पर साथ मिलकर काम करने में रुचि रखता है, तो बेझिझक मुझे DM भेजें या john@on3works.com पर ईमेल करें