बेंचमार्क अब पुराने हो चुके हैं

नमस्ते, AI उत्साही!

OpenAI ने इस सप्ताह इसे आधिकारिक बना दिया: AGI के युग में आपका स्वागत है।

GPT-6 Astra लॉन्च हो चुका है, और OpenAI इसे एक पीढ़ीगत छलांग के रूप में बेच रहा है — कंप्यूटर उपयोग, कोडिंग, शोध, और उस तरह के लंबे, गंदे काम में बड़ी छलांगें जिनके लिए पहले एक इंसान को पूरे रास्ते निगरानी रखनी पड़ती थी।

मैं एक पल के लिए मार्केटिंग को उसके अंकित मूल्य पर ले लूँगा, क्योंकि यह एक ऐसा सवाल उठाता है जिससे उद्योग चुपचाप बचता रहा है: हम वास्तव में इस चीज़ को कैसे मापें?

पिछले कुछ वर्षों से, AI बेंचमार्क पर चल रहा है। हर लॉन्च के साथ एक तालिका आती है जो साबित करती है कि नया मॉडल यहाँ 3% बेहतर है, वहाँ 7% बेहतर है, और रहस्यमय तरीके से एक बेंचमार्क के अनुसार 12% अधिक स्मार्ट है जो पिछले वसंत में अस्तित्व में नहीं था। हम उन्हें रैंक करते हैं, उन्हें रंग-कोड करते हैं, उन्हें लीडरबोर्ड में ढेर करते हैं, और एक विजेता ताज पहनाते हैं। यह तब काफी अच्छा काम करता था जब मॉडल मूल रूप से सवालों के जवाब दे रहे थे। यह उस पल काम करना बंद कर देता है जब मॉडल काम करना शुरू करते हैं।

यहाँ मुख्य मुद्दा है: एक बेंचमार्क सिर्फ एक प्रश्न बैंक है। आप मॉडल को एक समस्या देते हैं, वह एक उत्तर उत्पन्न करता है, आप उत्तर को एक कुंजी के विरुद्ध जाँचते हैं। यहाँ तक कि फैंसी कंप्यूटर-उपयोग बेंचमार्क भी, अंतर्निहित रूप से, पूर्व-निर्मित वातावरण में चलने वाले पूर्व-लिखित कार्यों का एक ढेर है। यह वास्तव में उपयोगी है। लेकिन यह उससे बिल्कुल अलग है जो तब होता है जब आप एक एजेंट को एक वास्तविक मशीन पर छोड़ देते हैं और उसे कुछ करने के लिए कहते हैं।

वास्तविक जीवन एक बेंचमार्क फ़ाइल के साथ नहीं आता है। आपके डेस्कटॉप पर कुछ भी आपको यह नहीं बताता कि "हो गया" वास्तव में कैसा दिखता है।

एक वास्तविक कंप्यूटर एक ब्राउज़र है जो काम के बीच में क्रैश हो जाता है, एक साइट जिसने कल चुपचाप अपने UI को फिर से डिज़ाइन कर लिया, एक स्प्रेडशीट जिसके तीन विरोधाभासी संस्करण हैं, एक अनुमति जिसका किसी ने उल्लेख नहीं किया, एक PDF जो छह फ़ोल्डर गहरी दबी हुई है, एक API जो सबसे खराब संभव अनुरोध पर टाइम आउट हो जाता है, और एक इंसान जो कहता है "क्या तुम बस इसका ध्यान रख सकते हो?" और फिर "इस" को परिभाषित किए बिना चला जाता है।

एजेंट को इसे स्वयं समझना होता है। और वह हिस्सा जिसे कोई भी अच्छी तरह से बेंचमार्क नहीं करता: उसे पहले प्रयास के विफल होने पर उबरना होता है। यह सही उत्तर पाने से पूरी तरह से अलग कौशल है।

यही कारण है कि रिपोर्टें कि OpenAI ने सुदृढीकरण सीखने और कंप्यूटर-उपयोग प्रशिक्षण के लिए हजारों उपभोक्ता Mac खरीदे, जितनी दिखती हैं उससे कहीं अधिक महत्वपूर्ण हैं। सटीक संख्याओं की रिपोर्ट की गई है, ऑडिट नहीं की गई — लेकिन दिशा निर्विवाद है। सीमांत प्रयोगशालाएँ अपने मॉडलों को वास्तविक मशीनों पर चाहती हैं, चैट बॉक्स में फंसा हुआ नहीं। और यह चुपचाप पूरे बेंचमार्क खेल को तोड़ देता है।

दो एजेंटों की कल्पना करें, एक ही कंप्यूटर, एक ही अस्पष्ट संक्षिप्त निर्देश:

इस बाजार पर शोध करें, तीन आशाजनक कंपनियाँ चुनें, एक वित्तीय तुलना बनाएँ, और निवेश समिति के लिए एक प्रेजेंटेशन तैयार करें।

ऐसा करने का एक ही सही तरीका नहीं है। सैकड़ों हैं। एक एजेंट दो घंटे तक ब्राउज़ करता है। दूसरा एक स्क्रिप्ट लिखता है। तीसरा बीच में एक बेहतर डेटा स्रोत पर ठोकर खाता है और अपनी मूल योजना को त्याग देता है। चौथा एक गलती करता है, उसे पकड़ता है, और उसे ठीक करता है। पाँचवाँ आपको पूरी तरह से गलत संख्याओं पर बना एक शानदार प्रेजेंटेशन देता है।

तो कौन सा जीता? बेंचमार्क लेखक उत्तर पूर्व-लिखित नहीं कर सकता, क्योंकि कोई एक उत्तर है ही नहीं।

और यहीं पर यह वास्तव में असहज हो जाता है। एक एजेंट को ग्रेड करने का सबसे कठिन हिस्सा अब यह नहीं हो सकता है कि क्या उत्तर सही था। यह है कि क्या यह वास्तव में उपयोगी था। यह बाल-विभाजन जैसा लगता है। ऐसा नहीं है।

एक एजेंट को लें जो कंप्यूटर-उपयोग बेंचमार्क में 95% स्कोर करता है, फिर उसे एक सप्ताह के लिए एक वास्तविक कंपनी में छोड़ दें। वह गलत फ़ोल्डर संरचना बनाता है, एक लाइव स्प्रेडशीट को ओवरराइट करता है, एक मृत सुराग का पीछा करते हुए छह घंटे बर्बाद करता है, आत्मविश्वास से 2023 के एक आँकड़े का हवाला देता है, और एक अनुमति की दीवार पर अटक जाता है जिसके बारे में वह कभी पूछने के बारे में नहीं सोचता। हर बेंचमार्क कार्य: एकदम सही। कोई भी उसे दूसरे सप्ताह के लिए नौकरी पर नहीं रखेगा।

अब एक एजेंट लें जो केवल 85% स्कोर करता है — लेकिन जानता है कि वह कब भ्रमित है, वह एक सवाल पूछता है जो उसे अनब्लॉक करता है, जब कुछ टूटता है तो रणनीति बदलता है, और चुपचाप ऐसा काम देता है जिसका आप वास्तव में उपयोग कर सकते हैं। कौन सा अधिक स्मार्ट है? लीडरबोर्ड को कोई पता नहीं है। ईमानदारी से, हमें भी नहीं पता।

यही कारण है कि मुझे लगता है कि स्वतंत्र बेंचमार्क एक दीवार से टकरा रहे हैं। ऐसा नहीं है कि शोधकर्ता ढिलाई कर रहे हैं — वे पहले से कहीं अधिक कठिन, अधिक यथार्थवादी परीक्षण बना रहे हैं। समस्या यह है कि वास्तविकता परीक्षण से बड़ी होती जा रही है। आप बेंचमार्क को लंबा कर सकते हैं, अधिक उपकरण, अधिक साइटें, अधिक ऐप्स, अधिक कदम, अधिक यादृच्छिकता जोड़ सकते हैं। इससे कोई फर्क नहीं पड़ता। आप अभी भी नियमों वाला एक खेल बना रहे हैं, और जैसे ही कोई मॉडल खेल खेलना सीखता है, आप वापस वर्ग एक पर आ जाते हैं।

तो हमें स्कोर मिलेंगे। 91.4%। 94.7%। 97.2%। 98.1%। लोग बहस करेंगे कि क्या मॉडल A, मॉडल B को हराता है। कोई और लीडरबोर्ड लॉन्च करेगा। कोई और लीडरबोर्ड का लीडरबोर्ड लॉन्च करेगा। और पूरे समय, मॉडल एक वास्तविक कंप्यूटर पर बैठा होगा और ऐसे काम कर रहा होगा जिनका वर्णन उनमें से कोई भी संख्या नहीं कर सकती।

यही बेंचमार्क विरोधाभास है: AI जितना अधिक सामान्य-उद्देश्यीय बुद्धिमत्ता के करीब पहुँचता है, पूर्व-लिखित प्रश्नों का एक बैंक उसके बारे में उतना ही कम बताता है।

तो इसकी जगह क्या लेता है? मुझे नहीं लगता कि इसका उत्तर "एक बेहतर बेंचमार्क" है। मुझे लगता है कि यह प्रकार में कुछ अलग है। एजेंट को एक प्रश्न देना बंद करें और उसे एक उद्देश्य दें। उसे एक साफ-सुथरा सैंडबॉक्स देना बंद करें और उसे एक गंदा सैंडबॉक्स दें। यह स्कोर करना बंद करें कि क्या उसने अपेक्षित कदमों का पालन किया और स्कोर करें कि क्या उसे परिणाम मिला। उसी सार्वजनिक परीक्षण को बार-बार चलाना बंद करें और उसे ऐसे वातावरण में फेंक दें जो बदलते रहते हैं, निजी कार्यों पर जो उसने कभी नहीं देखे हैं।

और केवल यह पूछना बंद करें कि क्या वह सफल हुआ। पूछें कि वह कितनी विश्वसनीय रूप से सफल होता है, इसकी लागत क्या थी, इसमें कितना समय लगा, कितनी बार उसे एक इंसान की आवश्यकता पड़ी, उसने कितनी सुरक्षित रूप से व्यवहार किया, और क्या काम वास्तविकता के संपर्क में बच गया।

सीधे शब्दों में कहें: AI मूल्यांकन की अगली पीढ़ी को एक परीक्षा से कम और एक इंटर्नशिप से अधिक दिखना चाहिए।

मॉडल से यह न पूछें:

क्या इसने परीक्षा पास की?

इसे एक लैपटॉप, एक खाता, एक बजट, एक लक्ष्य और एक सप्ताह दें। फिर देखें कि यह क्या करता है। यह आपको इसकी बुद्धिमत्ता के बारे में कहीं अधिक बताएगा — और इसे मानकीकृत करना एक दुःस्वप्न होगा। जो कि बिल्कुल मुद्दा है।

वास्तविक दुनिया की बुद्धिमत्ता गंदी, प्रासंगिक, अनुकूली और खुली होती है। जैसे ही आप इसे निश्चित उत्तरों वाले प्रश्नों की एक साफ सूची में समतल करते हैं, आपने बुद्धिमत्ता को मापना बंद कर दिया है। आप परीक्षा देने को माप रहे हैं।

और यही कारण है कि Astra मेरे लिए अलग तरह से उतरता है। OpenAI हमें जोर से बता रहा है कि हम AGI के युग में प्रवेश कर चुके हैं। ठीक है। लेकिन अगर यह सच है, तो हमें शायद AGI को वह मानकीकृत परीक्षा देना बंद कर देना चाहिए जो हमने चैटबॉट के लिए डिज़ाइन की थी।

दिलचस्प सवाल अब यह नहीं है कि "इसने क्या स्कोर किया?" यह है कि "क्या होता है जब आप इसे एक कंप्यूटर देते हैं और इसे कुछ करने के लिए कहते हैं?" और मुझे संदेह है कि हम यह पता लगाने वाले हैं कि हमारे पास अभी तक कोई अच्छा जवाब नहीं है।

तो — AGI के युग में आपका स्वागत है। और, चुपचाप, उसी समय: अंक रहित AI के युग में आपका स्वागत है। बेंचमार्क खराब नहीं हुआ। जिस चीज़ को हम मापने की कोशिश कर रहे थे, वह बस उससे बाहर निकल गई।

लेख पढ़ें