एजेंटिक रीजनिंग का बेंचमार्किंग: Pokémon Crystal में Gemini 3 Pro बनाम Gemini 2.5 Pro

Gemini 3 Pro दौड़ का विजेता रहा, उसने 16 बैज प्राप्त किए, Elite Four और Champion को हराया, और हिडन बॉस रेड को हराया लगभग आधे टोकन और मोड़ में जितने में Gemini 2.5 Pro ने केवल चार बैज प्राप्त किए थे। यह पूरी तरह से स्वायत्त आमने-सामने की दौड़ Pokémon Crystal में Joel Zhang (@TheCodeOfJoel) द्वारा आयोजित की गई थी, जो ARISE Foundation से हैं (और Twitch पर स्ट्रीम की गई)। उनके विस्तृत ब्लॉग पोस्ट में मॉडलों की तुलना करने पर उनके व्यवहार में कई आकर्षक अंतर सामने आए; कुल मिलाकर, Gemini 3 Pro, Gemini 2.5 Pro की तुलना में Crystal को पूरा करने में कम से कम 2x तेज़ है, और यदि हम एक्सट्रपलेट करें, तो एक अधिक सटीक अनुमान बताता है कि पुराना मॉडल लगभग 8x धीमा है।

Gemini 3 Pro की पूर्णता दर की तुलना Gemini 2.5 Pro से। श्रेय: Joel Zhang

इसका समापन Red के खिलाफ अंतिम लड़ाई में हुआ। स्तर में नुकसान का सामना करते हुए, 3.0 एजेंट ने एक जटिल, बहु-चरणीय रणनीति तैयार की जिसे उसने 'ऑपरेशन ज़ॉम्बी फ़ीनिक्स' नाम दिया, जिसमें निष्क्रिय पुनर्प्राप्ति, स्टेट कमी, संसाधन थकावट, और एक 'रीवाइव लूप' को मिलाकर एक मैराथन 7-घंटे की लड़ाई में जीत सुनिश्चित की।

0:52

Red पर विजय। श्रेय: Joel Zhang

एक AI वैज्ञानिक का प्रॉम्प्ट

इस दौड़ के लिए हार्नेस सेटअप दोनों एजेंटों के लिए समान था ताकि एक निष्पक्ष तुलना सुनिश्चित हो सके। विशेष रूप से, एजेंटों को 'गेम को जितनी जल्दी हो सके पूरा करने' का निर्देश नहीं दिया गया था, बल्कि वैज्ञानिक पद्धति का उपयोग करने और यह मानने से बचने के लिए कहा गया था कि गेम के बारे में उनका पूर्व ज्ञान सही है। असंरचित नोटपैड फ़ंक्शन ने एजेंटों को अपने गेमप्ले पर नज़र रखते हुए परिकल्पनाओं को रिकॉर्ड करने और विचारों का परीक्षण करने की अनुमति दी।

यह दर्शन हार्नेस की उस लचीलापन के अनुरूप है जिसने एजेंटों को हार्नेस के भीतर अपने स्वयं के कोड टूल और उप-एजेंट डिज़ाइन करने की अनुमति दी। कुछ अर्थों में, इस दौड़ ने यह भी परीक्षण किया कि एजेंट कितनी तेज़ी से अपने वातावरण के अनुकूल हो सकते हैं और Pokémon Crystal की दुनिया में सफल होने के लिए एक कार्यशील सेटअप बना सकते हैं।

"ट्रेनिंग व्हील्स" को त्यागना

Gemini 3 Pro अपने टूल्स पर भरोसा करने की अधिक संभावना दर्शाता है। जब कोई कार्य विफल होता है, तो यह कोडबेस के बजाय वातावरण का पुनर्मूल्यांकन करता है। इस जागरूकता ने हार्नेस प्रतिबंधों के संबंध में एक आकर्षक व्यवहार को जन्म दिया।

हार्नेस सख्त इनपुट हैंडलिंग लागू करता है, 'मिक्स्ड बटन इनपुट' (जैसे, A और Up को क्रम में दबाना) को प्रतिबंधित करता है ताकि 2.5 Pro को स्थिर रखा जा सके और एमुलेटर डिसिंक से बचा जा सके। जब Gemini 3 Pro को जटिल इनपुट अनुक्रमों की आवश्यकता वाली स्थिति का सामना करना पड़ा—विशेष रूप से एक Pokémon का उपनाम रखना—तो उसने सिंगल-प्रेस प्रतिबंध को अक्षम पाया।

बाधा को स्वीकार करने के बजाय, इसने define_tool क्षमता का उपयोग करके press_sequence नामक एक कस्टम टूल लिखा, क्योंकि कस्टम टूल्स में बटन प्रेस के लिए मिश्रित इनपुट प्रतिबंध नहीं है।

इस स्क्रिप्ट ने इसे स्थानीय रूप से इनपुट अनुक्रमों को बैच करने की अनुमति दी, प्रभावी रूप से अपना स्वयं का ड्राइवर लिखकर हार्नेस प्रतिबंधों को दरकिनार कर दिया, चतुर इच्छित लूपहोल के माध्यम से अपनी दक्षता में सुधार किया। 3.0 एजेंट ने हार्नेस की बाधाओं को अपरिवर्तनीय कानूनों के बजाय हल किए जाने वाले इंजीनियरिंग समस्याओं के रूप में माना।

मल्टी-मॉडल लाभ

8वें जिम में, समाधान के लिए ऊपर की मंजिल से बोल्डर गिराकर लावा से बनी मंजिल के पार एक मार्ग बनाना होता है। नीचे की मंजिल के लिए स्थिति परिवर्तन को केवल हार्नेस से RAM डेटा के आधार पर ट्रैक करना मुश्किल है क्योंकि डेटा में गिरे हुए बोल्डर का कोई उल्लेख नहीं है।

Gemini 3 Pro ने गिरे हुए बोल्डर की पहचान करने के लिए विज़ुअल फ़ीड का उपयोग किया ताकि वह उस लूप से बाहर निकल सके जिसमें वह फंस गया था, यह मानते हुए कि पहेली अभी तक हल नहीं हुई थी (एक तथ्य जो दूसरे स्तर पर बने रहने वाले डिकॉय बोल्डर द्वारा बढ़ा दिया गया था)। इसने संभावित रूप से भ्रमित करने वाले स्टेट डेटा को नजरअंदाज कर दिया और बोल्डर की स्थिति की पहचान करने के लिए स्क्रीनशॉट पर भरोसा किया, दृश्य साक्ष्य के आधार पर अपनी रणनीति को सही किया। डेटा मोडैलिटी को बदलने की यह क्षमता—RAM निरीक्षण से लेकर कच्ची दृष्टि तक—ने 3.0 एजेंट को एक 'फंसी' स्थिति से बाहर निकलने में मदद की जिसने इसे घंटों तक लूप में रखा था।

इसके अलावा उल्लेखनीय थी 3.0 एजेंट की विरोधियों के हेल्थ बार को 'पढ़ने' की क्षमता। यह जानकारी, जो युद्ध में इष्टतम चाल को समझने के लिए अत्यंत महत्वपूर्ण है, RAM स्टेट द्वारा प्रदान नहीं की जाती है, और एजेंट को इसे स्क्रीन से अनुमान लगाना होता है। 3.0 एजेंट Red के साथ लड़ाई के दौरान शेष स्वास्थ्य के अंश का काफी सटीक अनुमान लगाने में सक्षम था, एक तथ्य जिसने संभवतः इसकी सफलता में योगदान दिया।

युद्ध दक्षता और स्टेट प्रबंधन

Gemini 3 Pro की जीत में दक्षता का अंतर और बेहतर युद्ध तर्क प्रदर्शन अत्यंत महत्वपूर्ण था। Gemini 2.5 Pro तीसरे जिम लीडर (Whitney) से दो बार हार गया क्योंकि उसकी रणनीति क्षमता कमजोर थी और परिणामस्वरूप उसने तीसरा बैज प्राप्त करने के लिए आवश्यकता से कहीं अधिक स्तर ग्राइंड करने में अत्यधिक समय बिताया।

Gemini 3 Pro ने Red के साथ अंतिम हिडन बॉस लड़ाई सहित पूरा गेम बिना किसी हार के पूरा किया।

इसने बेहतर सामरिक तर्क का प्रदर्शन किया, चाल चयन को अनुकूलित करने के लिए लाइव डैमेज कैलकुलेशन किया। उदाहरण के लिए, इसने सही ढंग से Flamethrower के बजाय Swift को चुना जब उसने पहचाना कि प्रतिद्वंद्वी के Snorlax ने अपनी Special Defense बढ़ा ली थी, और मौसम के आधार पर गणनाओं को भी शामिल किया (बारिश से आग की क्षति कम होती है)। Elite Four की चुनौती के दौरान, इसने सक्रिय रूप से हिट पॉइंट संरक्षण का प्रबंधन किया, राउंड के बीच स्वास्थ्य को टॉप ऑफ करने के लिए आइटम का उपयोग किया—एक व्यवहार जिसे 2.5 Pro ऐतिहासिक रूप से तत्काल लड़ाई चालों पर प्राथमिकता देने में संघर्ष करता है।

वर्तमान सीमाएँ

प्रदर्शन में छलांग के बावजूद, Gemini 3 Pro खामियों से रहित नहीं है।

• बिना सत्यापन के धारणाएँ: सबसे बड़ा विफलता मोड जो देखा गया वह था एक परिकल्पना बनाना और उसका परीक्षण करने से इनकार करना। एक उदाहरण में, 3.0 एजेंट ने मान लिया कि रेडियो इंटरफ़ेस एक मानक मेनू (बाएँ/दाएँ) की तरह काम करता है, न कि एक विज़ुअल डायल (ऊपर/नीचे) की तरह, दृश्य संकेतों को अनदेखा करते हुए और घंटों एक लूप में बर्बाद करते हुए। दूसरे मामले में, 3.0 एजेंट ने एक बंद दरवाजे की पहेली के बारे में तेजी से जटिल सिद्धांतों का परीक्षण करने में बहुत समय बिताया, पास में संकेत देने वाले NPC से बात करने में विफल रहा।
• सक्रिय योजना: जबकि प्रतिक्रियात्मक रणनीति मजबूत है, सक्रिय लक्ष्य प्रबंधन असंगत बना हुआ है। 3.0 एजेंट अक्सर एक सामरिक आवश्यकता (जैसे, 'पोकेमॉन क्रम बदलें') की पहचान करता है लेकिन युद्ध शुरू होने तक इसे निष्पादित करने में विफल रहता है।
• ड्राई रन: ऐसे कई उदाहरण हैं जहाँ 3.0 एजेंट ने एक टूल को कॉल किया लेकिन टूल कॉल पैरामीटर में गलती की, जिसके परिणामस्वरूप ड्राई रन हुआ। हालाँकि, 2.5 एजेंट के विपरीत, यह आमतौर पर इस गलती को पहचानता है और अगले मोड़ में स्वयं सुधार करता है।
• समानांतर योजना: 3.0 एजेंट को दक्षता लाभ के लिए कई बड़े लक्ष्यों को समानांतर में निष्पादित करने की योजना बनाने में कठिनाई होती है, इसके बजाय वह एक बार में एक कार्य को हल करना पसंद करता है, भले ही एक साथ कई लक्ष्यों पर प्रगति करना संभव हो।

निष्कर्ष

इस दौड़ में, Gemini 3 Pro ने सरल निर्देशों का पालन करने से आगे बढ़कर वास्तविक स्थानिक तर्क, तात्कालिक टूल निर्माण, और परिकल्पना परीक्षण के लिए एक 'वैज्ञानिक' दृष्टिकोण का प्रदर्शन किया।

यह तर्क क्षमता सीधे दक्षता में तब्दील हुई। Gemini 3 Pro ने 1.88 बिलियन टोकन का उपयोग करके 17 दिनों में दौड़ पूरी की। मिनरल बैज माइलस्टोन के आधार पर, Gemini 2.5 Pro को समान परिणाम प्राप्त करने के लिए 69 दिन और 15 बिलियन से अधिक टोकन की आवश्यकता होने का अनुमान है।

अपने स्वयं के स्वायत्त एजेंट बनाना शुरू करने के लिए, तकनीकी कार्यान्वयन विवरण के लिए Gemini 3 दस्तावेज़ीकरण देखें।