o3 से लेकर GPT-5.6 और उससे आगे की प्रगति को ट्रैक करने के लिए एक एकल प्रश्न

एक उत्तल फलन पर प्रवणता प्रवाह (gradient flow) का पथ कितना लंबा हो सकता है, यदि यह n आयाम में इकाई यूक्लिडियन गेंद के भीतर रहने की बाधा के अधीन है?

^ यह वह प्रश्न है जिसका उपयोग मैं पिछले 2 वर्षों से AI की प्रगति का परीक्षण करने के लिए कर रहा हूँ। यह आश्चर्यजनक रूप से सरलता से कहा जा सकता है, फिर भी हल करना अत्यंत कठिन है। 168 मिनट की सोच में, GPT-5.6 इस प्रश्न पर प्रकाशित SOTA को बहुत महत्वपूर्ण रूप से पार करने में सक्षम रहा, ऐसे तरीके से जो अब तक कोई अन्य मॉडल नहीं कर पाया। लेकिन मैं खुद से आगे बढ़ रहा हूँ, पहले प्रश्न के बारे में थोड़ा सोचते हैं, साहित्य की समीक्षा करते हैं, और फिर चर्चा करते हैं कि o3 से gpt-5.6 तक की प्रगति कैसी रही है।

1. SOTA

स्वाभाविक रूप से कोई कह सकता है: "ग्रेडिएंट डिसेंट (gradient descent) का एक अभिसरण दर (convergence rate) है जो आयाम-मुक्त (dimension-free) है — यही कारण है कि कई-पैरामीटर समस्याओं के लिए इसका उपयोग रोमांचक है! — तो संभवतः ऐसे प्रवाह (flow) की लंबाई भी आयाम-मुक्त होनी चाहिए?" खैर, कभी-कभी भोले-भाले विचार बिल्कुल गलत हो सकते हैं। शुरू करने के लिए: क्या ऐसे वक्र (curves) आयतनीय (rectifiable) भी हैं (अर्थात, सीमित लंबाई के, आयाम निर्भरता की बात ही छोड़ दें)? यह साबित करना भी आसान नहीं है, और वास्तव में यह नेस्टरोव के त्वरित ग्रेडिएंट डिसेंट (Nesterov's accelerated gradient descent) के लिए गलत है (देखें यह पेपर @ErnestRyu द्वारा, सभी gpt-5.5 के साथ किया गया)।

ठीक है, तो इस प्रश्न के बारे में वास्तव में क्या ज्ञात है? खैर, 1991 में मैनसेली और पुक्की का एक सुंदर पेपर है जो दिखाता है कि ऐसे वक्र वास्तव में आयतनीय हैं, और इसके अलावा उनकी लंबाई अधिकतम n^O(n) है। हाँ, आपने सही पढ़ा, आयाम में घातांकीय (exponential) से भी बदतर, यह 35 साल पहले का सबसे अच्छा बाउंड (bound) है!! वैसे यह पेपर यह भी बताता है कि ऐसे वक्र "स्व-संकुचित" (self-contracted) कहलाते हैं, अर्थात वे हमेशा अपने भविष्य के करीब आते हैं (वक्र पर किसी भी बिंदु को समय t पर लें, तो dist(x(s), x(t)) s<t के लिए गैर-बढ़ता है; नीचे चित्र देखें)।

अब निचली सीमाओं (lower bounds) के बारे में क्या, अर्थात एक वास्तव में लंबा स्व-संकुचित वक्र बनाना? उत्तल अनुकूलन (convex optimization) साहित्य से देखने के लिए एक मानक चीज़ एक खराब-शर्तित द्विघात (ill-conditioned quadratic) होगी, जैसे x_1^2 + बड़ा_स्थिरांक\x_2^2 + और_बड़ा_स्थिरांक\x_3^2 + ... बात यह है कि ग्रेडिएंट डिसेंट पहले सबसे बड़े स्थिरांक वाली दिशा में लगभग सीधा जाएगा, फिर दूसरे सबसे बड़े स्थिरांक वाली दिशा में जाएगा, और इसी तरह (नीचे चित्र देखें)। इसलिए पथ की कुल लंबाई लगभग n होगी, और पथ हाइपरक्यूब (hypercube) में समाहित है जो त्रिज्या sqrt(n) के एक गेंद में समाहित है, इसलिए पुन: पैमाना (rescaling) करके हमें sqrt(n) लंबाई का एक स्व-संकुचित वक्र मिलता है।

बस इतना ही। यह प्रकाशित SOTA है: ऊपरी सीमा n^O(n) और निचली सीमा sqrt(n)। इतने सरल और प्राकृतिक प्रश्न के लिए कितना बड़ा अंतर है!!!

स्व-संकुचित वक्र की परिभाषा

एक sqrt(n) लंबाई का स्व-संकुचित वक्र

2. मनुष्यों द्वारा अप्रकाशित कार्य

मैंने इस प्रश्न के बारे में 8 साल पहले अद्भुत सहयोगियों Omer Angel, Tomas Merchan Rodriguez, और Fedja Nazarov के साथ सोचा था। हम काफी प्रगति करने में सक्षम थे और स्थापित किया कि उत्तर वास्तव में आयाम में घातांकीय है!! विशेष रूप से हमारे पास sqrt(2)^n की निचली सीमा और 4^n की ऊपरी सीमा थी। इन अनुमानों वाला पेपर साफ-सुथरा लिखा गया है और लगभग एक दशक से मेरे ड्रॉपबॉक्स फ़ोल्डर में पड़ा हुआ है, आंशिक रूप से क्योंकि हम जानते थे कि इन बाउंड्स को और बेहतर किया जा सकता है। और वास्तव में Tomas और Fedja ने और प्रगति की, पहले निचली सीमा को 2^n तक बढ़ाकर और ऊपरी सीमा को 2.29...^n तक सुधार कर। ध्यान दें कि समस्या के बारे में मेरी अपनी समझ sqrt(2)^n से थोड़ी बेहतर निचली सीमा और 4^n ऊपरी सीमा पर ही रुकी रही (वास्तव में, मैं 2^n और 2.29^n के बारे में भूल गया था जब तक AI ने इस पर प्रगति करना शुरू नहीं किया... नीचे और अधिक)।

3. AI प्रगति

o3 पहला AI मॉडल था जो इस प्रश्न को समझ भी सका। हाँ, आपने वह वाक्य सही पढ़ा। हो सकता है आप भूल गए हों, लेकिन दो साल पहले यह भी स्पष्ट नहीं था कि एक AI ऐसे धोखे से सरल प्रश्नों को समझ सकता है, हल करना तो दूर की बात है। विशेष रूप से o3 देख सकता था कि प्रश्न वास्तव में स्व-संकुचित वक्रों के बारे में था, और जानता था कि इस प्रश्न पर SOTA क्या था। मैं उस समय बहुत बहुत प्रभावित था।

लेकिन फिर चीजें मुश्किल हो गईं, और GPT-5 श्रृंखला के मॉडलों के आगमन के साथ मैंने इस प्रश्न का उपयोग एक चेतावनी कहानी के रूप में किया: इस साल फरवरी की शुरुआत में भी मैं LLMs की गणित में प्रगति पर बातचीत में इस प्रश्न को एक उदाहरण के रूप में देता था कि LLMs से कौन सा प्रश्न नहीं पूछना चाहिए। कारण यह है कि GPT-5 या GPT-5.2/5.4 जटिल उत्तर देने का प्रयास करते थे, लेकिन वे कहीं न कहीं हमेशा गलत होते थे, और उन्हें जांचने में बहुत समय बर्बाद होता था। तो यह एक अच्छा उदाहरण था कि गणित में LLMs के साथ समय बर्बाद न करने के लिए किसी को प्रश्न पूछने का सही स्तर पता होना चाहिए।

यह GPT-5.5 के साथ बदल गया, और अचानक बहुत आगे-पीछे और विशेषज्ञ प्रॉम्प्टिंग (expert prompting) के साथ, Mark Sellke 2^n निचली सीमा निर्माण को फिर से खोजने में सक्षम हुए (जिससे मैं चौंक गया था, आंशिक रूप से क्योंकि मैं भूल गया था कि Tomer और Fedja इसे पहले से जानते थे 😅)। दूसरी ओर ऊपरी सीमा पर कोई भाग्य नहीं।

और अब GPT-5.6 आता है, और AI की प्रगति पूरी तरह से दिखाई देती है:

• GPT-5.6-pro एक शॉट (one shot) में 2^n निचली सीमा प्राप्त करता है। आप यहाँ एक शॉट देख सकते हैं (80 मिनट की सोच): https://chatgpt.com/s/t_6a50cb2a29488191b643ecb2426df87d
• GPT-5.6-pro एक शॉट में 4^n ऊपरी सीमा प्राप्त करता है, और वास्तव में अपने CoT (Chain of Thought) में इसे बहुत जल्दी करता है, और अपनी सोच के अंत तक यह 2.31...^n ऊपरी सीमा उत्पन्न करता है। Fedja के 2.29...^n से बिल्कुल मेल नहीं खाता (और वास्तव में 2.31...^n रणनीति को नए विचारों के बिना और बेहतर नहीं किया जा सकता — वास्तव में Fedja ने स्वयं 2018 में एक MathOverflow पोस्ट में यह नोट किया था: "[2.31.. के लिए] तर्क कुछ गड़बड़ हो जाता है और यह स्पष्ट है कि यह तरीका इष्टतम अनुमान तक नहीं ले जाएगा")। फिर भी काफी प्रभावशाली और उससे परे जो मैंने व्यक्तिगत रूप से समस्या के बारे में तब समझा था जब मैंने इस पर गंभीरता से काम किया था। आप यहाँ एक शॉट देख सकते हैं, 88 मिनट की सोच में किया गया: https://chatgpt.com/share/6a50764e-3eec-83ea-97e6-3d1f30c07b64

3. भविष्य के लिए एक चुनौती

यह कहानी अभी भी मनुष्यों को विजेता के रूप में रखती है। मनुष्यों के लिए 2.29 बनाम मशीनों के लिए 2.31। स्वाभाविक रूप से, अनुमान यह है कि स्व-संकुचित वक्र 2^n से अधिक लंबे नहीं हो सकते (जो तब 2^n निचली सीमा को देखते हुए इष्टतम उत्तर होगा)। यह साबित करना बहुत कठिन लगता है और GPT-5.6 की क्षमताओं से परे है। मैं इस प्रश्न का उपयोग AI की प्रगति को ट्रैक करने के लिए कितने समय तक कर पाऊंगा? मुझे संदेह है कि यह 6 महीने से कम हो सकता है...

PS: मैंने उपरोक्त पोस्ट को ChatGPT वर्क में कॉपी-पेस्ट किया और इसे इसके लिए चित्रों के साथ वापस आने के लिए कहा। यहाँ चित्रों का संग्रह उस क्वेरी से एक शॉट में प्राप्त किया गया था।