पहला परीक्षण में कोई विजेता नहीं निकला। दूसरे में पता चला कि जो मॉडल अपने काम की जाँच स्वयं करते हैं, वे ही सफलतापूर्वक लैंड करते हैं। तीसरे के लिए मैंने एक ऐसी समस्या चुनी जहाँ गलत उत्तर छिपाना असंभव है — नियतात्मक अराजकता (deterministic chaos), जिसमें रेफरी फ़ाइल में ही बनाया गया है — और देखा कि जब सही होना अब उन्हें अलग नहीं करता, तो मॉडल क्या करते हैं।
अब तक की कहानी
परीक्षण 01 एक Fourier विज़ुअलाइज़र था, जो एक HTML फ़ाइल में था, जिसमें एक अंतर्निहित रेफरी के रूप में लाइव त्रुटि रीडआउट था। चार मॉडल, समान प्रॉम्प्ट, केवल पहला पास। सभी ने एक-दूसरे के राउंडिंग एरर के भीतर सही गणित दिया। केवल बिल में अंतर था, लगभग 200×। संकीर्ण, ईमानदार निष्कर्ष: एक अच्छी तरह से निर्दिष्ट कार्य के लिए जिसका उत्तर जाँचा जा सकता है, मॉडल का चुनाव वह चर नहीं रह जाता जो मायने रखता है।
परीक्षण 02 एक खेलने योग्य Lunar Lander था जिसमें दो रेफरी थे — सटीक मुक्त-पतन भौतिकी, और एक ओपन-एंडेड ऑटोपायलट जिसे मॉडल के अपने गेम को उड़ाना था। भौतिकी फिर से बराबर रही। ऑटोपायलट नहीं: 20/20, 18/20, 5/20, 0/20। और जिस चीज़ ने इस विभाजन का पूर्वानुमान लगाया, वह मॉडल का नाम या कीमत नहीं थी — बल्कि यह था कि क्या मॉडल ने काम पूरा कहने से पहले अपने काम का परीक्षण किया।
इसलिए परीक्षण 03 के लिए मैं एक ऐसा कार्य चाहता था जो पूरी तरह से जाँचा जा सके — इस बार कोई ओपन-एंडेड हिस्सा नहीं — लेकिन जहाँ जाँचा जा सकने वाला उत्तर वास्तव में नकली बनाना कठिन हो। यदि "मॉडल मायने नहीं रखता" का सिद्धांत सही है, तो यहीं वह अपने सबसे मजबूत रूप में होना चाहिए। और मैं यह देखना चाहता था कि जब सही होना भी एक समान हो जाता है, तो चार मॉडलों को अलग करने के लिए क्या बचता है।
उत्तर निकला: अराजकता (chaos)।
डबल-पेंडुलम लॉन्ग-एक्सपोज़र ट्रेस
परीक्षण: एक ऐसा रेफ़री जिससे आप बहस नहीं कर सकते
हमेशा की तरह वही नियम। एक प्रॉम्प्ट, एक साथ चार CLI में पेस्ट किया गया, चार फ़ोल्डर, केवल पहला पास, टर्मिनल रिकॉर्ड किए गए।
प्रॉम्प्ट: एक डबल पेंडुलम एक स्व-निहित HTML फ़ाइल में। निश्चित स्थिरांक (दो 1 kg बॉब, दो 1 m रॉड, g = 9.81), एक निश्चित प्रारंभिक स्थिति (दोनों भुजाएँ 120° पर, विश्राम से छोड़ी गईं), गति के पूर्ण अरैखिक समीकरण, 1/2000 s के टाइमस्टेप पर RK4। इसे ड्रा करें, निचले बॉब का ट्रेस बनाएं, और — पूरी चीज़ का मुख्य बिंदु — अपनी स्वयं की भौतिकी को लाइव, स्क्रीन पर, दो तरीकों से ग्रेड करें:
- ऊर्जा अपवाह (Energy drift). एक घर्षण रहित डबल पेंडुलम कुल यांत्रिक ऊर्जा को बिल्कुल संरक्षित करता है। इसलिए ऐप हर फ्रेम पर अपनी स्वयं की ऊर्जा की गणना करता है और रिपोर्ट करता है कि यह प्रारंभिक मान से कितनी दूर बह गया है। कोई भी अपवाह शुद्ध इंटीग्रेटर त्रुटि है। एक विश्लेषणात्मक सही उत्तर है, और वह शून्य है। यह वह रेफ़री है जिससे बहस नहीं की जा सकती।
- ल्यापुनोव घातांक (Lyapunov exponent). ऐप एक छिपा हुआ जुड़वां पेंडुलम चलाता है, जो समान है, सिवाय इसके कि इसका पहला कोण एक अरबवें हिस्से (10⁻⁹) से विचलित किया गया है। यह मापता है कि दोनों कितनी तेज़ी से अलग होते हैं, एक्सपोनेंशियल फिट करता है, और वृद्धि दर λ रिपोर्ट करता है। एक धनात्मक λ नियतात्मक अराजकता का गणितीय हस्ताक्षर है — यह प्रमाण कि स्क्रीन पर जंगली गति प्रारंभिक स्थितियों के प्रति वास्तविक संवेदनशीलता है, न कि कोई संख्यात्मक गड़बड़ी।
एक बटन दोनों जाँचों को 60 सिम्युलेटेड सेकंड तक हेडलेस चलाता है और फैसला प्रिंट करता है।
डबल पेंडुलम क्यों? क्योंकि यह एक ऐसी प्रणाली का सबसे साफ उदाहरण है जो
पूरी तरह से नियतात्मक और पूरी तरह से अप्रत्याशित एक ही समय में
है। समीकरणों में कोई यादृच्छिकता नहीं है। उन्हें एक ही शुरुआत से दो बार चलाएं और आपको हर बार एक ही गति मिलेगी। शुरुआत को एक अरबवें रेडियन से विचलित करें और पंद्रह सेकंड के भीतर दोनों पूरी तरह से अलग चीजें कर रहे होंगे। यह सिद्धांत के लिए एकदम सही तनाव परीक्षण है: भौतिकी बिल्कुल जाँची जा सकती है, लेकिन व्यवहार को आँख से देखना असंभव है।
डबल पेंडुलम
ग्रेडर को ग्रेड करने के लिए, मैंने अपना खुद का बनाया
स्व-ग्रेडिंग परीक्षण में एक जाल है: क्या होगा यदि सभी चार ऐप एक ऐसी संख्या पर सहमत हों जो बस गलत है? एक साझा बग सर्वसम्मति जैसा दिखेगा।
इसलिए दौड़ से पहले मैंने अपना स्वयं का डबल-पेंडुलम सिमुलेशन शुरू से लिखा — वही स्थिरांक, वही RK4, वही 60 सेकंड — एक स्वतंत्र उत्तर कुंजी के रूप में। यह कहता है: प्रारंभिक ऊर्जा 14.715 J, 60 सेकंड में अधिकतम अपवाह 6.6×10⁻⁸ % (यह पूर्णता से एक राउंडिंग किनारा दूर है), सबसे बड़ा ल्यापुनोव घातांक ≈1.4 प्रति सेकंड, और जुड़वां प्रक्षेप पथ लगभग 14.5 सेकंड में एक पूर्ण रेडियन अलग हो जाते हैं।
यह वह मूल सत्य है जिसके विरुद्ध नीचे प्रत्येक ऐप को मापा जाता है। "मॉडल एक-दूसरे से सहमत थे" नहीं — "मॉडल एक स्वतंत्र सिमुलेशन से सहमत थे जिसे मैं नियंत्रित करता हूँ।"
दौड़
चार टर्मिनल, चार अलग-अलग उपकरण: Sonnet 5 (Claude Code में), Grok 4.5 और Composer 2.5 (Grok CLI के माध्यम से), DeepSeek V4 Pro (opencode में)।
दो ने इसे एक स्प्रिंट की तरह लिया। Composer 2.5 ने पहले स्थान पर समाप्त किया, 1 मिनट 43 सेकंड में — फ़ाइल लिखी, एक साफ "सत्यापित हेडलेस परिणाम" तालिका प्रिंट की, हो गया। Grok 4.5 ने 3 मिनट 58 सेकंड में पीछा किया—चारों में सबसे विस्तृत लेखन के साथ: सबसे साफ पाठ्यपुस्तक ऊर्जा समीकरण, और दो पृथक्करण मीट्रिक जहाँ बाकी सभी ने एक रिपोर्ट किया।
अन्य दो ने इसे एक परीक्षा की तरह लिया जिसे उन्हें सौंपना था। Sonnet 5 ने मैदान की सबसे कॉम्पैक्ट फ़ाइल लिखी और फिर एक वास्तविक ब्राउज़र खोला — पंद्रह बार — अपने स्वयं के रेफ़री को चलाने के लिए। रास्ते में, उसने देखा कि ऑटोमेशन टैब को क्रोम द्वारा बैकग्राउंड में थ्रॉटल किया जा रहा था, जोर से तर्क किया कि उसकी हेडलेस जाँच एनिमेशन पर निर्भर नहीं करती, फिर भी इसे चलाया, और उसके बाद ही इसे पूरा बताया, 9 मिनट 7 सेकंड में। DeepSeek V4 Pro ने एक अलग उपकरण के माध्यम से वैसा ही किया — एक हेडलेस क्रोम चलाया, अपने स्वयं के Run Referee बटन पर क्लिक किया, पुष्टि करने के लिए पैनल का स्क्रीनशॉट लिया — और 9 मिनट 15 सेकंड में समाप्त किया, इसमें केवल आठ सेंट खर्च किए।
चार टर्मिनल, चार AI एजेंट
यहाँ संकेत है, और यह परीक्षण 02 को उल्टा कर देता है। Composer और Grok ने फ़ाइल को कभी खोले बिना सही रेफ़री नंबर रिपोर्ट किए। जहाँ तक रिकॉर्डिंग दिखाती है, उन्होंने केवल तर्क से अपने "सत्यापित" परिणामों का दावा किया। Sonnet और DeepSeek ने सही नंबर रिपोर्ट किए क्योंकि उन्होंने चीज़ को चलाया और पैनल पढ़ा।
शायद मुझे अगली बार playwright या chrome e2e को मजबूर करना होगा।
प्रत्येक ऐप के अपने रेफ़री से परिणाम
रेफ़री #1 — ऊर्जा अपवाह, सटीक आधा। मूल सत्य: 6.6×10⁻⁸ %।
मॉडल
अधिकतम ऊर्जा अपवाह (स्व-रिपोर्टेड)
फैसला
Sonnet 5
6.57×10⁻⁸ %
PASS
Grok 4.5
≈6.6×10⁻⁸ %
PASS
Composer 2.5
6.6×10⁻⁸ %
PASS
DeepSeek V4 Pro
4.94×10⁻⁸ % *
PASS
अभिसरण हुआ। तीसरी बार। सभी चार मेरे स्वतंत्र सिमुलेशन के समान आठ-दशमलव वाले उत्तर पर पहुँचे। किसी ने इंटीग्रेटर को नकली नहीं बनाया — आप नकली नहीं बना सकते, यही पूरा डिज़ाइन है, और इस बार किसी ने कोशिश भी नहीं की। (* DeepSeek थोड़ा कम पढ़ता है, केवल इसलिए क्योंकि उसकी हेडलेस जाँच हर कदम के बजाय हर 100वें कदम पर ऊर्जा का नमूना लेती है — चारों में सबसे कम सटीक सत्यापनकर्ता, हालाँकि फिर भी आराम से पास हो रहा है।)
रेफ़री #2 — ल्यापुनोव घातांक, अराजकता वाला आधा। मूल सत्य: ≈1.4 प्रति सेकंड, धनात्मक।
मॉडल
फिटेड λ
1-रेडियन विचलन
Sonnet 5
1.634 /s
14.85 s
DeepSeek V4 Pro
1.535 /s (R² = 0.964)
14.50 s
Composer 2.5
1.47 /s
14.5 s
Grok 4.5
1.45 /s
14.85 s
सभी धनात्मक। सभी उस विंडो के भीतर जिसे प्रत्येक मॉडल ने फिट करने के लिए चुना। अराजकता वास्तविक है, चार स्वतंत्र तरीकों से मापी गई, और यह उत्तर कुंजी से सहमत है।
ऊर्जा-अपवाह
तो वास्तव में उन्हें किस चीज़ ने अलग किया?
दो तालिकाओं को पढ़ें और ईमानदार उत्तर है: उस चीज़ पर जो परीक्षण मापता है, किसी ने नहीं किया। सभी चार सही हैं। तीन परीक्षणों में "मॉडल मायने नहीं रखता" का सिद्धांत सबसे मजबूत दिखा है — कार्य पूरी तरह से जाँचने योग्य था, वास्तव में कठिन था, और हर मॉडल ने इसे सटीक किया।
लेकिन परीक्षण 02 ने मुझे उस कॉलम को देखना सिखाया जो स्कोर नहीं है। पिछली बार वह ऑटोपायलट था। इस बार यह घड़ी है, और ब्राउज़र।
- दो तेज़ मॉडल (Composer 1:43, Grok 3:58) ने सही फ़ाइलें भेजीं जिन्हें उन्होंने कभी चलाया नहीं।
- दो धीमे मॉडल (Sonnet 9:07, DeepSeek 9:15) ने सही फ़ाइलें भेजीं क्योंकि उन्होंने उन्हें चलाया।
यहाँ परीक्षण 02 से मोड़ है। पिछली बार, जिन मॉडलों ने सत्यापन नहीं किया, वे असफल हुए — Grok का ऑटोपायलट 20 में से 15 लैंडिंग पर क्रैश हो गया। इस बार, जिन मॉडलों ने सत्यापन नहीं किया, वे फिर भी पास हो गए। Composer और Grok बिना जाँचे सही थे।
जो सबक को दोहराने के बजाय तेज करता है: सत्यापन वह नहीं है जो आउटपुट को सही बनाता है। यह वह है जो आपको यह जानने देता है कि यह भेजने से पहले सही है। एक पूरी तरह से जाँचने योग्य कार्य पर, एक पर्याप्त अच्छा मॉडल जाँच को छोड़ सकता है और फिर भी सही हो सकता है। वह बस यह नहीं जान सकता कि यह सही है। Composer और Grok एक चौथाई समय में वहाँ पहुँचे — और अंधेरे में भेज दिया। Sonnet और DeepSeek ने पाँच मिनट और आठ-सेंट-से-दो-डॉलर किसी ऐसी चीज़ के लिए चुकाया जो स्प्रिंटर्स ने नहीं खरीदी: निश्चितता।
यह व्यापार-बंद इसके लायक है या नहीं, यह पूरी तरह से गलत होने की लागत पर निर्भर करता है। एक डिस्पोजेबल विज़ुअलाइज़ेशन के लिए, अंधेरे में भेजें और मिनट बचाएं। किसी भी चीज़ के लिए जहाँ एक मूक इंटीग्रेटर बग उत्पादन तक पहुँचता है, वह मॉडल जो ब्राउज़र खोलता है वह वह है जो आप चाहते हैं — और DeepSeek ने साबित किया कि वह आदत चार सेंट खर्च करती है, दो डॉलर नहीं।
ब्लाइंड मोड: जहाँ इस परीक्षण के दाँत हैं
मैंने अराजकता को चुनने का एक कारण है। चार पेंडुलम को एक साथ रखें और उन्हें चलने दें। पंद्रह सेकंड के भीतर हर ट्रेस एक अलग अप्रत्याशित स्क्रिबल है — और आप नहीं बता सकते कि किस मॉडल ने कौन सा लिखा। घर की शैली, चर नाम, छोटे UI सजावट, सब कुछ उसी पल गायब हो जाता है जब भौतिकी संभाल लेती है। एक अराजक प्रणाली के चार सही कार्यान्वयन आँखों के लिए अप्रभेद्य हैं।
यह परीक्षण में कोई बग नहीं है। यह ही निष्कर्ष है, एक चित्र के रूप में प्रस्तुत: जब कार्य पूरी तरह से निर्दिष्ट और सही ढंग से हल किया जाता है, तो मॉडल की उंगली के निशान गायब हो जाते हैं। ब्लाइंड मोड आज़माएं और देखें कि क्या आप एक सिक्का उछालने से बेहतर कर सकते हैं। मैं नहीं कर सका।
चार डबल-पेंडुलम ट्रेस
बिल ने क्या खरीदा
- DeepSeek V4 Pro: $0.0432, टोकन के अनुसार आइटमीकृत। यह उन दो में से एक था जिसने खुद को ग्रेड करने के लिए एक वास्तविक ब्राउज़र चलाया। सबसे सस्ता और सबसे मेहनती — दो क्रमों के परिमाण से फिर से मूल्य विकल्प।
- Sonnet 5: ~$2.02, टोकन-मीटर्ड (यह एक प्लान पर चला, इसलिए यह मेरी टोकन गणना × प्रकाशित मूल्य निर्धारण है)। इसका अधिकांश भाग पंद्रह-कॉल सत्यापन लूप में गया जिसने मैदान का सबसे सावधान हस्ताक्षर तैयार किया।
- Grok 4.5 और Composer 2.5: Grok CLI के माध्यम से फ्लैट सब्सक्रिप्शन, प्रति-टोकन मूल्य नहीं — इसलिए कोई ईमानदार डॉलर का आंकड़ा नहीं, और मेरे चार्ट पर कोई बार नहीं।
सावधानियाँ, मुझे उद्धृत करने से पहले
प्रति मॉडल एक रन। चार CLI एक या दो मिनट के अंतराल पर लॉन्च किए गए थे, इसलिए वीडियो में स्टॉपवॉच प्रत्येक मॉडल का अपने लॉग से सच्चा वॉल-क्लॉक समय है, न कि एक सिंक्रोनाइज़्ड गन — अवधि ईमानदार है, "स्टार्ट लाइन" स्टैगर्ड है, और मैं आपको यह बताना पसंद करूँगा कि एक साफ शुरुआत का दिखावा करने के बजाय। DeepSeek का हेडलेस रेफ़री अंडरसैंपल करता है, यही कारण है कि इसका ड्रिफ्ट नंबर सबसे कम पढ़ता है; मैं इसे एक मामूली अशुद्धि कह रहा हूँ, त्रुटि नहीं, क्योंकि इसका लाइव पैनल हर फ्रेम का नमूना लेता है और मेरा स्वतंत्र रन वास्तविक मान की पुष्टि करता है। और "सत्यापन आत्मविश्वास खरीदता है, शुद्धता नहीं" इस कार्य के बारे में एक दावा है, जहाँ उत्तर पूरी तरह से जाँचने योग्य था — एक ओपन-एंडेड कार्य पर (देखें परीक्षण 02) सत्यापन ने शुद्धता भी खरीदी।
सब कुछ प्रकाशित है और लाइव चलता है। आपको इस लेख में किसी संख्या पर भरोसा करने की आवश्यकता नहीं है — बटन स्वयं दबाएं।
https://x.com/0xBakeer/status/2077442955934101680
इसे आज़माएं
सभी चार अछूती फ़ाइलें आपके ब्राउज़र में चलती हैं। अराजकता देखने के लिए Play दबाएं, ऊपर दिए गए हर नंबर को पुन: उत्पन्न करने के लिए Run Referee दबाएं:
- परीक्षण: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/index.html
- अखाड़ा (सभी चार, एक साथ): https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/arena.html
- ब्लाइंड मोड — अनुमान लगाएं किसने क्या बनाया: https://khaledbakeer.github.io/One-Prompt/tests/double-pendulum/blind.html
- परीक्षण 02, Lunar Lander राउंड: https://khaledbakeer.github.io/One-Prompt/tests/lunar-lander/index.html
- परीक्षण 01, Fourier राउंड: https://khaledbakeer.github.io/One-Prompt/tests/fourier-epicycles/index.html
- कच्चा डेटा, प्रॉम्प्ट सहित: https://khaledbakeer.github.io/One-Prompt/data/double-pendulum.json
ऊर्जा तालिका नियंत्रण समूह है — इसे बराबर होना चाहिए, और यह है। घड़ी प्रयोग है। और ब्लाइंड मोड पंचलाइन है: एक अराजक समस्या के चार सही उत्तर बिल्कुल एक जैसे दिखते हैं।
— खालिद
