6 जुलाई, 2026 को, ITmedia में एक लेख प्रकाशित हुआ।
"AI उपयोग में बाधा मॉडल प्रदर्शन से हटकर 'मूल्यांकन,' 'शासन,' और 'लागत दक्षता' की ओर स्थानांतरित हो रही है," डेटाब्रिक्स के मुख्य AI वैज्ञानिक और MosaicML के सह-संस्थापक जोनाथन फ्रैंकल कहते हैं।
उनका तर्क सरल है:
- AI पहले से ही काफी स्मार्ट है। मौजूदा मॉडलों का उपयोग करने के बारे में सोचना ही "दशकों का काम" छोड़ देता है।
- बेहतर AI कार्यान्वयन के लिए ज़रूरत स्मार्ट मॉडल विकसित करने की नहीं, बल्कि मूल्यांकन और शासन में निवेश करने की है।
- AI "70% या 90% सटीकता पर पर्याप्त नहीं है"; इसे कहीं अधिक कठोर मूल्यांकन की आवश्यकता है।
- और सबसे बड़ी चुनौती है "अच्छा काम क्या है" के मानवीय मानक को एक चेकलिस्ट में अनुवाद करना। यह "अगले विशाल मॉडल को विकसित करने से कहीं अधिक कठिन है और इसमें 10 साल से अधिक लग सकते हैं।"
यह पढ़कर, मुझे एक गहरी सीख का एहसास हुआ।
हाल ही में, मैं AI "उपयोग की मात्रा" को मापने का प्रयोग कर रहा हूँ। मेरे पास एक डैशबोर्ड है जो OpenTelemetry के माध्यम से "Databricks" x "Claude Code/Codex/Cowork" उपयोग टेलीमेट्री को Databricks में खींचता है, हर सुबह यह अपडेट करता है कि "किसने कौन सा टूल, कितना, और किस लागत पर इस्तेमाल किया।"
लेकिन लेख का मुद्दा वह नहीं था। "क्या वह काम अच्छा था?" — एजेंट की गुणवत्ता का मूल्यांकन एक बड़ा अंतराल था।
मैंने लेख Fable को दिया और पूछा, "सोचो कि हमें क्या मूल्यांकन करना चाहिए"
इसलिए, मैंने लेख का URL Claude (Fable 5) को दिया, जिसका मैं नियमित रूप से उपयोग करता हूँ, और पूछा:
इस लेख को पढ़ें और सोचें कि हमें क्या मूल्यांकन करना चाहिए।
हमारे आंतरिक लॉग इंफ्रास्ट्रक्चर और डैशबोर्ड कॉन्फ़िगरेशन की जांच करने के बाद, Fable ने एक डिज़ाइन प्रस्तुत किया जिसमें "मूल्यांकन करने योग्य तीन परतें" शामिल थीं।
Fable का उत्तर: "मूल्यांकन करने योग्य चीज़ों" की तीन परतें
नीचे दी गई सलाह """""""""""""""""""""""""""""""""
परत 1: घर्षण संकेत (दैनिक, सभी के लिए, यांत्रिक निर्णय)
ऐसे "खराब गुणवत्ता के संकेत" हैं जिन्हें LLM से पूछे बिना भी लॉग से यांत्रिक रूप से उठाया जा सकता है।
- संदिग्ध लूप: एक ही टूल को लगातार 5 बार से अधिक हिट करना।
- लागत आउटलायर्स: एक सत्र में $5 से अधिक खर्च करना।
- ब्लॉक आवृत्ति: मानव पुष्टि की प्रतीक्षा में कई बार रुकना।
- कैश दक्षता: संदर्भ का खराब पुन: उपयोग (यानी, हर बार फिर से पढ़ना)।
- टूल कनेक्शन विफलताएँ: MCP सर्वर से कनेक्ट करने में लगातार विफलता।
परत 2: कार्य गुणवत्ता (साप्ताहिक, LLM जज)
एक ऐसी प्रणाली बनाएं जो AI एजेंट कार्य लॉग (ट्रेस) को LLM जज को भेजे ताकि वह 8 अक्षों पर स्कोर कर सके।
- लक्ष्य प्राप्ति / सटीकता / टूल चयन / साक्ष्य के प्रति निष्ठा / चरणों की वैधता / विफलता से पुनर्प्राप्ति / सुरक्षा / दक्षता
- पास करें यदि औसत 3.5 या उससे अधिक है। हालांकि, यदि "लक्ष्य प्राप्ति" या "सुरक्षा" 2 या उससे कम है, तो यह तत्काल विफलता (हार्ड फेल) है, भले ही बाकी सब कुछ सही हो।
हर रविवार रात को सबसे हाल के सत्रों को स्वचालित रूप से स्कोर करें ताकि सोमवार की नियमित समीक्षा में "सप्ताह की पास दर" दिखाई दे। केवल सुरक्षा हार्ड फेल अगली सुबह ईमेल अलर्ट ट्रिगर करते हैं।
परत 3: मूल्यांकन को स्वयं एक उत्पाद बनाना
लेख जिस काम को "10 साल लगते हैं" कहता है — "अच्छे काम के मानदंडों को एक चेकलिस्ट में अनुवाद करना" — वही है जो हमें AI सलाहकारों और कॉर्पोरेट प्रशिक्षकों के रूप में ग्राहकों को प्रदान करना चाहिए। आंतरिक रूप से चलने वाला डैशबोर्ड वैसे ही एक बिक्री डेमो बन जाता है।
"""""""""""""""""""""""""""""""""
और इसे उसी दिन लागू किया गया
यह एजेंट युग का अद्भुत हिस्सा है: तीनों परतें उसी दिन चलने लगीं।
- परत 1 के लिए एक SQL व्यू को संगठनात्मक डैशबोर्ड में "गुणवत्ता" टैब के रूप में जोड़ा गया और प्रकाशित किया गया।
- परत 2 के लिए साप्ताहिक निष्पादन शेड्यूल किया गया, और सुरक्षा अलर्ट को मॉनिटरिंग सिस्टम में एकीकृत किया गया।
- परत 3 के लिए एक ऑफरिंग डिज़ाइन दस्तावेज़ तैयार किया गया।
मैंने बस नीति चुनी, कुछ अनुमोदन बटन क्लिक किए, और एक बार शेड्यूलर रजिस्ट्रेशन कमांड चलाया।
पहले ही दिन "खोज"
और संचालन के पहले दिन, दो तत्काल खोजें हुईं।
पहली: जब मापा गया, तो हम बुरी तरह हार रहे थे।
जब हमने 8-अक्षीय जज का उपयोग करके 8 हाल के आंतरिक एजेंट सत्रों को स्कोर किया, तो परिणाम था — 1 पास, 7 विफलताएँ। "AI से बहुत सारा काम करवाने" और "AI द्वारा अच्छा काम करने" के बीच एक दूरी थी जो केवल मापने पर ही दिखाई दी।
दूसरी: "ऐसा घर्षण जिसे सिखाने पर ठीक किया जा सकता है" मिला।
एक सदस्य के Cowork (Claude का एजेंट वर्कस्पेस) में, डैशबोर्ड ने पता लगाया कि MCP सर्वर कनेक्शन विफलताएँ पिछले दिन 4 से बढ़कर उस दिन 12 हो गई थीं। प्लगइन प्रमाणीकरण दो दिनों से टूटा हुआ था, और वे इसका उपयोग करते रहे।
उस व्यक्ति ने शायद सोचा, "यह थोड़ा अजीब व्यवहार कर रहा है," और काम करता रहा। इसे बोलकर और प्रमाणीकरण ठीक करके 5 मिनट में ठीक किया जा सकता है। "ऐसा घर्षण जिसे सिखाने पर ठीक किया जा सकता है" बिना किसी को रिपोर्ट किए जमा होता रहता है — यह वही था जो उपयोग डैशबोर्ड पर कभी दिखाई नहीं देता था।
इसे आज़माकर मैंने तीन चीज़ें सीखीं
1. मूल्यांकन एक संचालन है, कोई उपकरण नहीं
यदि आप सिर्फ स्कोरिंग तंत्र बनाकर रुक जाते हैं, तो यह वैसा ही है जैसा कि न हो। यह तभी है जब आप इसे साप्ताहिक नियमित निष्पादन और अलर्ट से जोड़ते हैं, और सोमवार की बैठक में संख्याएँ दिखाई देती हैं, तब आप कह सकते हैं कि आप "मूल्यांकन" कर रहे हैं। फ्रैंकल द्वारा उल्लिखित "मूल्यांकन में निवेश" शायद उपकरणों के बारे में नहीं, बल्कि संचालन के बारे में है।
2. LLM जज से पहले एक यांत्रिक निर्णय परत रखें
8-अक्षीय जज मूल्यांकन शक्तिशाली है, लेकिन इसमें समय और पैसा लगता है क्योंकि यह एक LLM चलाता है। पूरी मात्रा के लिए दैनिक रूप से लूप, लागत आउटलायर्स और कनेक्शन विफलताओं जैसे नियतात्मक संकेतों को चलाना, और साप्ताहिक नमूने के लिए जज का उपयोग करना यथार्थवादी था।
3. "90% पर्याप्त नहीं है" को लागू करने का मतलब है हार्ड फेल
औसत स्कोर देखते समय, सुरक्षा मुद्दे अन्य बिंदुओं में दब जाते हैं। केवल इसे इस तरह डिज़ाइन करके कि "यदि सुरक्षा 2 या उससे कम है, तो यह विफलता है, भले ही बाकी सब सही हो," हम लेख में उल्लिखित "परिमाण के क्रम में अधिक कठोर मूल्यांकन" के करीब एक कदम बढ़ाते हैं। 1/8 पास दर दुखद है, लेकिन यह दर्द सुधार का प्रारंभिक बिंदु है।
निष्कर्ष
"AI पहले से ही काफी स्मार्ट है।"
— यही कारण है कि अगली लड़ाई है स्मार्ट AI को सौंपे गए काम को कौन और कैसे स्कोर करता है।
फ्रैंकल ने कहा कि यह 10 साल का काम है।
जिन चीज़ों में 10 साल लगते हैं, वे जितनी जल्दी शुरू की जाएँ, उतनी ही अधिक विभेदक बन जाती हैं। और शुरू करना स्वयं एक AI एजेंट के साथ एक दिन में संभव था।
मेरी कंपनी (AI Brain Partners) में, हम Claude Code-विशिष्ट कॉर्पोरेट प्रशिक्षण और AI परामर्श के माध्यम से इस "AI उपयोग माप और मूल्यांकन" प्रणाली के निर्माण में मदद करते हैं। यदि आप सोच रहे हैं, "हमारे AI उपयोग के साथ वास्तव में क्या हो रहा है?" तो कृपया नीचे दिए गए लिंक देखें।
- AI एजेंट प्रशिक्षण निगमों के लिए: https://ai-agent.camp/ja/lab/corporate-training
- निःशुल्क रिपोर्ट "उद्यमों में AI कैसे पेश करें": https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(मूल लेख: ITmedia AI+ "AI उपयोग में बाधा मूल्यांकन और शासन की ओर स्थानांतरित हो रही है" 6 जुलाई, 2026)
