नमस्कार दोस्तों, मैं जिन् चेनमा (Jin Chenma) हूँ।
आइए एक सवाल से शुरुआत करते हैं: जिन कंटेंट को वे प्रोसेस करते हैं, उस लिहाज से हम आमतौर पर किन प्रकार के बड़े AI मॉडल्स का सामना करते हैं?
अधिकांश लोग टेक्स्ट, इमेज, ऑडियो और वीडियो से परिचित हैं। पिछले कुछ वर्षों में, विभिन्न कंपनियों ने इन दिशाओं में लगातार प्रतिस्पर्धा की और अपने मॉडल्स को बेहतर बनाया, जिससे उनकी क्षमताएं और भी शक्तिशाली हो गईं और प्रतिस्पर्धा तीव्र हो गई।
इतने सारे अपडेट देखने के बाद, मेरे मन में एक सवाल उठता रहा: क्या मौजूदा मॉडल्स को बेहतर बनाने के अलावा, कोई नई मॉडल फॉर्म भी सामने आएगी?
हाल ही में, Jev नामक एक मॉडल वायरल होने लगा। शुरू में मैंने सोचा: क्या यह सिर्फ एक और कंपनी है जो नया लार्ज लैंग्वेज मॉडल (LLM) लॉन्च कर रही है?
लेकिन गहराई से जांच करने के बाद, मुझे लगा कि यह मॉडल वास्तव में प्रभावशाली है।
इसके पीछे TypeSafe AI ने 'System One Models' नामक मॉडल्स की एक श्रेणी का सुझाव दिया है, जो विशेष रूप से सॉफ्टवेयर में निर्णय लेने वाले कार्यों (judgment tasks) के लिए डिज़ाइन किए गए हैं। Jev उनका पहला पब्लिक मॉडल है।
पिछली श्रेणियां (टेक्स्ट, इमेज, ऑडियो, वीडियो) कंटेंट टाइप के आधार पर विभाजित थीं; इस बार, उन्होंने दृष्टिकोण बदल दिया है: "निर्णय लेना" (making judgments) को एक स्वतंत्र कार्य मानते हुए और इसके चारों ओर एक मॉडल डिज़ाइन करते हुए।
मुझे लगता है कि यह दिशा AI मॉडल्स के भविष्य के विकास और श्रम विभाजन पर गहरा प्रभाव डाल सकती है।
इस लेख में, मैं स्पष्ट रूप से बताऊंगा कि Jev क्या है, यह स्टैंडर्ड LLMs से कैसे अलग है, इसका उपयोग कहाँ किया जा सकता है और इसे कैसे शुरू किया जाए।
QR कोड के उपमा से शुरुआत
Jev को कैसे समझें? कल्पना करें कि आप एक QR कोड जनरेट करना चाहते हैं।
आमतौर पर, आप एक QR कोड जनरेटर टूल का उपयोग करेंगे। लेकिन मान लीजिए आपने एक ऐसे कलाकार को हायर किया है जो कुछ भी बना सकता है, और आप उनसे कहते हैं कि वे पिक्सल-दर-पिक्सल QR कोड बनाएं।
बेशक, यह कलाकार कुशल है और यह कर सकता है। लेकिन QR कोड जनरेट करने के लिए समर्पित टूल्स होते हैं। आपको बस एक काम करने वाला QR कोड चाहिए, उसके साथ कोई लैंडस्केप पेंटिंग नहीं।
इसी तरह, Jev की तुलना Large Language Models (LLMs) से करें:
LLMs लेख लिख सकते हैं, कोड लिख सकते हैं और जटिल समस्याओं पर चर्चा कर सकते हैं। यदि आप किसी LLM से एक कमेंट पढ़कर यूजर के भावनात्मक रुख (sentiment) का अनुमान लगाने को कहें, तो वह निश्चित रूप से यह कर सकता है।
लेकिन यदि कार्य केवल एक विकल्प चुनने या स्कोर देने तक सीमित है, तो सोचें: क्या हम ऐसे कार्यों के लिए विशेष रूप से एक तेज़, सस्ता और प्रोग्रामेटिक रूप से एक्सेस करने योग्य मॉडल बना सकते हैं?
यही Jev करता है।
यह स्पष्ट उत्तर दायरे वाले निर्णयों में विशेषज्ञता के लिए फ्री-फॉर्म टेक्स्ट जनरेशन को त्याग देता है। उदाहरण के लिए, यदि आप चार विकल्प देते हैं—"संतुष्ट," "असंतुष्ट," "मिश्रित," "अनिर्धारित"—तो यह एक का चयन करता है और प्रत्येक विकल्प के लिए संभावनाएं (probabilities) प्रदान करता है।
जैसे QR कोड के लिए समर्पित टूल्स होते हैं, वैसे ही केवल विकल्प और स्कोर वाली टास्क को विशेष मॉडल्स द्वारा संभाला जा सकता है। आधिकारिक परिचय के अनुसार, इन निर्णय कार्यों के लिए Jev का ऑप्टिमाइज़ेशन रिस्पॉन्स टाइम और कॉल लागत को कम करता है।
उदाहरण के लिए, दैनिक आधार पर विशाल ई-कॉमर्स कमेंट्स को फ़िल्टर करने के लिए भावनाओं, तत्कालता और हैंडलिंग तरीकों का अनुमान लगाना आवश्यक होता है। तेज़ और सस्ती जजमेंट्स समग्र प्रतीक्षा समय और लागत को कम करती हैं। प्रोग्राम्स परिणाम प्राप्त करते हैं और वर्गीकरण या मानव हस्तक्षेप (human handoff) के साथ आगे बढ़ते हैं।
Jev का उद्भव
Jev को किसने बनाया? केवल निर्णय लेने के लिए एक मॉडल क्यों बनाया गया?
Jev TypeSafe AI से आता है, जिसकी स्थापना Diogo Almeida ने की थी, जिन्होंने पहले OpenAI में चैट मॉडल रिसर्च पर काम किया था।
उन्होंने एक समस्या पर ध्यान केंद्रित किया: AI बातचीत करने में महान है, लेकिन इन क्षमताओं को स्वचालित कार्यों के लिए सॉफ्टवेयर में एकीकृत करना आसान क्यों नहीं है?
सॉफ्टवेयर स्पष्ट नियमों को निष्पादित करने में उत्कृष्ट है। यदि शर्त A पूरी होती है, तो क्रिया B करें। लेकिन वास्तविक दुनिया के कई निर्णय नियमों के साथ पूर्व-परिभाषित करना कठिन होते हैं।
जैसे कमेंट्स पढ़ना। कौन से अभिव्यक्तियाँ शिकायतें हैं? कौन से मज़ाक हैं? कौन से सकारात्मक लगते हैं लेकिन उनमें छिपी हुई आलोचना होती है? कुछ नियमों से सभी यूजर भाषण पैटर्न को कवर करना मुश्किल है।
TypeSafe सेमांटिक जजमेंट को एक कॉलेबल कंपोनेंट बनाना चाहता है। जब एक प्रोग्राम को टेक्स्ट को समझने या अगला कदम चुनने की आवश्यकता होती है, तो वह इस छोटे कार्य को मॉडल को सौंप देता है, परिणाम प्राप्त करता है, और निष्पादन जारी रखता है।
वे इन मॉडल्स को System One कहते हैं, जो Thinking, Fast and Slow पुस्तक की अवधारणा से लिया गया है। इसे तेज़, सहज ज्ञान युक्त निर्णय लेने वाले हिस्से के रूप में सोचें।
Jev नाम अर्थशास्त्री Jevons से आया है। टीम की अपेक्षा सीधी है: बुद्धिमान कॉल्स की लागत जितनी कम होगी, लोगों द्वारा उन्हें उतनी ही अधिक जगहों पर उपयोग किया जाएगा।
कुछ चरण पहले एकल AI कॉल के लिए बहुत महंगे लगते थे। यदि जजमेंट पर्याप्त तेज़ और सस्ता है, तो इसे फिर से विचार करने लायक बन जाता है।
Jev LLMs से कैसे अलग है?
सॉफ्टवेयर कॉल्स के लिए AI जजमेंट को सस्ता और आसान बनाना एक अच्छा शुरुआती बिंदु है। लेकिन मौजूदा LLMs भी जजमेंट कर सकते हैं और स्ट्रक्चर्ड रिजल्ट्स लौटा सकते हैं। फिर Jev क्यों बनाया गया?
सबसे पहले, देखें कि LLMs प्रोग्राम्स को जजमेंट रिजल्ट्स कैसे प्रदान करते हैं।
LLMs स्ट्रक्चर्ड आउटपुट का समर्थन करते हैं, जिसका अर्थ है कि उत्तर पूर्व-निर्धारित स्लॉट्स में फिट होते हैं। उदाहरण के लिए, एक स्लॉट भावना के लिए, दूसरा तत्कालता के लिए, और एक अन्य हैंडलिंग विधि के लिए। प्रोग्राम जानता है कि प्रत्येक स्थिति का क्या मतलब है।
आप JSON के बारे में जानते होंगे, जो स्ट्रक्चर्ड डेटा के लिए एक सामान्य फॉर्मेट है। डेवलपर्स LLM आउटपुट को विशिष्ट फॉर्मेट्स का पालन करने के लिए बाध्य कर सकते हैं।
तो, केवल यह देखते हुए कि अंतिम आउटपुट टेक्स्ट है या JSON, Jev और LLMs के बीच मुख्य अंतर नहीं दिखता।
अंतर इस बात में निहित है कि मॉडल परिणाम को कैसे जनरेट करता है।
स्टैंडर्ड जनरेटिव LLMs आमतौर पर टोकन-बाय-टोकन उत्तर उत्पन्न करते हैं। टोकन पाठ के छोटे टुकड़े होते हैं जिन्हें मॉडल प्रोसेस करता है। भले ही आप फिक्स्ड-फॉर्मेट डेटा का अनुरोध करें, यह आमतौर पर परिणाम को चरण-दर-चरण जनरेट करता है।
Jev जजमेंट टास्क के लिए एक विशेष आउटपुट विधि का उपयोग करता है, जो समानांतर में कई जजमेंट्स और संभावनाएं प्रदान करता है। आप एक ही कमेंट के बारे में कई सवाल पूछ सकते हैं और एक ही अनुरोध में सभी परिणाम प्राप्त कर सकते हैं।
यह आउटपुट अंतर गति और लागत से संबंधित है जो पहले उल्लेख की गई थीं। दैनिक आधार पर विशाल डेटा को प्रोसेस करने वाले सॉफ्टवेयर में छोटे चरणों के लिए भी महत्वपूर्ण लागत होती है। एजेंट्स, जो टूल्स को कॉल करते हैं और निरंतर कार्य निष्पादित करते हैं, को बार-बार अगला कदम तय करने की आवश्यकता होती है। रिस्पॉन्स स्पीड और कॉल कॉस्ट सीधे सॉफ्टवेयर डिज़ाइन, संचालन खर्चों और यूजर एक्सपीरियंस को प्रभावित करती हैं। कुछ चरण जो पहले धीमी गति या उच्च लागत के कारण छोड़ दिए जाते थे, अब उनमें AI जजमेंट शामिल किया जा सकता है।
आउटपुट स्थिरता भी एक कारक है। हम विकल्पों का एक सेट परिभाषित करते हैं, और यह उस दायरे के भीतर परिणाम लौटाता है, जिससे डाउनस्ट्रीम प्रोग्राम प्रोसेसिंग आसान हो जाती है।
Jev की तीन नई विशेषताएं
Jev का सार तीन नई विशेषताओं में निहित है। उनके डिज़ाइन लॉजिक दिलचस्प हैं और देखने लायक हैं।
संक्षेप में, Choice दिए गए विकल्पों में से चयन करता है; Score मापदंडों के आधार पर रेटिंग असाइन करता है; Noul एक कथन के सत्य होने की संभावना का अनुमान लगाता है।
यहाँ, मैं एक व्यावहारिक उदाहरण के साथ इन विशेषताओं को प्रदर्शित करने के लिए आधिकारिक Playground का उपयोग करूंगा।
आइए ई-कॉमर्स कमेंट प्रोसेसिंग का उपयोग करें। मान लीजिए आप एक ऑनलाइन स्टोर चलाते हैं जो दैनिक ग्राहक समीक्षाएं प्राप्त करता है। आपको संतुष्टि का आंकलन करना है, फॉलो-अप की आवश्यकता वाले मुद्दों की पहचान करनी है, हैंडलिंग विधियाँ निर्धारित करनी हैं, और तत्काल मामलों को प्राथमिकता देनी है।
हम Jev को यह कमेंट सबमिट करेंगे:
"प्रोडक्ट अच्छा है, लेकिन शिपमेंट में दस दिन लग गए, और कस्टमर सर्विस ने जवाब नहीं दिया।"
हम इस कमेंट का जजमेंट करने के लिए तीन विशेषताओं का उपयोग करेंगे और परिणाम देखेंगे।
Choice: चयन करना
सबसे पहले, पूछें: समग्र भावना क्या है?
प्रदान किए गए विकल्प: संतुष्ट, असंतुष्ट, मिश्रित, अनिर्धारित।
परिणाम: "मिश्रित।"
यह समझना आसान है। यूजर प्रोडक्ट की प्रशंसा करता है लेकिन लॉजिस्टिक्स और सेवा की शिकायत करता है। केवल "संतुष्ट" या "असंतुष्ट" चुनने से अर्थ का एक हिस्सा खो जाता है।
इसी तरह, हम पूछ सकते हैं: इस कमेंट को आगे कैसे हैंडल किया जाना चाहिए?
विकल्प: "मानव को सौंपें," "ऑटो-रिप्लाई," "कोई रिप्लाई आवश्यक नहीं।" एक नियम जोड़ा गया: अनसुलझी सेवा शिकायतों के लिए मानव फॉलो-अप आवश्यक है।
परिणाम: "मानव को सौंपें।"
ध्यान दें, बहुविकल्पीय प्रश्न की सामग्री भिन्न हो सकती है। भावना, विभाग, अगली क्रिया—सभी को इस तरह फ्रेम किया जा सकता है। विकल्प हम प्रदान करते हैं; Jev सामग्री और आवश्यकताओं के आधार पर जजमेंट करता है।
Score: रेटिंग असाइन करना
अगला, पूछें: यह कमेंट कितना तत्काल है? हमें कितनी जल्दी फॉलो-अप करना होगा?
स्कोरिंग से पहले, मानदंड परिभाषित करें। यहाँ तीन स्तर निर्धारित किए गए हैं:
- 0: सामान्य समीक्षा या सरल पूछताछ, कोई अनसुलझी शिकायत नहीं।
- 1: अनसुलझी लॉजिस्टिक्स या सेवा शिकायत, लेकिन कोई सुरक्षा मुद्दे, बड़े नुकसान, या कड़ी समय सीमा नहीं।
- 2: स्पष्ट सुरक्षा मुद्दे, बड़े नुकसान, या कड़ी समय सीमा।
Jev 1 लौटाता है, जो इस मानक के अनुसार मध्यम तत्कालता को दर्शाता है।
स्कोर heavily आपके प्रदान किए गए मानदंडों पर निर्भर करते हैं। आप उत्तर गुणवत्ता या प्रासंगिकता का मूल्यांकन करने के लिए स्विच कर सकते हैं, लेकिन आपको यह परिभाषित करना होगा कि अच्छा या बुरा क्या माना जाता है।
यह स्तरों के बीच भिन्नात्मक स्कोर भी लौटा सकता है, केवल पूर्णांक नहीं।
Noul: कथन की सच्चाई का अनुमान लगाना
अंत में, इसे एक कथन दें:
"यूजर ने कमेंट में स्पष्ट रूप से रिफंड का अनुरोध किया है।"
यह प्रकार 0 और 1 के बीच एक संभावना लौटाता है, जो यह दर्शाती है कि कथन सत्य होने की कितनी संभावना है।
परिणाम: 0.03 (3%)।
यूजर नाखुश है, लेकिन उसने स्पष्ट रूप से रिफंड का अनुरोध नहीं किया है। इसलिए, मॉडल "स्पष्ट रिफंड अनुरोध" को कम संभावना देता है।
सभी लौटाए गए परिणामों को एक साथ देखने से तस्वीर स्पष्ट हो जाती है:
ये चारों सवाल एक साथ सबमिट किए गए थे, जिससे एक ही बार में सभी परिणाम मिले। API ने मॉडल मूल्यांकन समय लगभग 85 मिलीसेकंड बताया।
अब, प्रोग्राम के पास उपयोगी जानकारी है: भावना श्रेणी, राउटिंग लक्ष्य, प्राथमिकता स्तर, रिफंड इरादा। इन परिणामों के आधार पर प्रोसेसिंग जारी रखी जा सकती है।
Jev का उपयोग किसके लिए किया जा सकता है?
हमने एक कमेंट को प्रोसेस किया। विशाल दैनिक मात्रा वाले ई-कॉमर्स प्लेटफॉर्म पर, यह उपयोग और भी विस्तारित हो जाता है।
सबसे पहले, सांख्यिकी (Statistics)।
कौन से यूजर संतुष्ट हैं? कौन लॉजिस्टिक्स की शिकायत करते हैं? किन मुद्दों के लिए कस्टमर सर्विस की आवश्यकता है? मॉडल अर्थ का जजमेंट करता है; प्रोग्राम गिनती को एग्रीगेट करता है और श्रेणियां प्रदर्शित करता है।
दूसरा, प्रारंभिक फ़िल्टरिंग ताकि यह तय किया जा सके कि किसकी गहन प्रोसेसिंग की आवश्यकता है।
सामान्य समीक्षाएं सांख्यिकी में जाती हैं। जिनकी कोई जवाबदेही नहीं है, वे व्यक्तिगत रिप्लाई से छूट जाते हैं। अनसुलझे मुद्दे मानव के पास जाते हैं। LLM जनरेशन के लिए उपयुक्त ऑटो-रिप्लाई को संदर्भ के साथ बड़े मॉडल्स को पास किया जाता है।
पहले, एक महंगे जनरल LLM से सब कुछ स्क्रीन करवाने में उच्च प्रारंभिक लागत होती थी। अब, Jev फ्रंट-एंड स्क्रीनिंग संभालता है, जिससे गहन प्रोसेसिंग LLMs के लिए छोड़ दी जाती है।
क्या कीवर्ड फ़िल्टरिंग काम कर सकती है?
आंशिक रूप से, लेकिन कीवर्ड संदर्भ को छोड़ देते हैं।
उदाहरण:
"क्वालिटी वास्तव में शानदार है, एक दिन में ही टूट गई।"
"शानदार क्वालिटी" से मैच करने पर इसे सकारात्मक के रूप में गलत वर्गीकृत किया जाएगा। पूरे वाक्य को पढ़ने पर व्यंग्य (sarcasm) प्रकट होता है।
Jev अभी भी नेचुरल लैंग्वेज इनपुट लेता है और पूरे अर्थ को समझता है। इसकी विशेषज्ञता कार्य प्रकार और आउटपुट फॉर्मेट में है, न कि केवल कीवर्ड मैचिंग में।
परिणामों को क्रियाओं में बदलने के लिए बाहरी प्रोग्राम्स की आवश्यकता होती है।
"मानव को सौंपें" लौटाने पर, प्रोग्राम मैनुअल समीक्षा के लिए क्यू में डालता है। "ऑटो-रिप्लाई" लौटाने पर, प्रोग्राम रिस्पॉन्स जनरेट करने के लिए LLM को कॉल करता है। क्रियाएं वर्कफ़्लो नियमों और टूल्स द्वारा निष्पादित की जाती हैं।
एजेंट्स में, इस बाहरी सिस्टम को अक्सर Harness कहा जाता है जो मॉडल कॉल्स, टूल्स और वर्कफ़्लो को व्यवस्थित करता है। Jev Harness में जजमेंट पोजीशन में फिट बैठता है, अगले कदम चुनने में मदद करता है।
इसलिए, मेरा मानना है कि Jev और LLMs पूरक (complementary) हैं, परस्पर अनन्य नहीं।
विशिष्ट रूप से, वर्गीकरण और स्कोरिंग के लिए LLMs की जगह Jev का उपयोग करें। बाद में, कॉपी लिखने, कोड लिखने, या जटिल मल्टी-स्टेप रीजनिंग के लिए LLMs पर निर्भर रहें।
इस प्रकार, एक सिस्टम विभिन्न चरणों के लिए विभिन्न मॉडल्स का उपयोग कर सकता है, क्षमताओं को संगठित रूप से जोड़ सकता है।
Jev का अनुभव कैसे करें?
सबसे सीधा तरीका TypeSafe Playground खोलना है।
लॉग इन करें, State में विश्लेषण के लिए टेक्स्ट डालें (जजमेंट के लिए सामग्री)। Questions में सवाल सेट करें, जजमेंट प्रकार चुनें, विकल्प या स्कोरिंग मानदंड भरें, और परिणाम देखने के लिए Run पर क्लिक करें।
पिछले कमेंट को आज़माएं या एक सकारात्मक समीक्षा को बदलें और परिवर्तनों को देखें।
अपने सॉफ्टवेयर में एकीकृत करने के लिए, API का उपयोग करें।
API एक सॉफ्टवेयर को दूसरे के लिए क्षमताएं प्रदान करने की अनुमति देता है। कंसोल से एक API Key प्राप्त करें। आपका प्रोग्राम इस क्रेडेंशियल के साथ सामग्री और सवाल भेजता है, परिणाम प्राप्त करता है, और subsequent लॉजिक निष्पादित करता है।
आधिकारिक SDKs भी प्रदान किए जाते हैं, जो डेवलपर्स की सुविधा के लिए सामान्य इंटरफ़ेस फंक्शन्स को रैप करते हैं।
प्राइसिंग: प्रति मिलियन इनपुट टोकन $0.042, आउटपुट मुफ्त है। इनपुट में सामग्री, सवाल और मानदंड शामिल हैं। उच्च मात्रा वाली कमेंट फ़िल्टरिंग मौजूदा फ्लो में इस पे-पर-कॉल मॉडल का उपयोग कर सकती है।
विशेष जजमेंट मॉडल्स का भविष्य
Jev पर शोध करने के बाद, मैं प्रभावित हुआ: किसी को यह बहुत पहले करना चाहिए था, लेकिन किसी ने नहीं किया।
मुझे लगता है कि यह दृष्टिकोण सही है। जबकि सभी बड़े मॉडल प्रदर्शन को बढ़ाने की दौड़ में हैं, TypeSafe AI ने एक नया ट्रैक खोला है, स्ट्रक्चर्ड डेटा, प्रोबेबिलिस्टिक जजमेंट, चयन और निर्णय परिदृश्यों के लिए कस्टमाइज्ड मॉडल्स बना रहे हैं।
लागत और गति लाभ एजेंट्स के लिए अनुकूल हैं। कुछ संदर्भों में बड़े मॉडल्स के धीरे-धीरे डेटा लौटाने का इंतजार करना अक्षम है।
मेरा मानना है कि अन्य विक्रेता संभवतः इस प्रवृत्ति का पालन करेंगे, एजेंट जजमेंट चरणों के लिए विशेष मॉडल्स बना रहे हैं।
एक एजेंट के पास तेज़ जजमेंट के लिए मॉडल्स हो सकते हैं, जटिल सोच/लिखने/कोडिंग के लिए अन्य, और इमेज/ऑडियो/वीडियो मॉडल्स भी, जो मिलकर काम करते हैं।
जब जजमेंट पर्याप्त तेज़ और सस्ता हो जाता है, तो हम AI को उन स्थानों पर रख सकते हैं जहां पहले कॉल करना मूल्यवान नहीं माना जाता था। मेरे लिए, Jev की दिशा का सबसे रोमांचक हिस्सा यही है।
