टोकन अर्थव्यवस्था
जब हम आज AI के बारे में बात करते हैं, तो टोकन (tokens) ही सबसे महत्वपूर्ण हैं। विशेष रूप से, इन्फ्रेंस टोकन AI इकोसिस्टम के विकास को ट्रैक करने के लिए प्राथमिक मापदंड के रूप में उभरे हैं। सार्वजनिक कंपनियाँ अपने AI विकास को दर्शाने के लिए मासिक प्रोसेस्ड टोकन रिपोर्ट करती हैं, विश्लेषक अपने सापेक्ष टोकन वॉल्यूम के आधार पर मॉडलों की सफलता की तुलना करते हैं, और प्रबंधन टीमें समय के साथ अपने टोकन उपयोग को देखकर AI के प्रति अपनी प्रतिबद्धता और निवेश को मापती हैं।
यह व्यापक लोकप्रियता समझ में आती है; टोकन AI बुद्धिमत्ता और कम्प्यूटेशन की एक मूलभूत इकाई हैं, और टोकन में वृद्धि दुनिया में AI के समग्र विकास का एक अच्छा प्रतिनिधित्व है। टोकन इन्फ्रेंस की जटिलताओं को माप की एक ही इकाई में समाहित कर देते हैं, जिससे इसे समझना सरल (इसमें केवल 2 मिनट लगते हैं!) और समय के साथ लगातार ट्रैक करना आसान हो जाता है। एक तरह की सार्वभौमिक भाषा के रूप में, टोकन व्यापक दर्शकों को तकनीकी प्रवीणता की परवाह किए बिना AI की तीव्र, जटिल प्रगति को समझने में सक्षम बनाते हैं।
अधिक लोग AI का उपयोग कर रहे हैं? टोकन बढ़ते हैं। हम गैर-रिज़निंग मॉडल से रिज़निंग मॉडल पर आ गए? टोकन बढ़ते हैं। हम क्वेरी से एजेंट पर आ गए? टोकन बढ़ते हैं। एजेंट अब बैकग्राउंड में काम कर सकते हैं या लंबी अवधि के कार्यों पर काम कर सकते हैं? टोकन बढ़ते हैं!
समग्र निरपेक्ष टोकन प्रोसेसिंग AI के बढ़े हुए अपनाने/उपयोग के कार्य के रूप में बढ़ती है, साथ ही बुनियादी ढाँचे के विकास के कारण भी जो मॉडल और AI फॉर्म फैक्टर को अधिक "टोकन-भूखा" बनाते हैं, उदा. 1 मिनट बनाम 1 घंटे काम करने वाला एजेंट।
यह सरलता वेंचर-ग्रोथ निवेशकों के लिए एक मजबूत विकास निवेश थीसिस भी बनाती है। ये सभी परिवर्तन — मॉडलों को अपनाने और टोकन तीव्रता दोनों में — एक-दूसरे पर जुड़ते हैं और समग्र टोकन वॉल्यूम में विस्फोटक, घातीय वृद्धि पैदा करते हैं। इसका मानचित्रण करना आसान है, और यह विश्वास करना भी आसान है कि लंबी अवधि के एजेंटों और बैकग्राउंड एजेंटों के आने से यह इसी दिशा में जारी रहेगा। इसमें कोई आश्चर्य नहीं कि इन्फ्रेंस एक बहुत ही गर्म निवेश श्रेणी बन गया है और कई कंपनियाँ इन्फ्रेंस व्यवसाय में आने की सोच रही हैं।
AI के ऐसे स्पष्ट और लोकप्रिय पोस्टर चाइल्ड का नकारात्मक पहलू यह है कि यह दृष्टि क्षेत्र को संकीर्ण कर सकता है, जिससे समान उभरते मेगा-ट्रेंड अपेक्षाकृत अनदेखे रह जाते हैं क्योंकि व्यापक दर्शकों के लिए उन्हें देखना और समझना कठिन होता है।
एक विशेष रुझान कई मायनों में इन्फ्रेंस के समान है और AI चर्चा का एक बहुत बड़ा हिस्सा बनने की स्थिति में है क्योंकि यह अधिक सर्वव्यापी और व्यापक रूप से समझा जाने लगता है। यह है डेटा के माध्यम से मॉडल क्षमताओं में सुधार का बाजार, जिसे हम टास्क इकोनॉमी (Task Economy) कहते हैं।
टास्क इकोनॉमी
पिछले तीन वर्षों में, LLM सामान्य प्रश्नों के उत्तर देने से, जटिल समस्याओं के माध्यम से तर्क करने, ऐसे एजेंट बनने तक आ गए हैं जो लंबे समय क्षितिज पर वास्तविक दुनिया का काम पूरा कर सकते हैं। इस यात्रा की शुरुआत में, मॉडल में सुधार इंटरनेट पर उपलब्ध डेटा पर बढ़ती मात्रा में कम्प्यूट के साथ मॉडलों को प्रशिक्षित करके किए जाते थे। जैसे-जैसे हमने 1) प्रशिक्षण के लिए इंटरनेट पर और डेटा समाप्त कर लिया और 2) अधिक सरल/सामान्य क्षमताओं को संतृप्त कर लिया, आगे मॉडल सुधारों के लिए एक स्पष्ट अड़चन उभरी है: वृद्धिशील उच्च गुणवत्ता वाला डेटा। यह डेटा टास्क इकोनॉमी द्वारा उत्पन्न और प्रदान किया जाएगा।
टास्क रीइन्फोर्समेंट लर्निंग में "अभ्यास की इकाई" हैं: एक मॉडल को एक प्रारंभिक अवस्था और कार्य करने के लिए एक वातावरण दिया जाता है, और उसके व्यवहार को एक रिवॉर्ड सिग्नल/वेरिफायर द्वारा स्कोर किया जाता है। कई टास्कों में, उन स्कोरों को एक प्रशिक्षण सिग्नल में एकत्रित किया जाता है जो मॉडल के व्यवहार को उस ओर स्थानांतरित करता है जिसने अच्छा स्कोर किया। सख्ती से कहें तो, "टास्क" इस RL पोस्ट-ट्रेनिंग सब्सट्रेट को संदर्भित करता है। लेकिन मैं इसका उपयोग अधिक ढीले ढंग से डेटा-संचालित सुधार की इकाई के लिए करूंगा, क्योंकि उद्योग तेजी से डेटा के नए रूपों का आविष्कार कर रहा है जो मॉडलों को बेहतर बनाने के लिए हैं, और स्पष्ट रूप से क्योंकि टास्क इकोनॉमी का नाम बहुत अच्छा लगता है। मैं इस श्रेणी को "डेटा लेबलिंग" के पुराने नाम से अलग करना चाहता हूँ, जो बाउंडिंग बॉक्स और LLM प्रतिक्रियाओं के लिए थम्स अप/डाउन की याद दिलाता है — पिछले कुछ वर्षों में बाजार इन मूलभूत चीजों से कहीं आगे बढ़कर अधिक जटिल और उच्च-मूल्य वाले टास्क में विकसित हो गया है।
आइए एक त्वरित वास्तविक उदाहरण के रूप में कानूनी उद्योग को लें। खुले इंटरनेट पर प्रशिक्षित AI मॉडल कानून की उच्च-स्तरीय समझ प्राप्त कर सकते हैं, सार्वजनिक रूप से उपलब्ध मिसालों को जान सकते हैं, आदि। लेकिन एक प्रतिभाशाली वकील का वास्तविक दुनिया का काम तैयार करने के लिए इंटरनेट पर उपलब्ध नहीं होने वाले डेटा की आवश्यकता होती है। एक मॉडल उच्च गुणवत्ता वाले कानूनी वर्कफ़्लो को दोहरा सके, इसके लिए हमें मॉडल को प्रॉम्प्ट (एक अनुबंध की समीक्षा करें, एक तर्क का मसौदा तैयार करें) देना होगा, मॉडल को प्रासंगिक वातावरण (एक कानूनी डेटा रूम) में रखना होगा, और फिर काम की गुणवत्ता को ग्रेड/सत्यापित करना होगा (एक रूब्रिक के माध्यम से, जिसका एक उदाहरण आप यहाँ देख सकते हैं)। ये टास्क मॉडल को न केवल क्या करना है, बल्कि यह भी सिखाते हैं कि इसे कैसे करना है। और जितने अधिक उच्च गुणवत्ता वाले टास्क आप मॉडल को देंगे, मॉडल उतना ही बेहतर होगा।
इस प्रकार, जो टोकन इन्फ्रेंस/मॉडल उपयोग के लिए हैं, वही टास्क मॉडल सुधार प्रयासों के लिए हैं। टोकन AI बुद्धिमत्ता और कम्प्यूटेशन की एक मौलिक इकाई हैं; हमें टास्क को AI सुधार की एक मौलिक इकाई के रूप में सोचना चाहिए। और टोकन की तरह ही, टास्क AI को अपनाने के कार्य के रूप में बढ़ते हैं, और जैसे-जैसे विकसित होती फ्रंटियर इंटेलिजेंस अधिक से अधिक "टास्क-भूखी" होती जाती है।
यह सटीक या व्यापक नहीं है, लेकिन मॉडल इंटेलिजेंस में प्रत्येक स्टेप-फंक्शन वृद्धि के कुछ उदाहरण देता है जिसके लिए कहीं अधिक, उच्च जटिलता वाले टास्क की आवश्यकता होती है
हम बुनियादी पसंद लेबल से कुशल विशेषज्ञों द्वारा रूब्रिक का उपयोग करने पर आ गए? टास्क बढ़ते हैं। हमने वर्टिकल एजेंट पेश किए हैं जो विशेषज्ञ-स्तरीय डोमेन कार्य को दोहराते हैं? टास्क बढ़ते हैं। एजेंटों को लंबे समय क्षितिज पर काम करने की आवश्यकता है? टास्क बढ़ते हैं। उद्यम सामूहिक रूप से इवेल्स को अपना रहे हैं? टास्क बढ़ते हैं!
इन्फ्रेंस बाजार की तरह, इन स्टैकिंग ग्रोथ इनपुट ने टास्क इकोनॉमी के लिए समान रूप से अभूतपूर्व वृद्धि उत्पन्न की है:
- OpenAI और Anthropic अपने डेटा व्यय को साल-दर-साल 10 गुना बढ़ा रहे हैं, हर डोमेन में विशेषज्ञों को जुटाने और डेटा बनाने और एजेंटों को प्रशिक्षित करने के लिए अरबों डॉलर खर्च कर रहे हैं।
- हमारे नेटवर्क में अग्रणी AI एप्लिकेशन कंपनियाँ और उद्यम निकट अवधि में अपने व्यक्तिगत टास्क-संबंधित व्यय को $100m+ तक बढ़ा रहे हैं क्योंकि वे मानते हैं कि डेटा ही उनकी खाई (moat) है, और एक विभेदित डेटा रणनीति के साथ एप्लाइड AI ऑफ-द-शेल्फ मॉडल को हरा सकता है।
- हमारे पोर्टफोलियो की कंपनी Mercor, टास्क इकोनॉमी का अग्रणी प्लेटफॉर्म, ने इस फरवरी में $1b का ARR हासिल किया और फिर सिर्फ 4 महीने बाद $2b का ARR हासिल किया।
कच्चे टास्क की मात्रा, उन टास्क की लंबाई और जटिलता, और टास्क पूरा करने वाले विशेषज्ञों की प्रति घंटे की लागत, सभी बढ़ रहे हैं, जो समग्र टास्क व्यय में घातीय वृद्धि पैदा करने के लिए जुड़ते हैं
और जितने प्रभावशाली इस बाजार में हाल के विकास संकेत रहे हैं, हम स्पष्ट रूप से इस बाजार के समग्र विकास और प्रभाव की केवल पहली पारी में हैं। हम अभी मुश्किल से उन एजेंटों को देखना शुरू कर रहे हैं जो किसी भी उन्नत डोमेन में उच्च गुणवत्ता वाले काम को दोहरा सकते हैं, और उद्यम इस वर्ष ही पैमाने पर खर्च करना शुरू कर रहे हैं क्योंकि वे लैब्स के मुकाबले एक विभेदक के रूप में डेटा के महत्व के प्रति जाग रहे हैं। इसकी तुलना इस पृष्ठभूमि से करें कि भविष्य की क्षमताओं से संबंधित 99% मानव ज्ञान जिसे हम AI को कवर करना चाहते हैं, लोगों के दिमाग में है। **यदि हम मानते हैं कि सभी प्रकार की एप्लाइड AI कंपनियाँ (लैब्स, AI ऐप कंपनियाँ, उद्यम) उस अंतर्निहित ज्ञान को मॉडल और एजेंटों में स्थानांतरित करना चाहेंगी, तो हमें टास्क इकोनॉमी के तीव्र विकास के कई और वर्षों के लिए तैयार रहना चाहिए, जो पहले की तुलना में खरीदारों/प्रतिभागियों के एक बहुत व्यापक सेट तक फैला हुआ है।
टास्क मेगा-ट्रेंड को और अधिक स्पष्ट बनाना
टोकन और टास्क AI की प्रगति और विकास के महत्वपूर्ण बैरोमीटर हैं, और दोनों तेजी से गति पकड़ रहे हैं। फिर भी इस समान रूप से विस्फोटक वृद्धि के बावजूद, आज ऑनलाइन टोकन की तुलना में टास्क के बारे में कहीं कम चर्चा होती है। मुझे लगता है कि यह मुख्य रूप से इसलिए है:
1) ऐतिहासिक रूप से इस बाजार में व्यय फ्रंटियर लैब्स में केंद्रित रहा है, जो अपने मॉडल सुधार रणनीतियों के बारे में अत्यधिक गुप्त हैं, जिसमें डेटा/टास्क पर उनका व्यय शामिल है। यह इस वर्ष से तेजी से बदल रहा है क्योंकि AI ऐप कंपनियाँ और उद्यम ऑफ-द-शेल्फ मॉडल के मुकाबले अंतर बनाने के लिए टास्क इकोनॉमी को अपना रहे हैं। इन कंपनियों द्वारा इस डोमेन में अपने प्रयासों का विपणन करने और इस श्रेणी को नियमित AI बातचीत में धकेलने की अधिक संभावना है।
और
2) बाजार के पास मूल्य अमूर्तता की उतनी साफ इकाई नहीं है जितनी इन्फ्रेंस के पास टोकन के साथ है। इस लेख का एक उद्देश्य इसे बदलना और टास्क के आसपास बातचीत को एक मूल्य इकाई के रूप में इकट्ठा करना है जिस पर हम मानकीकरण कर सकें। टोकन एक सार्वभौमिक भाषा है जो व्यापक दर्शकों को तकनीकी प्रवीणता की परवाह किए बिना AI की प्रगति को समझने में सक्षम बनाती है; टास्क को उसी तरह काम करना चाहिए ताकि व्यापक दर्शक उद्योग के AI क्षमताओं को आगे बढ़ाने में निवेश को समझ सकें।
इन अड़चनों को देखते हुए, उद्योग के पास आज "टास्क वॉल्यूम के लिए OpenRouter" या ऐसा कुछ भी नहीं है जो हमें समय के साथ टास्क इकोनॉमी के पैमाने और विकास का एक लाइव प्रॉक्सी दृश्य दे सके। जबकि भविष्य में किसी कंपनी के लिए ऐसा कुछ प्रकाशित करना अत्यधिक मूल्यवान होगा, अभी के लिए Mercor की टीम ने बाजार की घातीय वृद्धि की एक खिड़की के रूप में अपने प्लेटफॉर्म पर प्रति तिमाही ऐतिहासिक विशेषज्ञ घंटे काम का एक चार्ट प्रदान करने की कृपा की है। जैसा कि आप देख सकते हैं, वास्तविक डेटा विकास के परिमाण/गति से मेल खाता है जिसकी हमने पिछले भाग में चर्चा की थी:
स्रोत: Mercor
कई मायनों में टास्क इकोनॉमी AI के भविष्य के लिए परिभाषित बाजार है — एजेंटों के साथ अपने लैपटॉप पर हम जो भी कार्य कर सकते हैं, उन सभी को स्वचालित करने की बाधा, अर्थव्यवस्था की हर चीज़ के अनुरूप सभी ऐप्स, सभी वातावरणों और सभी टास्क के पूर्ण वितरण को कवर करना है। इसके लिए हर पेशेवर डोमेन, अकादमिक अनुशासन और उपभोक्ता उपयोग मामले में एक बड़े पैमाने पर डेटा निर्माण की आवश्यकता होगी। कानून, चिकित्सा, वित्त, सॉफ्टवेयर, विज्ञान और उससे आगे, प्रत्येक को अपने स्वयं के विशेषज्ञ-निर्मित डेटासेट, मूल्यांकन और RL वातावरण की आवश्यकता होगी। लैब्स, AI ऐप कंपनियाँ और उद्यम सभी आर्थिक रूप से उपयोगी कार्य की पूरी सतह पर इस डेटा बुनियादी ढाँचे को तेजी से बढ़ाने के लिए लड़ेंगे और जो सफल होंगे वे फ्रंटियर क्षमताओं में सुधार करना और बाजार हिस्सेदारी हासिल करना जारी रखेंगे।
हम एक समुदाय के रूप में इन प्रयासों को अधिक बारीकी से ट्रैक करना शुरू करेंगे क्योंकि आने वाले वर्षों में टास्क इकोनॉमी अधिक दृश्यमान और सर्वव्यापी हो जाएगी। और किसी दिन जल्द ही, जब हम AI के बारे में बात करेंगे, तो टास्क ही राजा होंगे।
फुटनोट: एक और स्पष्ट स्थान जहाँ हम सामान्य AI क्षमता में सुधार देखेंगे, वह मॉडलों में एल्गोरिदमिक सुधार है। मैंने इस लेख का ध्यान डेटा पर रखने के लिए उन्हें बाहर रखा है, लेकिन यह एक फोकस/शैलीगत विकल्प है, न कि यह सोचना कि हमें भविष्य में एल्गोरिदमिक सुधार नहीं मिलेंगे।
