एज पर डेटा

कई सबसे महत्वपूर्ण डेटा सेट वे हैं जिन्हें हम लंबे समय से एक्सेस या व्याख्या नहीं कर पाए हैं।

इंटरनेट पर मूल्य काफी हद तक डेटा लूप के माध्यम से संचित हुआ है जो स्केल के साथ लगातार मजबूत होते हैं। एक उत्पाद या प्लेटफ़ॉर्म डेटा एकत्र करता है, वह डेटा उस उत्पाद को बेहतर बनाता है, और बेहतर उत्पाद बदले में अधिक डेटा एकत्र करने का अधिकार अर्जित करता है। यह स्व-सुधार लूप अधिकांश टिकाऊ सॉफ्टवेयर व्यवसायों के नीचे बैठता है और एंडी ने 2015 में लिखा था कि यह एप्लिकेशन लेयर नेटवर्क इफेक्ट्स के नीचे कैसे बैठता है, तब से USV नेटवर्क इफेक्ट्स थीसिस का एक महत्वपूर्ण स्तंभ रहा है।

https://x.com/aweissman/status/676568250210082817

आज, यह पहले से कहीं अधिक सच है। AI युग में, डेटा ही अंतिम मुद्रा है। लैब्स तदनुसार खर्च कर रही हैं और Mercor जैसी कंपनियाँ अरबों डॉलर के राजस्व की ओर दौड़ रही हैं।

डेटा नेटवर्क इफेक्ट की बाधा हमेशा दायरा और पहुंच रही है–कौन सा डेटा सीमा में है और कौन सा बाहर। सॉफ्टवेयर जो डेटा कैप्चर कर सकता था वह सबसे अधिक सुलभ था क्योंकि सॉफ्टवेयर के बाहर का विशाल डेटा (हमारे आसपास का वातावरण, भौतिक दुनिया, मानव शरीर) कैप्चर करने के लिए बहुत महंगा और कठिन था, प्रोसेस करने में बहुत मुश्किल था, और इस प्रकार दुर्गम था।

अब, शक्तिशाली ताकतों का एक अभिसरण इसे उलट रहा है। बुद्धिमत्ता प्रचुर है और लागत घट रही है। मॉडल सबसे गंदे, असंरचित इनपुट को भी जल्दी से प्रोसेस कर सकते हैं जो सॉफ्टवेयर के लिए बहुत कठिन थे। हार्डवेयर बनाने की लागत और समय तेजी से कम हुआ है। और हम अवलोकन क्षमता का प्रसार देख रहे हैं–तेजी से सस्ते और सर्वव्यापी सेंसर, उपग्रहों, कैमरों आदि के माध्यम से–जिससे हमारे आसपास की दुनिया से डेटा कैप्चर करना पहले से कहीं अधिक संभव हो गया है। कुल मिलाकर, इन इनपुट को अभूतपूर्व तरीकों से एकत्र करने, तुरंत और बुद्धिमानी से प्रोसेस करने और उन पर निर्माण करने की क्षमता उन जगहों पर डेटा लूप बनाने की अनुमति देती है जो कुछ साल पहले पूरी तरह से अंधेरे में थे। यह AI मौजूदा बाजारों में दक्षता नहीं ला रहा है; यह पूरी तरह से नए अवसरों का एक सेट है।

इसके कई उदाहरण हैं जहाँ यह काम में आ रहा है। एम्बिएंट कन्वर्सेशन उनमें से एक है। हम एक सदी से भाषण रिकॉर्ड करने में सक्षम हैं, लेकिन अब इसे ट्रांसक्राइब करने, संरचित करने और उस पर कार्रवाई करने की हमारी क्षमता ने इसे एक उपयोगी डेटासेट में बदल दिया है। यह Abridge जैसे वर्टिकल अवसरों को जन्म देता है ताकि उस डेटासेट को लेकर ऐसे एप्लिकेशन बनाए जा सकें जो विशेष बाजारों के संचालन के तरीके को बदल दें, या Granola जैसे क्षैतिज बुनियादी ढाँचा और टूलिंग बनाए। रिकॉर्डिंग कभी कठिन हिस्सा नहीं थी, लेकिन प्रोसेसिंग और उत्पादीकरण पहले संभव नहीं था।

मानव शरीर एक और उदाहरण है। परीक्षण की लागत गिर रही है, परिणामों की व्याख्या करने की क्षमता में सुधार हो रहा है, और डेटा के शीर्ष पर एक कार्यक्रम को वैयक्तिकृत करना तेजी से संभव हो रहा है। शरीर एक डेटा स्रोत के रूप में सुलभ और उपयोगी दोनों बन जाता है।

लेकिन शायद यहाँ सबसे बड़ा अवसर भौतिक दुनिया है।

भौतिक दुनिया में भारी मात्रा में डेटा है जो लंबे समय से या तो एकत्र करने की पहुँच से बाहर था या प्रोसेस करने के लिए बहुत गंदा था, लेकिन ऑटोमेशन, ऑप्टिमाइज़ेशन और समझ के लिए आवश्यक है। अब, सेंसर बढ़ रहे हैं, रोबोट अधिक सक्षम और सस्ते हो रहे हैं, और गंदे डेटा को जल्दी से प्रोसेस करना संभव है। तेजी से चुनौतीपूर्ण कार्यों में रोबोट को प्रशिक्षित करने के लिए मॉडल तेज गति से सुधर रहे हैं और पहले से कहीं अधिक डेटा को अवशोषित कर रहे हैं। हम भौतिक दुनिया में जो संभव है, उसे प्रयोग से व्यावसायीकरण में परिवर्तित होते देख रहे हैं। वह डेटा लूप यहाँ विशेष रूप से मजबूत है। अधिक तैनाती अधिक वास्तविक दुनिया का डेटा उत्पन्न करती है, बेहतर डेटा मॉडल को बेहतर बनाता है, और बेहतर मॉडल अगली तैनाती को पिछली तुलना में तेज़ और सस्ता बनाते हैं।

भौतिक दुनिया में इन अवसरों में निर्माण करना बहुत शुरुआती और बहुत कठिन दोनों है, जिसमें डेटा फ्लाईव्हील अभी उभर रहा है। सॉफ्टवेयर फ्लाईव्हील के भीतर, हम सीखने (मॉडल को प्रशिक्षित करने के लिए डेटा का उपयोग) से रीइन्फोर्समेंट लर्निंग (पुरस्कार कार्यों को परिभाषित करना ताकि सिस्टम सीख सके कि इंटरैक्शन के माध्यम से कौन से कार्य बेहतर परिणाम देते हैं) से सतत सीखने (नए डेटा आने पर मॉडल को बेहतर होते रहने देना) तक भारी प्रगति देखना शुरू कर रहे हैं। भौतिक दुनिया में, हम अभी रीइन्फोर्समेंट लर्निंग की सतह को खरोंचना शुरू कर रहे हैं जो तब हो सकता है जब रोबोट भौतिक दुनिया के साथ बातचीत करते हैं।

GIF

लेकिन भौतिक दुनिया के इस डेटा फ्लाईव्हील से जो अवसर प्रतीक्षा कर रहे हैं, वे विशाल, बाजार-परिवर्तनकारी और पहले दुर्गम हैं। सबसे दिलचस्प उपयोग के मामले कठिन चीजों को आसान बनाना नहीं हैं, बल्कि अंतर्दृष्टि और कार्रवाई की अनुमति देना है जिसे हम कभी हासिल नहीं कर पाए हैं।

उदाहरण के लिए, हर यूटिलिटी पोल पर सेंसर बुनियादी ढाँचे की अवलोकन क्षमता की अनुमति देंगे जो पहले असंभव थी क्योंकि बैटरी को हर 6 महीने में बदलना पड़ता था, जिससे इसे शुरू करना लागत-निषेधात्मक हो जाता था। अब, 10 साल तक चलने वाली बैटरी के साथ, हमारे बुनियादी ढाँचे का गहरा ज्ञान न केवल किफायती होगा, बल्कि प्राप्त करने योग्य होगा। मॉडल जो हमारे आसपास की दुनिया में अत्यधिक विविध स्रोतों से सेंसर इनपुट ले सकते हैं और उन्हें एक साथ संश्लेषित कर सकते हैं और शोर को समझ सकते हैं, हमें अपने मौसम के पैटर्न की समझ एक ऐसी सूक्ष्मता और सटीकता में देंगे जो हमारे पास कभी नहीं थी, जो अंततः उन्हें बदलने में सक्षम होने की सबसे महत्वपूर्ण दिशा है। स्वायत्त परिवहन (सेंसर के माध्यम से संभव हुआ) तेजी से लोगों और वस्तुओं को एक पूरी तरह से नई लागत संरचना में स्थानांतरित करने की अभूतपूर्व क्षमता बनाने की राह पर है। हम अब अपने महासागरों को समझ सकते हैं और इस प्रकार अपनी भूमि की रक्षा करने, अपने जहाजों को नेविगेट करने और अपने ग्रह को बनाए रखने के बारे में नया ज्ञान प्राप्त कर सकते हैं।

भौतिक दुनिया के स्टैक की हर परत को फिर से आविष्कार करने का एक बड़ा अवसर है। हमने प्रत्येक स्तर पर इसमें महत्वपूर्ण रूप से निवेश किया है और ऐसा करना जारी रखेंगे (कई अघोषित निवेशों के साथ जिनके बारे में हम जल्द ही और अधिक साझा करने के लिए उत्साहित हैं।) Generalist फाउंडेशन मॉडल बना रहा है जो रोबोट को सामान्य निपुणता देते हैं, उन कार्यों को करने की क्षमता जो हम वास्तव में करवाना चाहते हैं। Tutor Intelligence रोबोट तैनाती के पूरे लूप को डेटा संग्रह और मॉडल सुधार के माध्यम से चलाता है, जिससे रोबोट छह महीने के एकीकरण के बजाय दिनों में उत्पादक बन सकते हैं (और फिर उस डेटा को लगातार सुधारने के लिए अपने स्वयं के मॉडल में वापस फीड करता है।) Sofar Ocean विशाल सेंसर प्रसार का लाभ उठाकर शीर्ष पर स्वामित्व और तीसरे पक्ष के सॉफ्टवेयर नेटवर्क दोनों के लिए बुनियादी ढाँचा प्रदान करता है। Viam बीच में बैठता है, उपकरणों के बेड़े में डेटा, AI और ऑटोमेशन के लिए ऑपरेटिंग लेयर के रूप में। Efficient Computer आधार पर है, ऐसी सिलिकॉन का निर्माण कर रहा है जो किनारे पर नए उपयोग के मामलों को किफायती बनाने के लिए पर्याप्त कुशल है।

दूसरे क्रम के प्रभाव भी महत्वपूर्ण हैं। एक बार जब आप पैमाने पर भौतिक दुनिया के डेटा को कैप्चर और उस पर कार्रवाई कर सकते हैं, तो आप ऑटोमेशन और एजेंटिक ऑपरेटिंग सिस्टम के माध्यम से कहीं अधिक कुशल कारखाने चला सकते हैं, उदाहरण के लिए, जो Isembard कर रहा है। और, निश्चित रूप से, इस परत के नीचे बढ़ी हुई ऊर्जा और शक्ति की भारी आवश्यकता है जो कंप्यूट के इस स्तर और वहाँ आवश्यक सभी इनपुट को सक्षम बनाती है (अधिक कुशल डेटा सेंटर, प्रचुर और सुरक्षित बैटरी, स्केल किए गए और स्वच्छ उत्पादन के नए प्रारूप, आदि)

नीचे दिया गया बाजार मानचित्र हमारी भौतिक दुनिया की खोज और उस पर कार्रवाई करने वाले स्टैक का उदाहरण है।

हम बहुत शुरुआती दौर में हैं। इनमें से अधिकांश डेटासेट मुश्किल से छेड़े गए हैं, और अधिकांश उत्पाद जो उन पर चलेंगे, अभी मौजूद नहीं हैं। उन्हें ढूँढना, उन तक पहुँचना और उन्हें काम में लगाना हमारे भौतिक दुनिया के साथ बातचीत करने के तरीके को बदल देगा। हम उस किनारे की पूरी सीमा का पता लगाना चाहते हैं, उन संस्थापकों के साथ जो इसकी ओर दौड़ रहे हैं।

इस पोस्ट पर हमारी सोच को तेज करने के लिए @km @joshgruenstein @alexiskold @nbt @chadbyers @html_tina और Brandon Lucia का बहुत-बहुत धन्यवाद।