स्रोतहीन तथ्य एक द्वीप के समान है। हर मेमोरी के साथ उसका मूल क्यों जुड़ा होना चाहिए।

एक फ्लैट-आरएजी सिस्टम के साथ बैठिए जो एक साल से प्रोडक्शन में चल रहा है और उससे चार सवाल पूछिए। "तुमने ऐसा क्यों कहा?" मॉडल ने ग्राहक की कॉन्ट्रैक्ट रिन्यूअल तारीख के बारे में एक आत्मविश्वासपूर्ण जवाब दिया, लेकिन स्रोत क्लॉज तक पहुंचने का कोई निशान मौजूद नहीं है। "इस दावे को फिर से मान्य करो—स्रोत बदल गया।" पिछले हफ्ते कॉन्ट्रैक्ट में संशोधन हुआ। इससे प्राप्त हर तथ्य संदिग्ध है। आप उन्हें ढूंढ नहीं सकते क्योंकि वे नहीं जानते कि वे किस दस्तावेज़ से आए हैं। "इन दो विरोधाभासी तथ्यों के बीच फैसला करो।" एक कहता है कि एलेक्स Google में काम करता है, दूसरा Stripe में। किसी के पास कॉन्फिडेंस स्कोर या स्रोत टाइमस्टैम्प नहीं है। लिखने की ताज़गी का सबूत की ताज़गी से कोई लेना-देना नहीं है। "इस हैल्युसिनेशन को एट्रिब्यूट करो।" मॉडल ने कहा कि मीटिंग गुरुवार को थी। गुरुवार को कोई मीटिंग नहीं थी। आप यह नहीं बता सकते कि LLM ने तारीख गढ़ी या मेमोरी में खराब डेटा ने इसे गुमराह किया।

ये चार असफलताएँ एक ही कारण साझा करती हैं। वे प्रत्येक एक गुम कॉलम हैं। एक स्रोत पहचानकर्ता, एक कैप्चर टाइमस्टैम्प, एक कॉन्फिडेंस स्कोर, एक रिस्पॉन्स साइटेशन लॉग। इनमें से प्रत्येक की कीमत लिखने के समय कुछ बाइट्स है। इन्हें न रखने की कीमत असीमित है: हर दावा ऑडिट करने योग्य नहीं है, हर विरोधाभास हल करने योग्य नहीं है, हर हैल्युसिनेशन ट्रेस करने योग्य नहीं है।

19 सिस्टमों में पैटर्न सुसंगत है। सबसे मजबूत कार्यान्वयन प्रोवेनेंस को उसी तरह मानते हैं जैसे अदालत सबूत को मानती है—हर दावा कस्टडी की एक अटूट श्रृंखला के साथ आता है या बिल्कुल नहीं आता है। सबसे कमजोर किसी को भी नहीं रखते हैं, और हर बार जब प्रोडक्शन में कुछ गलत होता है तो इसकी कीमत चुकाते हैं। यह लेख कॉर्पस द्वारा उजागर किए गए प्रोवेनेंस के छह स्तरों, उन्हें अलग करने वाली कार्यान्वयन परिपक्वता के तीन स्तरों, और इसे शुरू से सही बनाने की ईमानदार लागत पर चलता है।

छह स्तर, एक अनुशासन

19 सिस्टमों को एक के बाद एक पढ़ते हुए, प्रोवेनेंस के छह अलग-अलग स्तर सामने आते हैं। वे एक पदानुक्रम नहीं हैं; वे ऑर्थोगोनल हैं। एक सिस्टम में कारण प्रोवेनेंस के बिना स्रोत प्रोवेनेंस हो सकता है। इसमें कॉन्फिडेंस स्कोरिंग के बिना वर्जनिंग हो सकती है। सबसे मजबूत कार्यान्वयन सभी छह को कवर करते हैं। सबसे कमजोर में से कोई भी किसी को कवर नहीं करता।

पहचान इस सवाल का जवाब देती है "कौन सा तथ्य, वास्तव में?" OpenContext इनजेस्ट के समय संदर्भ के हर टुकड़े के लिए UUID बनाता है और उन्हें एक साइटेशन स्कीम के रूप में उजागर करता है जिसे एजेंट सीधे प्रतिक्रियाओं में उपयोग कर सकता है। पहचानकर्ता नाम बदलने, स्थानांतरित करने और पुनर्गठन से बच जाता है क्योंकि यह सामग्री से बंधा होता है, पथ से नहीं। mem9 हर पंक्ति पर एक स्थिर मेमोरी आईडी और If-Match कंकरेंसी सुरक्षा के साथ एक स्पष्ट वर्जन काउंटर रखता है। पहचान प्रोवेनेंस के बिना आप यह भी नहीं बता सकते कि जब चीजें गलत होती हैं तो आप किस बारे में बात कर रहे हैं।

स्रोत इस सवाल का जवाब देता है "यह कहाँ से आया?" Hindsight हर अवलोकन पर स्रोत प्रकार और पहचानकर्ता रिकॉर्ड करता है, ताकि सिस्टम यह बता सके कि किस वार्तालाप या दस्तावेज़ ने किसी विशेष तथ्य को उत्पन्न किया। mem9 हर पंक्ति पर स्रोत, एजेंट आईडी और सत्र आईडी रखता है। Supermemory मेमोरी के साथ दस्तावेज़ आईडी संग्रहीत करता है। स्रोत प्रोवेनेंस के बिना आप स्रोत बदलने पर अपडेट को कैस्केड नहीं कर सकते, क्योंकि आप नहीं जानते कि कौन से तथ्य उस पर निर्भर करते हैं।

कारण इस सवाल का जवाब देता है "किस एजेंट चरण ने इसका उपयोग किया?" Hindsight हर पुनर्प्राप्त और उपयोग किए गए तथ्य को पूर्ण पुनर्प्राप्ति संदर्भ के साथ एक अवलोकन स्तर में कैप्चर करता है—किस रिट्रीवर ने इसे सामने लाया, यह किस रैंक पर हासिल हुआ, और एजेंट ने वास्तव में इसका उपभोग किया या नहीं। Moraine हर ट्रेस चरण को अपने स्वयं के प्रोवेनेंस रिकॉर्ड के रूप में मानता है, जिससे एजेंट का संपूर्ण निष्पादन स्रोत-पता योग्य घटनाओं के अनुक्रम के रूप में पुनर्प्राप्त करने योग्य हो जाता है। कारण प्रोवेनेंस के बिना आप यह अंतर नहीं कर सकते कि "सिस्टम ने इस तथ्य को पुनर्प्राप्त किया" और "एजेंट ने इस तथ्य का उपयोग उस प्रतिक्रिया को उत्पन्न करने के लिए किया।"

कैप्चर कॉन्फिडेंस इस सवाल का जवाब देता है "जब हमने इसे लिखा तो हम कितने निश्चित थे?" Graphify अपने ज्ञान ग्राफ में हर एज को तीन-स्तरीय कैप्चर कॉन्फिडेंस से चिह्नित करता है: नियतात्मक निष्कर्षण के लिए CONFIRMED, उच्च-कॉन्फिडेंस LLM अनुमानों के लिए LIKELY, और अनिश्चित दावों के लिए AMBIGUOUS। AMBIGUOUS एज मानव समीक्षा के लिए "ज्ञान अंतराल" के रूप में सामने आते हैं, बजाय इसके कि चुपचाप तथ्य के रूप में व्यवहार किया जाए। Hindsight हर अवलोकन पर एक कॉन्फिडेंस स्कोर रखता है जो अपने ताजगी जीवनचक्र के माध्यम से समय के साथ घटता है—ताजा अवलोकनों पर भरोसा किया जाता है, बासी को कम महत्व दिया जाता है या सेवानिवृत्त किया जाता है। mem9 पहले शैडो मोड में नियर-डुप्लिकेट डिटेक्शन चलाता है, स्कोर रिकॉर्ड करता है बिना उन पर कार्य किए जब तक इंजीनियर वास्तविक डेटा से थ्रेशोल्ड को कैलिब्रेट नहीं कर लेता। कैप्चर कॉन्फिडेंस के बिना, अनिश्चित तथ्यों और निश्चित तथ्यों को समान वजन के साथ पुनर्प्राप्त किया जाता है, और एजेंट एक ठोस दावे और एक शिक्षित अनुमान के बीच अंतर नहीं कर सकता।

संस्करणित इस सवाल का जवाब देता है "हम पहले क्या मानते थे?" Supermemory मेमोरी को टाइप किए गए किनारों—अपडेट, एक्सटेंड, डिराइव—के साथ एक संस्करणित DAG के रूप में मानता है, जो हर विश्वास कमिट इतिहास देता है। mem9 राइट पथ को विभाजित करता है: मानव संपादनों के लिए इन-प्लेस म्यूटेशन, LLM-संचालित पुनर्लेखन के लिए एपेंड-एंड-आर्काइव जहां नई सामग्री पुरानी को अर्थपूर्ण रूप से बदल देती है। Tolaria Git को पूरी तरह से वर्जन इतिहास ले जाने देता है, एक-पंक्ति अंतर को प्रथम श्रेणी के उपयोगकर्ता-सामना करने वाले आर्टिफैक्ट के रूप में मानता है। संस्करणित प्रोवेनेंस के बिना आप उस पर वापस नहीं जा सकते जो सिस्टम मंगलवार को मानता था, क्योंकि पुराने विश्वास संग्रहीत होने के बजाय हटा दिए जाते हैं।

पारस्परिक इस सवाल का जवाब देता है "इस मूल के साथ कौन से अन्य तथ्य साझा करते हैं?" llm-wiki अपने चार-सिग्नल प्रासंगिकता ग्राफ में प्रत्यक्ष लिंकिंग के ऊपर स्रोत ओवरलैप को तौलता है—एक ही कच्चे दस्तावेज़ से आने वाले दो पृष्ठ एक सीधे विकिलिंक वाले दो पृष्ठों की तुलना में अधिक मजबूती से संबंधित माने जाते हैं, क्योंकि LLM क्रॉस-लिंकिंग में अविश्वसनीय है लेकिन स्रोत फ्रंटमैटर यांत्रिक रूप से बनाए रखा जाता है। EdgeQuake पूरे कॉर्पस में संस्थाओं और संबंधों पर स्रोत आईडी जमा करता है, ताकि विभिन्न स्रोतों से एक ही इकाई के बार-बार उल्लेख इसके प्रोवेनेंस वजन को मजबूत करते हैं। second-brain स्रोत को अपनी लेक्सिकल-इंडेक्स कंपोजिट कुंजी के हिस्से के रूप में रखता है, जिससे एक ही दस्तावेज़ को कई पाइपलाइनों से स्वतंत्र रूप से अनुक्रमित किया जा सकता है। पारस्परिक प्रोवेनेंस के बिना आप "मुझे इस सिस्टम में वह सब कुछ दिखाओ जो एक ही वार्तालाप से आया" या "हमने उस दस्तावेज़ से और क्या सीखा?" का जवाब नहीं दे सकते।

ये छह ऑर्थोगोनल हैं लेकिन वे एक दूसरे को मजबूत करते हैं। स्रोत प्रोवेनेंस पहचान के बिना बेकार है (तथ्य का नाम देना आवश्यक है इससे पहले कि आप इसका पता लगा सकें)। संस्करणीकरण कॉन्फिडेंस के बिना कमजोर है (आप संपादनों की वंशावली जानते हैं लेकिन यह नहीं कि सिस्टम उनमें से किसी के बारे में कितना निश्चित था)। पारस्परिक प्रश्न पहले स्रोत के उपस्थित होने पर निर्भर करते हैं। जो सिस्टम सभी छह को रखते हैं वे वे हैं जिनकी मेमोरी चुपचाप सड़ती नहीं है।

कार्यान्वयन परिपक्वता के तीन स्तर

कॉर्पस प्रोवेनेंस कहाँ रहता है और रीड टाइम पर यह क्या कर सकता है, इसके आधार पर तीन स्तरों में विभाजित होता है।

टियर 1 नो-प्रोवेनेंस RAG है, जो अधिकांश टीमों के लिए प्रारंभिक बिंदु है। सामग्री और एम्बेडिंग के साथ फ्लैट वेक्टर स्टोर। कोई स्रोत कॉलम नहीं, कोई कॉन्फिडेंस स्कोर नहीं, कोई वर्जन इतिहास नहीं। जब कोई तथ्य पुनर्प्राप्त किया जाता है, तो आपको टेक्स्ट और एक समानता स्कोर मिलता है। आप यह पता नहीं लगा सकते कि यह कहाँ से आया, सिस्टम इसके बारे में कितना निश्चित था, या क्या इसे प्रतिस्थापित किया गया है। जो भी सिस्टम यहाँ शुरू हुआ, वह समय के साथ टियर 2 की ओर बढ़ गया है।

टियर 2 पंक्ति पर प्रोवेनेंस रखता है। स्रोत आईडी, कॉन्फिडेंस, वर्जन—सभी तथ्य के साथ कॉलम के रूप में उपस्थित हैं। mem9 यहाँ हर पंक्ति पर स्रोत, एजेंट आईडी, सत्र आईडी और वर्जन के साथ बैठता है। Supermemory का संस्करणित DAG टियर 2 संरचना है। Graphify का तीन-स्तरीय एज कॉन्फिडेंस टियर 2 अनुशासन है। प्रोवेनेंस क्वेरी के लिए उपलब्ध है, लेकिन यह स्वचालित रूप से पुनर्प्राप्ति परिणामों को सजाता नहीं है। आपको वह क्वेरी लिखनी होगी जो इसका उपयोग करती है।

टियर 3 कॉलर को इसके लिए पूछने की आवश्यकता के बिना रीड-टाइम परिणामों को प्रोवेनेंस संदर्भ से सजाता है। Hindsight यहाँ संदर्भ है—हर पुनर्प्राप्त तथ्य अपने स्रोत प्रकार, कॉन्फिडेंस स्कोर, ताजगी स्थिति, और प्रति-रिट्रीवर रैंकिंग पहले से संलग्न करके आता है। परिणाम का उपभोग करने वाला एजेंट प्रोवेनेंस को तथ्य के हिस्से के रूप में देखता है, एक अलग लुकअप के रूप में नहीं। mem9 का स्रोत-टर्न सजावट टियर 2 और टियर 3 के बीच आधा बैठता है, एक टियर 2 स्कीमा पर रीड-टाइम संदर्भ ग्राफ्ट करता है।

माइग्रेशन एकतरफा है। कोई भी सिस्टम टियर 3 से शुरू नहीं होता है और प्रोवेनेंस अनुशासन को हटाने का फैसला नहीं करता है। कॉलम उपस्थित होते ही अपना मूल्य साबित कर देते हैं। यदि आप आज एक मेमोरी सिस्टम डिजाइन कर रहे हैं, तो सवाल यह नहीं है "क्या मुझे प्रोवेनेंस चाहिए?" बल्कि "मैं किस स्तर से शुरू करना चाहता हूँ, यह जानते हुए कि मेरे द्वारा चुने गए स्तर से ऊपर का हर स्तर बाद में पहुँचना अब बेक करने की तुलना में कठिन है?"

सावधान करने वाला मामला: गणना की गई और त्याग दी गई

Understand-Anything बताता है कि क्या होता है जब कॉन्फिडेंस के लिए सब्सट्रेट मौजूद है लेकिन इसे रिकॉर्ड करने के लिए कॉलम नहीं है। सिस्टम नियतात्मक किनारों (प्रोजेक्ट स्कैनर द्वारा स्रोत फ़ाइलों से हल किए गए) को अनुमानित किनारों (सिमैंटिक विश्लेषण के दौरान LLM द्वारा अनुमानित) से अलग करता है। वह जानकारी वास्तविक और अर्थपूर्ण है—एक संरचनात्मक आयात किनारा एक गैर-कोड अनुमान की तुलना में उच्च कॉन्फिडेंस का हकदार है। लेकिन दोनों को वजन 0.7 के रूप में संग्रहीत किया जाता है, ग्राफ में समान। कॉन्फिडेंस सिग्नल लिखने के समय गणना किया जाता है और स्थायित्व से पहले त्याग दिया जाता है।

एक कॉन्फिडेंस फ़ील्ड जोड़ना एक छोटा बदलाव होगा जिसमें बड़ा सूचना-गुणवत्ता लाभ होगा। सिस्टम पहले से ही जानता है कि कौन से किनारे ठोस हैं और कौन से अनुमान हैं। यह बस उस अंतर को वहाँ रिकॉर्ड नहीं करता जहाँ यह मायने रखता है—उस पंक्ति पर जिसे बाद में पुनर्प्राप्त किया जाता है, जब एजेंट को उनके बीच अंतर करने की आवश्यकता होती है। यह पैटर्न कॉर्पस में कई सिस्टमों में दिखाई देता है: जानकारी लिखने के समय उपलब्ध है, कैप्चर करने के लिए सस्ती है, और फिर खो जाती है क्योंकि किसी ने कॉलम नहीं जोड़ा।

इसे सही बनाने की ईमानदार लागत

प्रोवेनेंस की कीमत बाइट्स है। एक स्रोत आईडी, एक कॉन्फिडेंस स्कोर, एक वर्जन काउंटर—प्रत्येक प्रति पंक्ति कुछ फ़ील्ड जोड़ता है। पैमाने पर यह मायने रखता है, लेकिन यह उनकी अनुपस्थिति की कीमत से कहीं कम मायने रखता है जब प्रोडक्शन में कुछ गलत होता है और आप यह पता नहीं लगा सकते कि सिस्टम ने गलत उत्तर क्यों उत्पन्न किया।

कम्प्यूट लागत अपेक्षा से कम है। कॉन्फिडेंस स्कोरिंग में आमतौर पर लिखने के समय एक अतिरिक्त LLM कॉल की आवश्यकता होती है (या संरचनात्मक तथ्यों के लिए एक नियतात्मक हेयुरिस्टिक), जो हर बाद के रीड पर परिशोधित होता है। स्रोत ट्रैकिंग की लागत एक पहचानकर्ता को रिकॉर्ड करने से अधिक कुछ नहीं है जो पहले से मौजूद है। वर्जनिंग की लागत प्रति राइट एक अतिरिक्त कॉलम या एक एपेंड है, पूर्ण स्नैपशॉट नहीं। Hindsight का अवलोकन स्तर पुनर्प्राप्त और उपयोग किए गए तथ्यों की संख्या के अनुपात में भंडारण जोड़ता है, लेकिन केवल वही रिकॉर्ड करता है जो एजेंट ने वास्तव में उपभोग किया, वह सब कुछ नहीं जो उसने देखा।

परिचालन लागत असली सवाल है। टियर 3 सजावट का मतलब है हर पुनर्प्राप्ति पर अधिक डेटा प्रवाहित होना, जो संदर्भ-विंडो उपयोग और प्रतिक्रिया विलंबता को थोड़ा बढ़ाता है। जो सिस्टम इसे शिप करते हैं वे सजावट को संक्षिप्त रखकर इसे संभालते हैं—एक स्रोत प्रकार एनम, एक कॉन्फिडेंस फ्लोट, एक ताजगी स्थिति—पूर्ण प्रोवेनेंस पेड़ों को इनलाइन करने के बजाय। एजेंट को मेटाडेटा में डूबे बिना अंतर करने के लिए पर्याप्त मिलता है।

सबसे मजबूत कार्यान्वयन क्या साझा करते हैं

कॉर्पस में उदाहरण फिर से बताने योग्य हैं क्योंकि कोई भी दो समस्या के एक ही टुकड़े को हल नहीं करते हैं:

OpenContext UUID मिंट करता है जो किसी भी फाइल सिस्टम पुनर्गठन से बच जाता है और उन्हें एक साइटेशन स्कीम के रूप में उजागर करता है जिसे एजेंट सीधे उपयोग कर सकता है। mem9 हर पंक्ति पर स्रोत, एजेंट आईडी, सत्र आईडी रखता है, हर अपडेट पर वर्जन, और एक स्पष्ट बजट द्वारा शासित स्रोत-टर्न संदर्भ के साथ खोज परिणामों को सजाता है। Supermemory मेमोरी को टाइप किए गए किनारों के साथ एक संस्करणित DAG के रूप में मानता है, जो हर विश्वास को कमिट इतिहास देता है। Hindsight हर पुनर्प्राप्त और उपयोग किए गए तथ्य को पूर्ण स्रोत प्रोवेनेंस, विकास इतिहास, और प्रति-रिट्रीवर रैंकिंग के साथ एक अवलोकन स्तर में कैप्चर करता है। Graphify हर एज को तीन-स्तरीय कैप्चर कॉन्फिडेंस से चिह्नित करता है, अनिश्चित किनारों को तथ्य के रूप में मानने के बजाय मानव समीक्षा के लिए सामने लाता है।

एकीकृत अवलोकन स्पष्ट है: प्रोवेनेंस मेटाडेटा नहीं है, यह तथ्य का हिस्सा है। जो सिस्टम इसे उस तरह मानते हैं वे वे हैं जिनकी मेमोरी चुपचाप सड़ती नहीं है, जिनके विरोधाभासों का निर्णय लिया जा सकता है, जिनके हैल्युसिनेशन का पता लगाया जा सकता है, और जिनके विश्वास इतिहास को अतीत के किसी भी बिंदु पर वापस घुमाया जा सकता है बिना आवश्यकता का अनुमान लगाए।

जो सिस्टम ऐसा नहीं करते वे वे हैं जिनके उपयोगकर्ता अंततः सीखते हैं कि जिस मेमोरी पर वे भरोसा कर रहे थे वह हमेशा एक द्वीप थी।

प्रोवेनेंस सबसे सस्ता बीमा है जिसे आप लिखने के समय खरीद सकते हैं। अनुशासन यह है कि इसे तब खरीदें जब आपको पता चले कि आपको इसकी आवश्यकता है।

यह लेख उपयोगी लगा, तो कृपया साझा करें ताकि दूसरों को भी लाभ हो सके :)

अगला लेख हाइब्रिड रिट्रीवल और RRF पर चलता है, वह पैटर्न जो आपको वेक्टर और कीवर्ड सिग्नल को संयोजित करने देता है बिना एक दूसरे को डुबोए—जो सबसे ज्यादा मायने रखता है जब प्रोवेनेंस आपको बताता है कि एक तथ्य ठोस है लेकिन अकेली प्रासंगिकता इसे दफना देगी। वह लेख आ रहा है।