AI मेमोरी पर कुछ खास विचार

एक नई जगह में कुछ बनाने की खूबसूरत बात यह है कि अभी तक कोई सही जवाब नहीं हैं। इसका मतलब यह भी है कि कुछ भी बनाने में मूलतः यह दांव लगाना शामिल है कि पारिस्थितिकी तंत्र कहाँ विकसित होगा। हमने नीचे उन सवालों की (गैर-विस्तृत) सूची बनाई है, जिन पर हम अक्सर इस क्षेत्र के लोगों के साथ चर्चा करते हैं, साथ ही इस बारे में हमारी भविष्यवाणियाँ भी कि जवाब क्या होगा। हमें आपके विचार, भविष्यवाणियाँ और असहमतियाँ सुनना अच्छा लगेगा!

क्या लैब्स के अलावा मेमोरी और नॉलेज बेस कंपनियों के लिए भी जगह है?

• भविष्यवाणी: वर्टिकल मेमोरी स्केलिंग (यानी एजेंटों को अधिक समय तक चलाने में मदद करना) करने वाली कंपनियों को प्रतिस्पर्धा करने में कठिनाई होगी और वे लैब्स और अन्य एजेंटिक हार्नेस द्वारा दबाव में आ जाएंगी। हॉरिजॉन्टल स्केलिंग (यानी टीमों या पूरे संगठनों में) करने वाली कंपनियों को बेहतर परिदृश्य मिलेगा। ऐसा इसलिए है क्योंकि एंटरप्राइज़ डील साइकिल लंबी होती हैं और समस्याएं (डेटा आइसोलेशन, सुरक्षा, कंपनी ऑन्टोलॉजी) नवीनतम मॉडल अपडेट या रिसर्च आइडिया से हल नहीं हो सकतीं।

क्या मेमोरी लेयर्स को वेट स्पेस बनाम टोकन स्पेस में काम करना चाहिए?

• टोकन स्पेस के कई फायदे हैं। यह व्याख्यात्मक है। यह मॉडल-अज्ञेयवादी है। यह सस्ता है। हमारे पास स्टोरेज, डेटा आइसोलेशन, मॉड्यूलरिटी आदि को संभालने के लिए दशकों का बुनियादी ढांचा है।
• हालांकि, वेट अधिक अभिव्यंजक प्रतीत होता है और समस्याओं का एक ऐसा वर्ग हो सकता है जिसे हम केवल टोकन स्पेस में हल नहीं कर सकते। विशेष रूप से, प्रोसीजरल मेमोरी जिसमें अस्पष्ट रेखाएं और जटिल शाखा पथ शामिल हैं, टोकन स्पेस के लिए उपयुक्त नहीं लगती (जैसे, बोर्ड गेम के नियम पढ़ने की कोशिश करना बनाम यह देखना कि इसे कैसे खेला जाता है)
• भविष्यवाणी: अधिकांश मेमोरी टोकन स्पेस में काम करेगी (जैसे एजेंट ट्रेस, सिमैंटिक जानकारी आदि) लेकिन कुछ समस्याएं (जैसे लेखन शैली, स्वाद, प्रक्रियात्मक कौशल आदि) ऐसी होंगी जिनके होते अडैप्टर होंगे जिन्हें मॉडलों में फिट किया जा सकता है। मेक इंटरप्रिटेशन तकनीकें हमें उन्हें व्याख्या करने में सक्षम बनाएंगी।

क्या मेमोरी सिर्फ एक सर्च और रिट्रीवल समस्या है?

• अधिकांश वर्तमान मेमोरी सिस्टम रिट्रीवल पर केंद्रित हैं। वे एजेंटों के काम करने के लिए सही समय पर सही जानकारी खोजने पर ध्यान केंद्रित करते हैं (जैसे, LoCoMo बेंचमार्क सुई-इन-ए-हेस्टैक रिट्रीवल पर केंद्रित है)।
• सवाल यह है कि क्या यह मेमोरी समस्या को हल करने के लिए पर्याप्त है। दूसरे शब्दों में, यदि आप एक निजी डेटा स्टोर के साथ SOTA सर्च (जैसे Google या Exa या Perplexity) को जोड़ते हैं, तो क्या यह मेमोरी को हल करने के लिए पर्याप्त है?
• भविष्यवाणी: कटिंग एज पर काम करने वाले शोधकर्ताओं और निर्माताओं के बीच बढ़ती सहमति है कि मेमोरी सिर्फ जानकारी का भंडारण और उस जानकारी पर रिट्रीवल नहीं है। हम इस समस्या को आंतरिक रूप से "ब्लास्ट रेडियस" कहते हैं। जानकारी की उपयोगिता दायरे (समय या संदर्भ) से सीमित होती है। मनुष्यों को ढेर सारा अप्रासंगिक टेक्स्ट पढ़ने और केवल सबसे उपयोगी जानकारी पर उचित भार लगाने में कोई समस्या नहीं होती। एक शुद्ध रिट्रीवल सिस्टम (स्मार्ट रीरैंकिंग के साथ भी) उससे कम पड़ता है।

क्या हमें स्वचालित रूप से संदर्भ में जानकारी इंजेक्ट करनी चाहिए?

• इसके खिलाफ तर्क कॉन्टेक्स्ट रॉट या प्रदूषण है। किसी एजेंट में जानकारी इंजेक्ट करना, विशेष रूप से यदि वह सही जानकारी नहीं है, तो प्रदर्शन में गिरावट का कारण बन सकता है। यह एजेंट को आपके सत्रों के बीच कनेक्शनों पर अत्यधिक ध्यान केंद्रित करने का कारण भी बनता है जो वास्तविक नहीं हो सकते हैं। यही कारण है कि बहुत से लोग ChatGPT या Claude Code के लिए मेमोरी सुविधाएं बंद कर देते हैं।
• भविष्यवाणी: संदर्भ में जानकारी इंजेक्ट करना महत्वपूर्ण है क्योंकि यह एजेंट को "अज्ञात अज्ञात" से निपटने में सक्षम बनाता है। आपके पास एक उत्तम मेमोरी टूल हो सकता है, लेकिन यदि एजेंट को इसका उपयोग करना नहीं पता है, तो आपने समस्या हल नहीं की है। मनुष्यों के लिए, इस प्रकार का "इंजेक्शन" हर समय होता है। पिछली यादें आपकी सक्रिय पसंद के बिना आपकी चेतना में प्रकट होती हैं। आज इसकी समस्याएं संभवतः ऊपर उल्लिखित ब्लास्ट रेडियस समस्या से उपजी हैं।

मेमोरी के लिए सही बेंचमार्क क्या हैं?

• एक सामान्य धारणा है कि मौजूदा बेंचमार्क जैसे LoCoMo और LongMemEval पर्याप्त नहीं हैं। हमने उन पर ~85% प्रदर्शन हासिल कर लिया है और मेमोरी आज भी उतनी ही अनसुलझी लगती है जितनी एक साल पहले थी। इसके अलावा, बेंचमार्क पर बेहतर प्रदर्शन उपयोगकर्ता के दृष्टिकोण से "बेहतर महसूस" करने वाली मेमोरी से संबंधित नहीं लगता।
• इसके अलावा, इस क्षेत्र में बेंचमार्क बनाना कठिन है क्योंकि मेमोरी जिस अंतर्निहित लंबी समयावधि पर काम करती है, वह डेटा उपलब्धता और लागत/स्केलिंग समस्याएं पैदा करती है।
• भविष्यवाणी: इस समस्या को हल करने वाली कंपनी या लैब संभवतः किसी बेंचमार्क पर हिल क्लाइंबिंग करके ऐसा नहीं करेगी, बल्कि किसी ग्राहक/उपयोगकर्ता अंतर्दृष्टि पर दांव लगाकर करेगी जिसे वर्तमान बेंचमार्क माप नहीं रहे हैं। यह Wisprflow के समान है, जहां उन्होंने वर्ड-एरर-रेट मीट्रिक को छोड़ दिया जिस पर अन्य ट्रांसक्रिप्शन टूल ने एंकर किया था।

क्या लंबे संदर्भ विंडो सब कुछ हल कर देंगी?

• हमने जनवरी में एक भविष्यवाणी की थी कि संदर्भ विंडो वास्तव में समस्या का समाधान नहीं करेंगी और यह अब तक काफी हद तक सही साबित हुई है।

मजबूत मॉडल और डेटा इंटीग्रेशन मेमोरी सिस्टम को बेकार बना देते हैं

• इसके पक्ष में तर्क यह है कि यदि आपके पास फ्रंटियर मॉडल + एजेंट हार्नेस + MCP डेटा कनेक्टर हैं तो आप अपनी इच्छित कोई भी जानकारी प्राप्त कर सकते हैं। और यह पता चला है कि रिट्रीवल गुणवत्ता अन्य सिस्टम (जैसे LLM wiki, हाइब्रिड रिट्रीवल आदि) की तुलना में अधिक नहीं बदलती है।
• भविष्यवाणी: अल्पावधि में, मेमोरी सिस्टम अभी भी उपयोगी हैं क्योंकि वे हर समय फ्रंटियर मॉडल के माध्यम से सब कुछ खोजने की तुलना में विलंबता और लागत कम करते हैं। मध्यम से दीर्घावधि में, मेमोरी सिस्टम रिट्रीवल पर स्थिरता सक्षम करते हैं जो चक्रवृद्धि को सक्षम बनाता है। दूसरे शब्दों में, हम अभी भी एजेंटों को कोड लिखने देते हैं जिसे वे समय के साथ बेहतर बनाते हैं, बजाय इसके कि वे सीधे कोई ऐप प्रकट करें।

फाइल सिस्टम पर एजेंटिक सर्च ही सब कुछ है

• Letta ने पिछले साल इसकी भविष्यवाणी की थी और यह काफी भविष्यसूचक साबित हुआ है। अल्प-मध्यम अवधि में, एजेंट कोडिंग प्रदर्शन के उद्देश्य से पोस्ट-ट्रेनिंग के कारण फाइल सिस्टम पर काम करने में अत्यधिक अच्छे होते हैं। उस पोस्ट-ट्रेनिंग का लाभ उठाने से आज पुरस्कार मिलते हैं।
• भविष्यवाणी: दीर्घावधि में, फाइल सिस्टम के अतिरिक्त एक प्रकार के हाइब्रिड इंडेक्स की कल्पना करना कठिन नहीं है। यह आवश्यक क्यों है, इसके पीछे मुख्य अंतर्ज्ञान यह है कि फाइल सिस्टम उच्च डेटा वॉल्यूम या फेडरेटेड उपयोग-मामलों में खराब प्रदर्शन करते हैं। कच्चे डेटा पर एजेंट "मोनोलॉग" भी तेजी से महत्वपूर्ण हो जाएंगे और हमें इसका समर्थन करने के लिए सिद्धांतित और संरचित तरीकों की आवश्यकता होगी।