यह उस श्रृंखला का एक हिस्सा है जिसे हम Langfuse Academy के भाग के रूप में प्रकाशित कर रहे हैं, जहाँ हम पूर्ण AI इंजीनियरिंग जीवनचक्र के माध्यम से चलते हैं। यदि आप श्रृंखला में नए हैं, तो The AI Engineering Loop शुरू करने के लिए सबसे अच्छी जगह है।
AI Engineering Loop का संक्षिप्त पुनरावलोकन
AI Engineering Loop वह तरीका है जिससे टीमें AI सिस्टम को लगातार बेहतर बनाती हैं। यह प्रोडक्शन में होने वाली चीज़ों (tracing, monitoring) को विकास के दौरान संरचित पुनरावृत्ति (datasets, experiments, evaluation) से जोड़ता है। प्रत्येक शिप किया गया सुधार नया डेटा उत्पन्न करता है, और टीमें इस प्रक्रिया से लगातार गुज़रती रहती हैं।
आप इसके बारे में यहाँ और अधिक पढ़ सकते हैं।
Tracing लूप में कैसे फिट होता है
पारंपरिक सॉफ़्टवेयर काफी हद तक नियतात्मक (deterministic) होता है, निष्पादन एक पूर्व-निर्धारित प्रारूप का पालन करता है। LLM अनुप्रयोगों के लिए ऐसा नहीं है। एजेंट निष्पादन गड़बड़ हो सकता है, हम उभरते व्यवहार (emergent behaviour) से निपट रहे हैं जिसमें समृद्ध और अप्रत्याशित इनपुट, आउटपुट और निष्पादन क्रम होता है। आपको अपने एजेंट के व्यवहार का अनुसरण करने के लिए किसी और चीज़ की आवश्यकता है: traces।
Tracing पूरे सुधार लूप के लिए केंद्रीय है। हर दूसरा कदम (समीक्षा करना, datasets बनाना, experiments चलाना, evaluation करना) traces पर काम करता है।
यदि आप पारंपरिक observability अवधारणाओं से पहले से परिचित हैं, तो आगे जो कुछ है वह दोहराव जैसा लग सकता है। बेझिझक स्किम करें या आगे बढ़ें।
Trace की संरचना (Anatomy)
एक trace आपके एप्लिकेशन की आवश्यकता के अनुसार उतना ही जटिल या सरल हो सकता है, लेकिन सभी traces एक ही मूल संरचना साझा करते हैं। यह observations के एक सेट से बना होता है जो आपके एजेंट द्वारा लिए गए पथ को मैप करता है।
एक observation प्रक्रिया में एक एकल कदम है। इसका एक इनपुट, एक आउटपुट, शुरू/समाप्ति समय, और उस कदम के दौरान क्या हुआ इसके बारे में मेटाडेटा होता है।
पदानुक्रम (Hierarchy)
एक trace में एक पदानुक्रमित ट्री संरचना होती है। इसके अंदर nested observations होते हैं जो अन्य observations को शामिल कर सकते हैं, एक parent-child संरचना बनाते हैं जो आपके AI एप्लिकेशन के वास्तविक निष्पादन को दर्शाती है।
आप देख सकते हैं कि किस क्रम में क्या हुआ, और कौन से कदम किस बड़े कदम का हिस्सा थे।
Observation डेटा
इनपुट और आउटपुट। प्रत्येक observation में एक इनपुट और एक आउटपुट हो सकता है। अधिकांश समय इसमें दोनों होंगे; कुछ विशिष्ट मामलों में इसमें केवल एक हो सकता है। व्याख्या (interpretability) के लिए यह महत्वपूर्ण है कि आप एक इनपुट और/या आउटपुट सेट करें जो उस observation में होने वाली कार्रवाई के प्रकार के लिए समझ में आता हो।
Observation प्रकार। संचालन के बीच अंतर करना आसान बनाने के लिए, आप विभिन्न प्रकार के observations देखेंगे। प्रत्येक प्रकार का observation एक एजेंट के विभिन्न प्रकार के इंटरैक्शन को कैप्चर करने के लिए उपयोग किया जाता है।
Observation प्रकार traces को पढ़ना और फ़िल्टर करना आसान बनाते हैं। 20 observations वाले trace में, LLM कॉल को जल्दी से पहचान पाना समय बचाता है।
लागत, विलंबता, टोकन उपयोग
इनपुट और आउटपुट के अलावा, observations पर कुछ विशेषताएँ होती हैं जो किसी भी LLM एप्लिकेशन में मूलभूत (table stakes) हैं: लागत (cost), विलंबता (latency), और टोकन उपयोग। ये प्रति observation रिकॉर्ड किए जाते हैं और trace स्तर पर एकत्रित (aggregated) होते हैं।
Traces बनाम Sessions
अधिकांश समय आप किसी एजेंट के पूरे जीवनचक्र निष्पादन को एक trace में नहीं देखेंगे। Traces को sessions में समूहित किया जा सकता है। लेकिन आप trace और session के बीच की रेखा कहाँ खींचते हैं?
एक सामान्य नियम यह है: एक trace आपके सिस्टम के एक आह्वान (invocation) से मेल खाता है, आमतौर पर एक API कॉल या एक एजेंट निष्पादन। एक session फिर कई traces को एक साथ समूहित करता है, उदाहरण के लिए एक बहु-चरणीय वार्तालाप (multi-turn conversation) में सभी चरण।
कहाँ से शुरू करें
यदि आप अभी शुरू कर रहे हैं, तो हर संभव पथ को कवर करने का प्रयास करने से पहले एक वास्तविक वर्कफ़्लो को शुरू से अंत तक इंस्ट्रूमेंट करने पर ध्यान केंद्रित करें।
- अपने एप्लिकेशन में एक महत्वपूर्ण अनुरोध पथ के लिए tracing सेट अप करें।
- सुनिश्चित करें कि प्रत्येक observation उस कदम के लिए उपयोगी इनपुट, आउटपुट और मेटाडेटा कैप्चर करता है।
- कुछ वास्तविक traces को मैन्युअल रूप से समीक्षा करें ताकि पुष्टि हो सके कि संरचना समझने में आसान और डिबगिंग के लिए उपयोगी है।
आगे क्या
एक बार जब आप traces देख लेते हैं, तो आप अगले चरण पर जा सकते हैं: monitoring। Monitoring वह है जो traces को आपके एजेंट को बेहतर बनाने और पुनरावृत्ति करने के लूप से जोड़ता है।
