हम अपना अगला LAB विस्तार ओपन-सोर्स कर रहे हैं: एक सिंथेटिक लॉ फर्म, Calderwood & Harkness (“C&H” या “फर्म”)। @engramlab के सहयोग से निर्मित, इस फर्म में 250 से अधिक क्लाइंट मामलों का कार्य-उत्पाद शामिल है, जिसमें लगभग 10,000 फ़ाइलें और 100 मिलियन से अधिक टोकन हैं।
विवरण | मान |
|---|---|
क्लाइंट | 46 |
प्रैक्टिस क्षेत्र | 15 |
मामले | 266 |
फ़ाइलें | 9,288 |
टोकन | 108M |
कार्य | 250 |
मूल्यांकन | प्रति-कार्य रूब्रिक के आधार पर LLM जज |
डेटासेट | https://github.com/harveyai/harvey-labs/tree/main/tasks/firm-knowledge |
इस वातावरण में 250 कार्य शामिल हैं जो ज्ञान पुनर्प्राप्ति और तर्क के विभिन्न रूपों को कवर करते हैं। प्रत्येक कार्य उस प्रकार के पुनर्प्राप्ति और तर्क कार्यों को प्रतिबिंबित करता है जो एक फर्म अपने दस्तावेज़ प्रबंधन प्रणालियों से करवा सकती है, और इसे एजेंट क्षमताओं की स्ट्रेस-टेस्ट के रूप में डिज़ाइन किया गया है — इनमें से किसी भी प्रश्न का उत्तर देने के लिए आवश्यक संदर्भ वितरित है, अक्सर grep करने के लिए कोई कीवर्ड नहीं होते, और 100 मिलियन टोकन पर कोरपस पूरी तरह से खोजने के लिए बहुत बड़ा है।
इस पोस्ट में, हम बताते हैं कि लॉ फर्में कैसे संरचित होती हैं, हमने उस संरचना को प्रतिबिंबित करने वाला एक आधारित, सिंथेटिक लॉ फर्म वातावरण कैसे बनाया, और बेसलाइन रन यह दर्शाते हैं कि वर्तमान एजेंट स्केल किए गए ज्ञान कोरपस तक पहुँचने में कितने सक्षम हैं।
एक लॉ फर्म कैसे संरचित होती है
लॉ फर्में अपने काम को सामान्य संबंधों के एक सेट के माध्यम से व्यवस्थित करती हैं: वे क्लाइंट जिनके लिए वे काम करती हैं और वे मामले जिन पर वे उन क्लाइंटों के लिए काम करती हैं। हमने C&H को इन मुख्य संबंधों पर आधारित किया है।
फर्म के पास 46 काल्पनिक क्लाइंट हैं, जो विभिन्न निगमों और व्यक्तियों का प्रतिनिधित्व करते हैं जिनके लिए वह काम करती है। हमने जानबूझकर विविध क्लाइंट परिभाषित किए हैं ताकि काम की एक व्यापक श्रृंखला मिल सके — PE फर्मों को औद्योगिक निर्माताओं की तुलना में अलग कानूनी सेवाओं की आवश्यकता होती है।
फर्म उन क्लाइंटों के लिए विभिन्न प्रैक्टिस में काम करती है। ये प्रैक्टिस क्षेत्र विभिन्न प्रकार की कानूनी विशेषज्ञता का प्रतिनिधित्व करते हैं, जो मध्यम आकार और बड़ी लॉ फर्मों के सामान्य प्रैक्टिस समूहों तक फैले हुए हैं।
फर्म द्वारा किया गया वास्तविक कार्य क्लाइंट मामलों द्वारा दर्शाया जाता है। एक क्लाइंट के कई मामले हो सकते हैं और मामलों में कई प्रैक्टिस क्षेत्रों के वकील शामिल हो सकते हैं। फर्म की फ़ाइल प्रणाली में वर्तमान में 266 चल रहे या पूर्ण मामले हैं।
ये तीन अवधारणाएँ C&H का दायरा निर्धारित करती हैं: यह किसके लिए काम कर रही है, यह कौन सी विशेषज्ञता लागू कर सकती है, और यह किन विशिष्ट परियोजनाओं पर काम कर रही है।
डेटासेट का निर्माण
प्रत्येक क्लाइंट मामला एक विनिर्देश से शुरू होता है जो प्रासंगिक फर्म संरचनात्मक विवरणों को परिभाषित करती है: यह किस क्लाइंट के लिए है और परियोजना का सामान्य आकार क्या है। फिर इन्हें ठोस तथ्यों के एक सेट द्वारा समृद्ध किया जाता है जो किसी विशेष कार्य को आधार देने के लिए मामले में मौजूद होने चाहिए।
ये संकीर्ण तथ्य हो सकते हैं — किसी विशेष समझौते में 10% एस्क्रो या दो साल की नॉन-कॉम्पीट — या संरचनात्मक: एक मुकदमा खारिज या निपटाया गया। ये विशेषताएँ हमें एक बड़े, असंरचित कोरपस के बजाय छोटे विनिर्देशों से ग्राउंड ट्रुथ को परिभाषित और समीक्षा करने की अनुमति देती हैं। कुल मिलाकर, एक मामले को लगभग 1,000 टोकन में निर्दिष्ट किया जा सकता है, जबकि इसमें कई कार्य-प्रासंगिक विशेषताएँ होती हैं।
हमारा सिंथेटिक डेटा पाइपलाइन फिर प्रत्येक विनिर्देश को 10-200 यथार्थवादी दस्तावेज़ों की एक फ़ाइल प्रणाली में बदल देता है (मामले की स्थिति, आकार और प्रकार के आधार पर) जो प्रासंगिक विशेषताओं को व्यक्त करते हैं। विशेषताओं को विशिष्ट दस्तावेज़ों से जोड़ा जाता है ताकि मामले और फ़ाइल दोनों स्तर पर उनका पता लगाया जा सके। मामले स्वयं फ़ाइलों के ढीले ढंग से संरचित संग्रह होते हैं जिनमें मामले के प्रमुख पहलू होते हैं: संलग्नता, चरणों का निष्पादन, प्रमुख निर्णय और अंतिम परिणाम। सटीक फ़ाइल सिस्टम मानकीकृत नहीं है और यह मामले के प्रकार, पार्टनर की प्राथमिकता और किसी विशेष मामले के सामने आने के तरीके के आधार पर तार्किक संगठन को दर्शाता है।
वातावरण और कार्य परिभाषा
फर्म के मामलों को एक स्थायी कोरपस के रूप में माना जाता है, जिसमें प्रत्येक कार्य पूरी फ़ाइल प्रणाली पर चलता है। कार्यों को मामलों के लघु-रूप विनिर्देशों के विरुद्ध सूचीबद्ध किया जाता है, जिसमें ग्राउंड ट्रुथ को उन मामलों या दस्तावेज़ों के रूप में गणना की जाती है जिनमें विशेषताओं का एक विशिष्ट मिश्रण होता है। किसी मामले की अंतर्निहित विशेषताओं को रन-टाइम पर एजेंटों को नहीं दिखाया जाता है, उन्हें उन्हें खोज और तर्क के मिश्रण के माध्यम से असंरचित फ़ाइल प्रणाली से पुनर्प्राप्त करना होता है।
यद्यपि विशेषताएँ स्वयं संरचित हैं, वे विभिन्न प्रकार के खोज और तर्क कार्यों को व्यक्त करने में लचीलापन प्रदान करती हैं। इनमें प्रीसेडेंट खोजना, उद्योग रुझानों को समझना और क्लाइंट-स्तरीय प्राथमिकताओं या परिणामों की पहचान करना शामिल है।
मानक LAB प्रारूप में, एजेंटों को LLM जजों का उपयोग करके एक रूब्रिक के विरुद्ध मूल्यांकित किया जाता है जो सफल कार्य पूर्णता के लिए आवश्यक परमाणु मानदंडों में ग्राउंड-ट्रुथ का विस्तार करता है।
वर्तमान प्रदर्शन
हम मानक LAB हार्नेस के साथ-साथ दो मजबूत फाउंडेशन मॉडलों का उपयोग करके बेसलाइन प्रदर्शन मापते हैं: GPT-5.6-sol और Opus-4.8। हम पाते हैं कि दोनों समग्र कार्य प्रदर्शन के साथ-साथ विलंबता-प्रभावी प्रदर्शन पर भी संघर्ष करते हैं। दोनों आसान कार्यों का एक सामान्य सेट और कठिन कार्यों का एक अद्वितीय सेट हल करते हैं, लेकिन प्रति कार्य पाँच या अधिक मिनट लेते हैं और सभी मूल्यांकन मानदंडों का केवल लगभग आधा संतुष्ट करते हैं।
प्रक्षेपवक्र की समीक्षा से हम उम्मीद करेंगे कि कोरपस आकार के साथ लागत और विलंबता दोनों बढ़ेंगे, जो वास्तविक एंटरप्राइज़ स्केल कोरपस के लिए वास्तविक समस्याएँ पैदा करते हैं, जो C&H से कई गुना अधिक हो सकते हैं।
विफलताएँ मुख्य रूप से कोरपस को व्यापक रूप से खोजने और समझने में असमर्थता द्वारा स्पष्ट की जा सकती हैं। मॉडल अपने द्वारा खोजी गई चीज़ों के बारे में ज्यादातर सही तर्क करते हैं, लेकिन अक्सर प्रासंगिक जानकारी के हर टुकड़े को खोजने में विफल रहते हैं।
यह विफलता मोड उन कार्यों पर विशेष रूप से गंभीर है जिनमें प्रासंगिक मामलों, फ़ाइलों या जानकारी के टुकड़ों के एक बड़े सेट की गणना की आवश्यकता होती है। जैसे-जैसे सफल कार्य पूर्णता के लिए आवश्यक परमाणु बिंदुओं की संख्या बढ़ती है, दोनों मॉडल 0% ऑल-पास पर वापस आ जाते हैं।
यह खोज रणनीति की विफलता नहीं है। एजेंट लगातार मुख्य जानकारी पाते हैं और लगभग आधे मानदंडों को संतुष्ट करते हैं। यह इसके बजाय यह जानने में विफलता है कि अतिरिक्त जानकारी की तलाश कब जारी रखनी है। यह सुझाव देता है कि एजेंट कोरपस में जो कुछ है उसका एक प्रभावी मध्यवर्ती मॉडल नहीं बनाते हैं जो उन्हें यह जानने की अनुमति देता है कि उनकी खोजें कब पर्याप्त रूप से व्यापक हो चुकी हैं।
एंटरप्राइज़ ज्ञान के विरुद्ध सफल कार्य पूर्णता के लिए इस विशेष क्षमता में सुधार करना आवश्यक है।
निष्कर्ष
कानूनी कार्य के लिए यह समझ आवश्यक है कि कोई समस्या पिछले कार्य से कैसे संबंधित है: कौन सा प्रीसेडेंट किसी क्लाइंट के लिए प्रासंगिक है या बाज़ार का मानक कैसा दिखता है। आज के एजेंट हर कार्य पर उस ज्ञान को शुरू से प्राप्त करने का प्रयास करते हैं।
C&H दर्शाता है कि यह रणनीति एंटरप्राइज़ ज्ञान पैमाने पर महंगी और कमजोर है। हमें लगता है कि इस क्षमता में एजेंटों को बेहतर बनाने के लिए एक आशाजनक दिशा उन्हें पहले से कोरपस के समृद्ध प्रतिनिधित्व — इंडेक्स, सारांश, मेमोरी — बनाने की अनुमति देना है, और बाद के रनों में ऐसे प्रतिनिधित्व के निर्माण की लागत को वितरित करना है। चूंकि वातावरण स्थायी है, ये एकमुश्त समझ लागतें कई कार्यों में फल देती हैं। हम जल्द ही यहाँ अपने काम के बारे में और अधिक साझा करेंगे।
इस पोस्ट के लिए हमने जो सिंथेटिक लॉ फर्म डेटा बनाया है, वह हमारे ओपन सोर्स रिपॉजिटरी में उपलब्ध है। C&H का वर्तमान संस्करण केवल एक लॉ फर्म द्वारा किए जाने वाले कार्य के एक हिस्से को कवर करता है, और इसके कार्य केवल उन प्रश्नों का एक उपसमूह हैं जो वकील अपने संस्थागत ज्ञान से पूछना चाहते हैं। हम समय के साथ दोनों में जोड़ने की योजना बना रहे हैं।
हम विशेष रूप से डेटासेट और लेखन दोनों पर उनकी प्रतिक्रिया के लिए निम्नलिखित योगदानकर्ताओं को धन्यवाद देना चाहेंगे: Dan Biderman (Engram), Jessy Lin (Engram), Mayee Chen (Engram), Neel Guha (Columbia Law School / Engram), Shizhe He (Engram), Calvin Qi (Harvey), Gabe Pereyra (Harvey)
