رابط المقال: https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
في معاينتنا البحثية الأخيرة لـ Harvey Tenet، سلطنا الضوء على أهمية التحسين المشترك للنموذج والإطار لحل المهام القانونية المعقدة والشاملة، واستعرضنا النتائج الأولية في العناية الواجبة للاندماجات والاستحواذات (M&A Diligence)، حيث تتطلب المهمة الواحدة التنقل عبر ما يصل إلى 80 مليون رمز (token) من سياق المستندات. نشارك اليوم النتائج المحدثة من تجاربنا المستمرة.
بالتعاون مع Baseten، قمنا ببناء إطار نموذج لغة متكرر (RLM) للعناية الواجبة في الاندماجات والاستحواذات. في صياغتنا لـ RLM، يتم تحميل غرفة بيانات كاملة (dataroom) في بيئة Python REPL، ويقوم وكيل جذري (root agent) بتفويض المراجعة والتحليل المحدودين إلى وكلاء فرعيين (sub-agents) يعملون ضمن نوافذ السياق الخاصة بهم. في مهام LAB Diligence، يعمل هذا الإطار على تحسين معدل اجتياز معايير التقييم (rubric criteria) بمتوسط 39.1 نقطة مئوية عبر سبعة نماذج قمنا بتقييمها.
نجد أن التدريب اللاحق (post-training) داخل إطار RLM يحقق مكاسب أداء إضافية وخيارات للتنقل بين مقايضات الجودة والكفاءة. قمنا بتدريب لاحق لنموذج منظم Qwen3.5-122B-A10B عبر التعلم المعزز (reinforcement learning) ووجدنا أن التدريب اللاحق زاد معدل اجتياز معايير التقييم من 29.9% إلى 63.0% على 50 غرفة بيانات محجوزة من LAB Diligence.
الشكل 1: متوسط معدل اجتياز المعايير في LAB Diligence للنماذج الأساسية في إطار الحلقة الأداتية القياسي (standard tool-loop harness)، ووكلاء البرمجة في أطرهم الخاصة، والنماذج في إطار RLM الخاص بنا. العلامات النجمية تشير إلى نتائج GLM-5.2 المتطابقة قبل وبعد SFT، والتي تم تقييمها على مجموعة محجوزة منفصلة مكونة من 20 غرفة. جميع النتائج الأخرى تستخدم مجموعة المحجوزة المكونة من 50 غرفة.
تشير هذه النتائج إلى أن التدريب اللاحق ضمن إطار خاص بالمهمة هو مسار عملي للعمل القانوني المكثف بالمستندات، مثل العناية الواجبة للاندماجات والاستحواذات، وأن توسيع نطاق RL داخل إطار RLM هو اتجاه واعد للعمل المستقبلي. لهذا السبب، نقوم أيضًا بتدريب GLM-5.3، وهو نموذج كبير مفتوح الأوزان من الطليعة، كنموذج جذري في عملية توسيع نطاق مستمرة.
في بقية هذه المقالة، نصف بيئات LAB Diligence التي قمنا بتقييمها، ومنهجيتنا، وتجارب التدريب اللاحق بمزيد من التفصيل.
بيئات العناية الواجبة للاندماجات والاستحواذات
قدمنا مؤخرًا LAB Diligence، وهو امتداد لـ LAB يتضمن بيئات اصطناعية للعناية الواجبة في الاندماجات والاستحواذات. تحتوي غرفة البيانات الواحدة في LAB Diligence على ما يصل إلى 5000 مستند، منظمة عبر عشرات المجلدات حسب الفئة، وما يصل إلى 80 مليون رمز من إجمالي السياق.
الشكل 2: مثال على غرفة بيانات LAB Diligence. يحتوي بنك Aravon Bridge على 2270 مستندًا في 82 مجلدًا عبر 14 فئة، بإجمالي 31 مليون رمز. يتم تقييم مذكرة العناية الواجبة للوكيل لهذه المهمة مقابل 571 معيار تقييم.
بالعمل داخل غرفة البيانات هذه، يُكلف الوكيل بإنتاج مذكرة عناية واجبة كاملة، تتضمن النتائج التي توصل إليها مع الاستشهادات بالمستندات، والتعرض الكمي حيثما كان ذلك مناسبًا، والخطوات التالية الموصى بها للصفقة. يقوم قاضٍ من LLM بتسجيل مذكرة العناية الواجبة مقابل معايير تقييم خبراء تحتوي على مئات من معايير النجاح أو الفشل. يحتوي مثال بنك Aravon Bridge على 571 معيار تقييم إجمالاً.
الشكل 3: أمثلة على معايير التقييم لمهمة بنك Aravon Bridge في LAB Diligence، مع معيار حرفي واحد من كل نوع.
الأدلة اللازمة للعناية الواجبة موزعة في جميع أنحاء غرفة البيانات. تتطلب بعض النتائج الجمع بين عدة مستندات، بينما يتطلب البعض الآخر التحقق مما إذا كانت الأدلة الداعمة مفقودة. في عملياتنا الأساسية، بحث الوكلاء وقرأوا بشكل انتقائي، تاركين الكثير من غرفة البيانات دون فحص. تتطلب هذه المهام إطارًا يمكنه توزيع المراجعة عبر العديد من السياقات المحدودة وجمع النتائج معًا.
إطار RLM للعناية الواجبة في الاندماجات والاستحواذات
لإنشاء خط أساس، بدأنا بإطار الحلقة الأداتية القياسي من Legal Agent Bench. في هذا الإطار، تجتاز النماذج الأساسية متوسط 23.3% من معايير التقييم عبر غرف البيانات الخمسين المحجوزة، ولا يجتاز أي نموذج كل معيار في أي غرفة بيانات.
الشكل 4: متوسط معدل اجتياز المعايير في إطار الحلقة الأداتية القياسي على غرف بيانات العناية الواجبة الخمسين المحجوزة.
تشير هذه النتائج إلى عدم تطابق بين المهمة والإطار. غرفة بيانات LAB Diligence كبيرة جدًا بحيث لا يمكن احتواؤها ضمن سياق نموذج واحد، ولكن يمكن تقسيم الكثير من المراجعة الأولية حسب الفئة. يمكن للوكيل الجذري بعد ذلك الجمع بين النتائج عبر الفئات لإنتاج المذكرة. تفرق فرق الصفقات داخل مكاتب المحاماة أعمال العناية الواجبة بطريقة مماثلة.
الشكل 5: إطار RLM على عمق 1. يتم تحميل غرفة البيانات في بيئة Python REPL كمتغيرات قابلة للاستعلام. يعمل الوكيل الجذري عليها في الكود ويفوض مهام القراءة المحدودة إلى الوكلاء الفرعيين، الذين يعيدون نتائجهم كمتغيرات REPL. فقط المخرجات التي يطبعها الوكيل الجذري تدخل نافذة السياق الخاصة به، لذلك لا يحمل الوكيل الجذري غرفة البيانات الكاملة أبدًا.
قادنا هذا إلى استكشاف RLMs كإطار للعناية الواجبة في الاندماجات والاستحواذات. في إطار RLM، يُعطى الوكيل الجذري بيئة Python REPL مع تحميل غرفة البيانات كمتغيرات قابلة للاستعلام، مما يسمح له بالبحث في المجموعة برمجيًا. يخطط الوكيل الجذري ويحدد نطاق المراجعة ويوزع المهام الفرعية على الوكلاء الفرعيين. يتلقى كل وكيل فرعي شريحة محدودة من المجموعة وتعليمات من الوكيل الجذري، ويعمل ضمن نافذة السياق الخاصة به، ويعيد نتائجه كمتغيرات REPL. تستخدم التجارب أدناه طبقة واحدة من الوكلاء الفرعيين ما لم يُذكر خلاف ذلك، ومن الناحية العملية، يرسل الوكيل الجذري العديد من الاستدعاءات بالتوازي.
الشكل 6: متوسط معدل اجتياز المعايير لسبعة نماذج في إطار الحلقة الأداتية القياسي وكجذر لإطار RLM (عمق 1، وكلاء فرعيون Qwen3.6-35B-A3B)، على مجموعة المحجوزة المكونة من 50 غرفة.
عبر سبعة نماذج، يرفع إطار RLM متوسط معدل الاجتياز من 23.3% إلى 62.4%، بزيادة قدرها 39.1 نقطة مئوية. قمنا أيضًا بتشغيل وكيلين برمجيين للأغراض العامة مع تعطيل أدوات الويب، Claude Code مع Opus-5 و Codex مع GPT-5.6 Sol، باستخدام نفس التعليمات البسيطة مثل إطار الحلقة الأداتية. يجتاز Claude Code 24.6% من المعايير و Codex 12.0%، وهو أقل من نفس النماذج في إطار الحلقة الأداتية بمقدار 17.9 و 4.6 نقطة على التوالي. في التتبعات، يتوقف كلا الوكيلين عن القراءة مبكرًا ويكتبان مذكرات أقصر، ولا يقوم أي منهما بتوليد وكلاء فرعيين على الرغم من امتلاكه القدرة على ذلك.
التغطية والتكلفة
يزيد إطار RLM بشكل كبير من كمية المحتوى المفيد الذي يصبح سياقًا للوكيل. نقدر التغطية باستخدام مجسات تقيس حصة محتوى غرفة البيانات التي تصل إلى أي نموذج في الإطار، سواء كان جذريًا أو فرعيًا. في إطار الحلقة الأداتية القياسي، لا تقرأ أي عملية تشغيل أكثر من 1% من غرفة البيانات، وتقرأ معظمها بين 0.1% و 0.5%. في إطار RLM، تقرأ كل عملية تشغيل تقريبًا أكثر من 10% من غرفة البيانات وتقرأ معظمها كلها تقريبًا. يرتبط ارتفاع التغطية بارتفاع معدلات اجتياز معايير التقييم عبر هذا النطاق.
الشكل 7: معدل اجتياز معايير التقييم مقابل التغطية القائمة على المجس، نقطة واحدة لكل عملية تشغيل، لسبعة نماذج في كل إطار على غرف البيانات الخمسين المحجوزة من LAB Diligence. التغطية على مقياس لوغاريتمي.
يؤدي الانتقال إلى إطار RLM إلى رفع تكلفة التوليد لكل غرفة بيانات لستة من النماذج الأساسية السبعة، كما هو موضح في الشكل 8. Claude Opus 5 هو الاستثناء. في إطار الحلقة الأداتية، ينفق حوالي 18 دولارًا لكل غرفة بيانات للقراءة بمفرده؛ كجذر RLM، ينفق حوالي 7 دولارات ويسجل 35 نقطة أعلى.
الشكل 8: متوسط معدل اجتياز المعايير مقابل تكلفة التوليد لكل غرفة بيانات لسبعة نماذج في كل إطار، بمتوسط 50 غرفة بيانات محجوزة. الخطوط المنقطة تربط نفس النموذج عبر الأطر. التكاليف هي تقديرات واعية للذاكرة المؤقتة (cache-aware) بأسعار القائمة، على مقياس لوغاريتمي.
تقسيم العمل
لفحص مدى اعتماد الأداء على الوكيل الجذري مقابل الوكلاء الفرعيين، قمنا بمزاوجة أربعة نماذج جذرية مع ثلاثة نماذج وكلاء فرعيين من Qwen على 30 غرفة بيانات محجوزة (انظر الشكل 9). عبر التكوينات التي تم اختبارها، كان لتغيير الوكيل الجذري تأثير أكبر. عند تثبيت نموذج الوكيل الفرعي وتغيير النموذج الجذري، بلغ متوسط الفجوة بين أعلى وأدنى الجذور حوالي 38 نقطة مئوية. عند تثبيت الجذر وتغيير الوكلاء الفرعيين، بلغ متوسط الفجوة المقابلة بين نماذج الوكلاء الفرعيين حوالي 8 نقاط (الشكل 9ب).
الشكل 9: تقسيم العمل في إطار RLM، مجمع عبر أربعة نماذج جذرية وثلاثة نماذج وكلاء فرعيين على 30 غرفة بيانات محجوزة. (أ) حصة الجذر من رموز الإدخال والإخراج، بمتوسط عبر اختيارات الوكيل الفرعي. (ب) الفجوة بين أعلى وأدنى الجذور تسجيلاً، بمتوسط عبر اختيارات الوكيل الفرعي، والفجوة المقابلة بين الوكلاء الفرعيين، بمتوسط عبر الجذور.
هذا الاختلاف ملحوظ لأنه، في إطار RLM، نلاحظ أن الجذر يمثل أقلية من إجمالي استخدام الرموز للوكيل. مع تنسيق Opus 5، على سبيل المثال، يمثل الجذر 3.8% من رموز الإدخال و 1.1% من رموز الإخراج (انظر الشكل 9أ). يعالج الوكلاء الفرعيون معظم النص، بينما يقرر الجذر كيفية تقسيم المراجعة وتجميع النتائج.
الشكل 10: متوسط معدل اجتياز المعايير لأربعة نماذج جذرية مقترنة بثلاثة نماذج وكلاء فرعيين، على 30 غرفة بيانات محجوزة.
تشير هذه النتائج إلى أن تحسين التنسيق يمثل فرصة مهمة في هذا الإعداد، لذلك ركزنا تجارب التدريب اللاحق الأولية على الجذر.
التدريب اللاحق في إطار RLM
تشير النتائج أعلاه إلى الوكيل الجذري كهدف للتدريب اللاحق. في هذا القسم، نبلغ عن نتائج التدريب اللاحق لنماذج الجذر مفتوحة الأوزان داخل إطار RLM.
SFT التقطير الذاتي (Self-Distillation SFT)
أولاً، قمنا بتدريب لاحق لجذر GLM-5.2 باستخدام SFT التقطير الذاتي بأخذ العينات بالرفض (rejection-sampling self-distillation SFT). تستخدم هذه التجربة مجموعة تقييم محجوزة مختلفة مكونة من 20 غرفة عن تقييمات 50 غرفة المبلغ عنها في مكان آخر. درجة نموذجها الأساسي المتطابق على هذه المجموعة المحجوزة هي 46.1%، وهي أقل من نتيجة GLM-5.2 البالغة 65.4% المبلغ عنها في الشكل 6 على مجموعة المحجوزة الأكبر.
لا ينفذ GLM-5.2 الأساسي سياسة عالية التسجيل بشكل مستقر خارج الصندوق – فهناك انهيارات أداء متكررة حيث يستسلم النموذج الأساسي، بصفته وكيلًا جذريًا، مبكرًا، أو يفوّض بشكل غير كافٍ، أو يفشل في تحويل مخرجات الوكيل الفرعي إلى تسليم قوي. نظرًا لأن السياسة القوية موجودة بالفعل ضمن توزيع النموذج ولكنها تحتاج إلى أن تصبح أكثر متانة، فإننا نستخدم SFT التقطير الذاتي بأخذ العينات بالرفض لشحذ توزيع GLM-5.2 على الوضع المطلوب. اخترنا عمليات تشغيل GLM-5.2 الناجحة ذات التغطية العالية لغرفة البيانات وقمنا بضبط الجذر بدقة على تلك المسارات.
الشكل 11: GLM-5.2 كجذر RLM قبل وبعد SFT التقطير الذاتي بأخذ العينات بالرفض، تم تقييمه على مجموعة محجوزة منفصلة مكونة من 20 غرفة. هذه نتائج متطابقة ضمن تجربة SFT، وليس تقييم 50 غرفة المستخدم في الشكل 6.
في مجموعة المحجوزة المكونة من 20 غرفة بيانات هذه، يسجل الجذر المدرب بـ SFT 60.1% مقابل 46.1% للنموذج الأساسي (انظر الشكل 11). يشير مراجعة تتبعات الوكيل بعد التدريب إلى أن التدريب يساعد الوكيل الجذري على مراجعة غرفة البيانات بشكل شامل وحمل نسبة مئوية أكبر من نتائج الوكيل الفرعي إلى المذكرة النهائية.
يلخص الجدول 1 التغييرات السلوكية الأخرى التي نلاحظها بعد التدريب اللاحق. والأكثر وضوحًا، أن الارتباط بين حجم استدعاء الوكيل الفرعي وحجم غرفة البيانات يرتفع من 0.17 إلى 0.84، مما يشير إلى أن الوكيل الجذري المدرب يقوم بتوسيع نطاق تفويضه ليتناسب مع حجم غرفة البيانات. يتعلم الجذر المدرب أيضًا البدء في كتابة المذكرة بينما لا يزال الوكلاء الفرعيون يقرؤون، على غرار ما وجدناه في عمليات RL الخاصة بنا.
الجدول 1: سلوك جذر GLM-5.2 قبل وبعد SFT، بمتوسط عبر مجموعة المحجوزة المنفصلة المكونة من 20 غرفة. التغطية هي نسبة مئوية؛ الصف الأخير هو معامل ارتباط.
السلوكيات التي تجعل وكيل العناية الواجبة الجذري قويًا، مثل التفويض الشامل، قابلة للتعلم من عدد صغير نسبيًا من التتبعات على السياسة (on-policy traces)، دون معلومات مميزة ودون معرفة قانونية موسومة. هنا، التقطير الذاتي فعال لأن السلوك الجيد موجود بالفعل في توزيع النموذج والتدريب يعمل على استقراره.
حفزتنا هذه التجربة لاستكشاف التدريب اللاحق القائم على RL كمحاولة لدفع النموذج إلى ما هو أبعد مما هو موجود ضمن توزيعه، مما يستحضر سلوكًا جديدًا مباشرة من خلال مكافأة المهمة.
التعلم المعزز
للتعلم المعزز، بدأنا بنموذج جذري أصغر، Qwen3.5-122B-A10B، للحفاظ على قابلية التعامل مع حلقة تجربة RL الأولية.
قمنا بتدريب جذر RLM باستخدام GRPO، باستخدام معدل اجتياز معايير التقييم المحكومة كمكافأة وتثبيت نماذج الوكيل الفرعي (كان كل وكيل فرعي نموذج Qwen3.6-35B-A3B). على مدار 40 خطوة تدريب، وجدنا أن متوسط معدل اجتياز التوزيع (rollout pass rate) ارتفع من حوالي 23% إلى حوالي 56%. في مجموعة المحجوزة المكونة من 50 غرفة، سجلت نقطة التفتيش النهائية 63.0% مقابل 29.9% للنموذج الأساسي.
الشكل 12: التعلم المعزز على جذر Qwen3.5-122B-A10B مع وكلاء فرعيين ثابتين Qwen3.6-35B-A3B. (أ) متوسط معدل اجتياز معايير التوزيع في كل من 40 خطوة تدريب. (ب) النموذج الأساسي ونقطة التفتيش النهائية على مجموعة المحجوزة المكونة من 50 غرفة.
بعد RL، يرتفع متوسط تغطية غرفة البيانات من 62% إلى 96%، على الرغم من أن التغطية ليست مصطلح مكافأة صريحًا. تنتشر عمليات التشغيل الأساسية عبر نطاق التغطية الكامل، مع مجموعة أقل من 20% تسجل قريبة من الصفر. كل عملية تشغيل مدربة بـ RL تقرأ أكثر من 60% من غرفة البيانات وتقرأ معظمها كلها.
الشكل 13: معدل اجتياز المعايير مقابل التغطية القائمة على المجس، نقطة واحدة لكل عملية تشغيل، لجذر Qwen3.5-122B-A10B قبل وبعد RL على مجموعة المحجوزة المكونة من 50 غرفة.
يقوم الجذر المدرب بعد RL بإجراء استدعاءات وكلاء فرعيين أكثر بنسبة 64% لكل غرفة بيانات. كما غيّر RL حجم التفويض أكثر مما فعله SFT، بنسبة 64% مقابل 29%.
الجدول 2: سلوك جذر Qwen3.5-122B-A10B قبل وبعد RL، بمتوسط عبر مجموعة المحجوزة المكونة من 50 غرفة.
قبل التدريب اللاحق، حاول وكيل Qwen الجذري كتابة مذكرة العناية الواجبة الخاصة به في جلسة واحدة وفقط بعد عودة جميع الوكلاء الفرعيين. أثناء التدريب اللاحق لـ RL، يتعلم نهجًا أكثر كفاءة، حيث يكتب المذكرة بشكل تدريجي ويتداخل بين كتابة الأقسام ومراجعة عمل الوكيل الفرعي.
توسيع نطاق RL مع GLM-5.3
لاختبار وصفتنا لـ RL على نطاق واسع، نقوم الآن بتدريب GLM-5.3 كجذر RLM بنفس تكوين نمط GRPO: معدل اجتياز معايير التقييم المحكومة كمكافأة، وكلاء فرعيون Qwen3.6-35B-A3B ثابتون، LoRA على الجذر، حجم المجموعة 8 وحجم الدفعة 24. تبدأ توزيعات GLM-5.3 بشكل جيد فوق حيث بدأ جذر Qwen، لذلك هناك مساحة رأس أقل. على مدى الخطوات من 0 إلى 20 (الشكل 14)، يرتفع متوسط معدل اجتياز التوزيع من حوالي 51% إلى حوالي 59%، بمتوسط عبر أول وآخر ثماني خطوات موضحة، مع الضوضاء من خطوة إلى أخرى المتوقعة في حجم الدفعة هذا.
الشكل 14: التقدم المبكر للتدريب لعملية RL المستمرة لـ GLM-5.3، مع وكلاء فرعيين Qwen3.6-35B-A3B ثابتين. يظهر متوسط معدل اجتياز معايير التوزيع على مدار 20 خطوة تدريب. يظهر الرمادي القيم الأولية لكل خطوة؛ يظهر الأسود متوسطًا متحركًا أسيًا. يبلغ هذا الشكل عن درجات التدريب، وليس الأداء على المجموعة المحجوزة.
الخطوات التالية
يعمل إطار RLM على تحسين الأداء عبر النماذج التي اختبرناها، وينتج RL مكاسب إضافية لجذر Qwen ضمن هذا الإطار. لا تزال هناك فجوة كبيرة بين هذه الدرجات ومعدلات الاجتياز شبه المثالية التي نعمل نحو تحقيقها.
تجارب التدريب المفصلة أعلاه هي استكشافات أولية. بالإضافة إلى إكمال عملية تدريب GLM-5.3 الموسعة، سنستكشف أيضًا مجموعات من SFT و RL، والوكلاء الفرعيين المدربين. يفصل إطار RLM تنسيق الجذر عن قراءة الوكلاء الفرعيين، لذلك يمكن تدريب كل منهما بمفرده أو بشكل مشترك، بما في ذلك الإعدادات التي يتم فيها تدريب الوكلاء الفرعيين على التفويض بدورهم.
أخيرًا، النتيجة الأساسية هنا، وهي أن التحسين المشترك للنموذج والإطار يمكن أن يحسن أداء الوكيل بشكل هادف في البيئات طويلة الأفق، ليست خاصة بالعناية الواجبة. نحن نستكشف طرقًا لتعيين نفس هيكل الإطار ونهج التدريب لأعمال قانونية أخرى طويلة السياق.
الملحق
عمق التكرار في RLM
اختبرنا أيضًا ما إذا كانت إضافة طبقة أخرى من التفويض تحسن الأداء. في العمق 1، يعيد الوكلاء الفرعيون مخرجات LLM عادية، بدون أدوات أو تفويض خاص بهم. في العمق 2، يتلقى الوكلاء الفرعيون بيئة Python REPL ويمكنهم التفويض بشكل أكبر. ضمن كل تجربة، استخدمنا نفس النموذج للجذر وكل وكيل فرعي.
قمنا بتقييم كل من GLM-5.2 و Qwen3.5-122B-A10B. العديد من عمليات تشغيل GLM-5.2 في العمق 2 لم تنتهِ ضمن الحد الزمني، لذلك نبلغ عن نتائج Qwen أدناه. عبر 14 غرفة بيانات، أدى العمق 2 إلى تحسين الدرجات في أربع غرف وخفضها في عشر غرف، مما أدى إلى خفض متوسط معدل اجتياز المعايير بمقدار 19 نقطة مئوية (الشكل A2). في أربع من حالات الانحدار العشر، قرأ وكيل العمق 2 محتوى غرفة البيانات لكنه لم ينتج تقريرًا أبدًا.
الشكل A1: معدل اجتياز المعايير لكل غرفة في العمق 1 والعمق 2 لـ 14 غرفة بيانات. قمنا بتثبيت النموذج وقارنا الوكلاء الفرعيين ذوي الإكمال العادي مع الوكلاء الفرعيين الذين يمكنهم استخدام REPL والتفويض. في أربع من حالات الانحدار العشر، تقرأ عملية تشغيل العمق 2 غرفة البيانات لكنها لا تكتب التقرير أبدًا.
حفزتنا هذه النتائج على استخدام العمق 1 لتجارب التدريب اللاحق الأولية. ما إذا كان تدريب الوكلاء خصيصًا للتفويض الأعمق يمكن أن يجعل الطبقات الإضافية مفيدة يظل سؤالاً مفتوحًا.
البنية التحتية لـ RL
RL، خاصة مع أطوال الحلقات الطويلة هذه، هو مشكلة بنية تحتية بقدر ما هو مشكلة إشارة تدريب. لهذه المهمة، يمكن أن تستغرق عمليات التوزيع ذات الحلقة الواحدة حوالي ساعة أو أكثر من الوقت الفعلي لإكمالها. لتحسين وقت التدريب الفعلي، طبقنا طرقًا مثل الاستدلال غير المتزامن خارج السياسة (asynchronous off-policy inference)، والتجميع المستمر للاستدلال (continuous inference batching)، والإفراط في أخذ العينات (oversampling)، وتحديثات الأوزان أثناء الطيران (in-flight weight updates). تم تطبيق إخفاء الرموز الانتقائي (Selective token masking) والحدود القصوى المتعلقة بعدم التزامن (async-related caps) للتحكم في تأثير كونها خارج السياسة (off-policyness). نظرًا لأنه في إطار RLM، يتم قضاء معظم الوقت الفعلي في انتظار اكتمال الوكلاء الفرعيين، فإن القدرة على استخدام وكلاء فرعيين صغار وسريعين ساعدت في تسريع عملية تدريب RL بشكل كبير.
نرسم الوقت الفعلي للخطوة أدناه. يهيمن عليه وقت التوزيع الذي ينمو على مدار RL حيث يصبح الوكيل أكثر شمولاً ويرسل موجات أكبر من الوكلاء الفرعيين.
الشكل A2: الدقائق الفعلية لكل خطوة تدريب RL لعملية 40 خطوة، مع متوسط متحرك لـ 5 خطوات. متوسط الخطوات 2–10 هو 48 دقيقة ومتوسط الخطوات 31–40 هو 74 دقيقة؛ الزيادة تأتي من قيام النموذج المدرب بإرسال المزيد من الوكلاء الفرعيين لكل توزيع.
