ลิงก์บทความ: https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
ใน ตัวอย่างงานวิจัยล่าสุดสำหรับ Harvey Tenet เราได้เน้นย้ำถึงความสำคัญของการปรับแต่งร่วมกันระหว่างโมเดลและระบบควบคุม (model-harness co-optimization) เพื่อแก้ไขงานด้านกฎหมายที่ซับซ้อนแบบครบวงจร และได้แสดงผลลัพธ์เบื้องต้นในงานตรวจสอบสถานะทางการเงิน (M&A Diligence) ซึ่งงานเดียวต้องอ่านเอกสารบริบทมากถึง 80 ล้านโทเค็น วันนี้ เรากำลังแบ่งปันผลลัพธ์ที่อัปเดตจากการทดลองอย่างต่อเนื่องของเรา
เราร่วมมือกับ Baseten สร้าง ระบบควบคุมภาษาแบบเรียกซ้ำ (RLM) สำหรับงานตรวจสอบสถานะทางการเงิน ในการออกแบบ RLM ของเรา ห้องข้อมูล (dataroom) ที่สมบูรณ์จะถูกโหลดลงใน Python REPL และเอเจนต์หลัก (root agent) จะมอบหมายงานตรวจสอบและวิเคราะห์ที่อยู่ในขอบเขตให้กับเอเจนต์ย่อย (sub-agents) ซึ่งทำงานภายในหน้าต่างบริบทของตนเอง ในงาน LAB Diligence ระบบควบคุมนี้ช่วยเพิ่มอัตราการผ่านเกณฑ์การประเมิน (rubric criteria pass rate) โดยเฉลี่ย 39.1 จุดเปอร์เซ็นต์ จากโมเดลทั้งหมด 7 โมเดลที่เราประเมิน
เราพบว่าการฝึกอบรมภายหลัง (post-training) ภายในระบบควบคุม RLM ให้ประสิทธิภาพที่เพิ่มขึ้นและทางเลือกในการจัดการสมดุลระหว่างคุณภาพและประสิทธิภาพ เราได้ฝึกอบรมตัวประสานงาน (orchestrator) Qwen3.5-122B-A10B ภายหลังผ่านการเรียนรู้แบบเสริมกำลัง (reinforcement learning) และพบว่าการฝึกอบรมภายหลังเพิ่มอัตราการผ่านเกณฑ์การประเมินจาก 29.9% เป็น 63.0% ในห้องข้อมูล LAB Diligence ที่แยกไว้ 50 ห้อง
รูปที่ 1: อัตราการผ่านเกณฑ์เฉลี่ยใน LAB Diligence สำหรับโมเดลพื้นฐานในระบบควบคุมแบบ tool-loop มาตรฐาน, เอเจนต์เขียนโค้ดในระบบควบคุมของตัวเอง, และโมเดลในระบบควบคุม RLM ของเรา เครื่องหมายดอกจันแสดงผลลัพธ์ GLM-5.2 ที่จับคู่ก่อนและหลัง SFT ซึ่งประเมินบนชุดข้อมูลแยก 20 ห้อง ผลลัพธ์อื่นๆ ทั้งหมดใช้ชุดข้อมูลแยก 50 ห้อง
ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าการฝึกอบรมภายหลังภายในระบบควบคุมเฉพาะงานเป็นแนวทางที่ใช้ได้จริงสำหรับงานด้านกฎหมายที่ต้องใช้เอกสารจำนวนมาก เช่น การตรวจสอบสถานะทางการเงิน และการปรับขนาด RL ภายในระบบควบคุม RLM เป็นทิศทางที่มีแนวโน้มดีสำหรับงานในอนาคต ด้วยเหตุนี้ เราจึงกำลังฝึกอบรม GLM-5.3 ซึ่งเป็นโมเดลโอเพนเวทขนาดใหญ่ระดับแนวหน้า ให้เป็นโมเดลหลักในการขยายขนาดการทำงานอย่างต่อเนื่อง
ในส่วนที่เหลือของโพสต์นี้ เราจะอธิบายสภาพแวดล้อม LAB Diligence ที่เราประเมิน วิธีการของเรา และการทดลองฝึกอบรมภายหลังโดยละเอียด
สภาพแวดล้อมสำหรับการตรวจสอบสถานะทางการเงิน
เราเพิ่งเปิดตัว LAB Diligence ซึ่งเป็นส่วนขยายของ LAB ที่รวมสภาพแวดล้อมสังเคราะห์สำหรับการตรวจสอบสถานะทางการเงิน ห้องข้อมูลหนึ่งห้องใน LAB Diligence มีเอกสารมากถึง 5,000 ฉบับ จัดเรียงในโฟลเดอร์หลายสิบโฟลเดอร์ตามหมวดหมู่ และมีบริบทรวมสูงสุด 80 ล้านโทเค็น
รูปที่ 2: ตัวอย่างห้องข้อมูล LAB Diligence Aravon Bridge Bank มีเอกสาร 2,270 ฉบับใน 82 โฟลเดอร์ ครอบคลุม 14 หมวดหมู่ รวม 31 ล้านโทเค็น บันทึกการตรวจสอบสถานะ (diligence memo) ของเอเจนต์สำหรับงานนี้จะถูกให้คะแนนตามเกณฑ์การประเมิน 571 ข้อ
ภายในห้องข้อมูลนี้ เอเจนต์มีหน้าที่สร้างบันทึกการตรวจสอบสถานะที่สมบูรณ์ รวมถึงข้อค้นพบพร้อมการอ้างอิงเอกสาร การเปิดเผยความเสี่ยงเชิงปริมาณ (ถ้ามี) และคำแนะนำขั้นตอนถัดไปสำหรับธุรกรรม ผู้ตัดสิน LLM จะให้คะแนนบันทึกการตรวจสอบสถานะเทียบกับเกณฑ์ผู้เชี่ยวชาญที่มีเกณฑ์ผ่านหรือไม่ผ่านหลายร้อยข้อ ตัวอย่าง Aravon Bridge Bank มีเกณฑ์การประเมินทั้งหมด 571 ข้อ
รูปที่ 3: ตัวอย่างเกณฑ์การประเมินสำหรับงาน Aravon Bridge Bank ใน LAB Diligence พร้อมเกณฑ์แบบคำต่อคำหนึ่งข้อในแต่ละประเภท
หลักฐานที่จำเป็นสำหรับการตรวจสอบสถานะกระจายอยู่ทั่วห้องข้อมูล ข้อค้นพบบางอย่างจำเป็นต้องรวมเอกสารหลายฉบับเข้าด้วยกัน ในขณะที่บางอย่างจำเป็นต้องตรวจสอบว่ามีหลักฐานสนับสนุนขาดหายไปหรือไม่ ในการทดลองพื้นฐานของเรา เอเจนต์ค้นหาและอ่านแบบเลือกสรร ทำให้ห้องข้อมูลส่วนใหญ่ไม่ได้รับการตรวจสอบ งานเหล่านี้ต้องการระบบควบคุมที่สามารถกระจายการตรวจสอบไปยังบริบทที่มีขอบเขตจำนวนมากและรวบรวมข้อค้นพบเข้าด้วยกัน
ระบบควบคุม RLM สำหรับการตรวจสอบสถานะทางการเงิน
เพื่อสร้างพื้นฐานการเปรียบเทียบ เราเริ่มต้นด้วยระบบควบคุมแบบ tool-loop มาตรฐานจาก Legal Agent Bench ในระบบควบคุมนี้ โมเดลพื้นฐานผ่านเกณฑ์การประเมินโดยเฉลี่ย 23.3% จากห้องข้อมูลที่แยกไว้ 50 ห้อง และไม่มีโมเดลใดผ่านทุกเกณฑ์ในห้องข้อมูลใดๆ เลย
รูปที่ 4: อัตราการผ่านเกณฑ์เฉลี่ยในระบบควบคุมแบบ tool-loop มาตรฐานบนห้องข้อมูลตรวจสอบสถานะที่แยกไว้ 50 ห้อง
ผลลัพธ์เหล่านี้ชี้ให้เห็นถึงความไม่สอดคล้องกันระหว่างงานและระบบควบคุม ห้องข้อมูล LAB Diligence มีขนาดใหญ่เกินกว่าจะบรรจุในบริบทของโมเดลเดียว แต่การตรวจสอบเบื้องต้นส่วนใหญ่สามารถแบ่งตามหมวดหมู่ได้ จากนั้นเอเจนต์หลักสามารถรวมข้อค้นพบข้ามหมวดหมู่เพื่อสร้างบันทึกการตรวจสอบสถานะ ทีมงานที่ดูแลข้อตกลงในสำนักงานกฎหมายก็แบ่งงานตรวจสอบสถานะในลักษณะเดียวกัน
รูปที่ 5: ระบบควบคุม RLM ที่ระดับความลึก-1 (depth-1) ห้องข้อมูลถูกโหลดลงใน Python REPL เป็นตัวแปรที่สามารถสอบถามได้ เอเจนต์หลักทำงานบนห้องข้อมูลผ่านโค้ดและมอบหมายงานอ่านที่มีขอบเขตให้กับเอเจนต์ย่อย ซึ่งส่งคืนข้อค้นพบเป็นตัวแปร REPL เฉพาะเอาต์พุตที่เอเจนต์หลักพิมพ์เท่านั้นที่จะเข้าสู่หน้าต่างบริบทของมัน ดังนั้นเอเจนต์หลักจึงไม่เคยเก็บห้องข้อมูลทั้งหมดไว้
สิ่งนี้นำเราไปสู่การสำรวจ RLM ในฐานะระบบควบคุมสำหรับการตรวจสอบสถานะทางการเงิน ในระบบควบคุม RLM เอเจนต์หลักจะได้รับ Python REPL ที่มีห้องข้อมูลโหลดเป็นตัวแปรที่สอบถามได้ ซึ่งช่วยให้สามารถค้นหาคลังเอกสารด้วยโปรแกรมได้ เอเจนต์หลักวางแผนและกำหนดขอบเขตการตรวจสอบ และส่งงานย่อยไปยังเอเจนต์ย่อย เอเจนต์ย่อยแต่ละตัวจะได้รับส่วนย่อยที่มีขอบเขตของคลังเอกสารและคำแนะนำจากเอเจนต์หลัก ทำงานภายในหน้าต่างบริบทของตัวเอง และส่งคืนข้อค้นพบเป็นตัวแปร REPL การทดลองด้านล่างใช้เอเจนต์ย่อยชั้นเดียว เว้นแต่จะระบุไว้เป็นอย่างอื่น และในทางปฏิบัติ เอเจนต์หลักจะส่งคำขอจำนวนมากแบบขนาน
รูปที่ 6: อัตราการผ่านเกณฑ์เฉลี่ยสำหรับโมเดล 7 โมเดลในระบบควบคุมแบบ tool-loop มาตรฐานและในฐานะเอเจนต์หลักของระบบควบคุม RLM (depth-1, เอเจนต์ย่อย Qwen3.6-35B-A3B) บนชุดข้อมูลแยก 50 ห้อง
จากโมเดลทั้ง 7 ตัว ระบบควบคุม RLM เพิ่มอัตราการผ่านเฉลี่ยจาก 23.3% เป็น 62.4% เพิ่มขึ้น 39.1 จุดเปอร์เซ็นต์ เรายังทดสอบเอเจนต์เขียนโค้ดเอนกประสงค์สองตัวโดยปิดใช้งานเครื่องมือเว็บ ได้แก่ Claude Code กับ Opus-5 และ Codex กับ GPT-5.6 Sol โดยใช้คำแนะนำขั้นต่ำเดียวกันกับระบบควบคุมแบบ tool-loop Claude Code ผ่าน 24.6% ของเกณฑ์ และ Codex ผ่าน 12.0% ซึ่งต่ำกว่าโมเดลเดียวกันในระบบควบคุมแบบ tool-loop อยู่ 17.9 และ 4.6 จุดตามลำดับ จากการติดตาม เอเจนต์ทั้งสองหยุดอ่านเร็วและเขียนบันทึกที่สั้นกว่า และไม่มีตัวไหนสร้างเอเจนต์ย่อยแม้จะมีความสามารถในการทำเช่นนั้น
ความครอบคลุมและต้นทุน
ระบบควบคุม RLM เพิ่มปริมาณเนื้อหาที่มีประโยชน์ซึ่งกลายเป็นบริบทของเอเจนต์อย่างมาก เราประมาณความครอบคลุมด้วยโพรบที่วัดส่วนแบ่งของเนื้อหาในห้องข้อมูลที่เข้าถึงโมเดลใดๆ ในระบบควบคุม ไม่ว่าจะเป็นเอเจนต์หลักหรือเอเจนต์ย่อย ในระบบควบคุมแบบ tool-loop มาตรฐาน ไม่มีการรันใดอ่านเกิน 1% ของห้องข้อมูล และส่วนใหญ่อ่านระหว่าง 0.1% ถึง 0.5% ในระบบควบคุม RLM เกือบทุกการรันอ่านมากกว่า 10% ของห้องข้อมูล และส่วนใหญ่อ่านเกือบทั้งหมด ความครอบคลุมที่สูงขึ้นสัมพันธ์กับอัตราการผ่านเกณฑ์การประเมินที่สูงขึ้นในช่วงนี้
รูปที่ 7: อัตราการผ่านเกณฑ์การประเมินเทียบกับความครอบคลุมตามโพรบ หนึ่งจุดต่อการรัน สำหรับโมเดล 7 ตัวในแต่ละระบบควบคุมบนห้องข้อมูลที่แยกไว้ 50 ห้องจาก LAB Diligence ความครอบคลุมอยู่ในมาตราส่วนล็อก
การย้ายไปยังระบบควบคุม RLM ทำให้ต้นทุนการสร้างต่อห้องข้อมูลเพิ่มขึ้นสำหรับโมเดลพื้นฐาน 6 ใน 7 ตัว ดังแสดงในรูปที่ 8 Claude Opus 5 เป็นข้อยกเว้น ในระบบควบคุมแบบ tool-loop มันใช้เงิน ~$18 ต่อห้องข้อมูลในการอ่านด้วยตัวเอง ในฐานะเอเจนต์หลัก RLM มันใช้เงิน ~$7 และได้คะแนนสูงขึ้น 35 จุด
รูปที่ 8: อัตราการผ่านเกณฑ์เฉลี่ยเทียบกับต้นทุนการสร้างต่อห้องข้อมูลสำหรับโมเดล 7 ตัวในแต่ละระบบควบคุม โดยเฉลี่ยจากห้องข้อมูลที่แยกไว้ 50 ห้อง เส้นประเชื่อมต่อโมเดลเดียวกันข้ามระบบควบคุม ต้นทุนเป็นการประมาณแบบคำนึงถึงแคชในราคาตามรายการ มาตราส่วนล็อก
การแบ่งงาน
เพื่อตรวจสอบว่าประสิทธิภาพขึ้นอยู่กับเอเจนต์หลักหรือเอเจนต์ย่อยมากน้อยเพียงใด เราจับคู่โมเดลหลัก 4 ตัวกับโมเดลเอเจนต์ย่อย Qwen 3 ตัวบนห้องข้อมูลที่แยกไว้ 30 ห้อง (ดูรูปที่ 9) จากการกำหนดค่าที่ทดสอบ การเปลี่ยนเอเจนต์หลักมีผลมากกว่า เมื่อกำหนดโมเดลเอเจนต์ย่อยให้คงที่และเปลี่ยนโมเดลหลัก ช่องว่างระหว่างเอเจนต์หลักที่ได้คะแนนสูงสุดและต่ำสุดเฉลี่ยประมาณ 38 จุดเปอร์เซ็นต์ เมื่อกำหนดเอเจนต์หลักให้คงที่และเปลี่ยนเอเจนต์ย่อย ช่องว่างที่สอดคล้องกันระหว่างโมเดลเอเจนต์ย่อยเฉลี่ยประมาณ 8 จุด (รูปที่ 9b)
รูปที่ 9: การแบ่งงานในระบบควบคุม RLM รวมจากโมเดลหลัก 4 ตัวและโมเดลเอเจนต์ย่อย 3 ตัวบนห้องข้อมูลที่แยกไว้ 30 ห้อง (a) ส่วนแบ่งของเอเจนต์หลักในโทเค็นอินพุตและเอาต์พุต โดยเฉลี่ยตามตัวเลือกเอเจนต์ย่อย (b) ช่องว่างระหว่างเอเจนต์หลักที่ได้คะแนนสูงสุดและต่ำสุด โดยเฉลี่ยตามตัวเลือกเอเจนต์ย่อย และช่องว่างที่สอดคล้องกันระหว่างเอเจนต์ย่อย โดยเฉลี่ยตามเอเจนต์หลัก
ความแตกต่างนี้เป็นที่น่าสังเกตเพราะในระบบควบคุม RLM เราสังเกตว่าเอเจนต์หลักคิดเป็น ส่วนน้อย ของการใช้โทเค็นทั้งหมดของเอเจนต์ ตัวอย่างเช่น เมื่อ Opus 5 เป็นตัวประสานงาน เอเจนต์หลักคิดเป็น 3.8% ของโทเค็นอินพุตและ 1.1% ของโทเค็นเอาต์พุต (ดูรูปที่ 9a) เอเจนต์ย่อยประมวลผลข้อความส่วนใหญ่ ในขณะที่เอเจนต์หลักตัดสินใจว่าจะแบ่งการตรวจสอบและรวบรวมข้อค้นพบอย่างไร
รูปที่ 10: อัตราการผ่านเกณฑ์เฉลี่ยสำหรับโมเดลหลัก 4 ตัวที่จับคู่กับโมเดลเอเจนต์ย่อย 3 ตัว บนห้องข้อมูลที่แยกไว้ 30 ห้อง
ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าการปรับปรุงการประสานงานเป็นโอกาสสำคัญในการตั้งค่านี้ ดังนั้นเราจึงมุ่งเน้นการทดลองฝึกอบรมภายหลังเบื้องต้นไปที่เอเจนต์หลัก
การฝึกอบรมภายหลังในระบบควบคุม RLM
ผลลัพธ์ข้างต้นชี้ให้เห็นว่าเอเจนต์หลักเป็นเป้าหมายสำหรับการฝึกอบรมภายหลัง ในส่วนนี้ เราจะรายงานผลลัพธ์จากการฝึกอบรมภายหลังโมเดลหลักแบบโอเพนเวทภายในระบบควบคุม RLM
SFT แบบกลั่นตนเอง (Self-Distillation SFT)
ขั้นแรก เราได้ฝึกอบรมภายหลังเอเจนต์หลัก GLM-5.2 โดยใช้ SFT แบบกลั่นตนเองด้วยการสุ่มตัวอย่างแบบปฏิเสธ (rejection-sampling self-distillation SFT) การทดลองนี้ใช้ชุดประเมินผลแบบแยก 20 ห้องที่แตกต่างจากชุดประเมินผล 50 ห้องที่รายงานในที่อื่น คะแนนโมเดลพื้นฐานที่จับคู่ในชุดแยกนี้คือ 46.1% ซึ่งต่ำกว่าผลลัพธ์ GLM-5.2 ที่ 65.4% ที่รายงานในรูปที่ 6 สำหรับชุดแยกที่ใหญ่กว่า
GLM-5.2 พื้นฐานไม่สามารถดำเนินนโยบายที่ได้คะแนนสูงได้อย่างเสถียรตั้งแต่เริ่มต้น – มีการล่มสลายของประสิทธิภาพบ่อยครั้งที่โมเดลพื้นฐานซึ่งทำหน้าที่เป็นเอเจนต์หลัก ยอมแพ้เร็ว มอบหมายงานน้อยเกินไป หรือไม่สามารถแปลงผลลัพธ์ของเอเจนต์ย่อยเป็นผลงานที่แข็งแกร่งได้ เนื่องจากนโยบายที่แข็งแกร่งนั้นอยู่ในขอบเขตการแจกแจงของโมเดลอยู่แล้ว แต่จำเป็นต้องทำให้แข็งแกร่งขึ้น เราจึงใช้การกลั่นตนเองด้วยการสุ่มตัวอย่างแบบปฏิเสธเพื่อปรับการแจกแจงของ GLM-5.2 ให้คมชัดขึ้นในโหมดที่ต้องการ เราเลือกการรัน GLM-5.2 ที่ประสบความสำเร็จซึ่งมีความครอบคลุมห้องข้อมูลสูง และปรับแต่งโมเดลหลักอย่างละเอียดบนวิถีเหล่านั้น
รูปที่ 11: GLM-5.2 ในฐานะเอเจนต์หลัก RLM ก่อนและหลัง SFT แบบกลั่นตนเองด้วยการสุ่มตัวอย่างแบบปฏิเสธ ประเมินบนชุดข้อมูลแยก 20 ห้องที่แยกต่างหาก นี่คือผลลัพธ์ที่จับคู่ภายใน การทดลอง SFT ไม่ใช่การประเมิน 50 ห้องที่ใช้ในรูปที่ 6
ในชุดข้อมูลแยก 20 ห้องนี้ เอเจนต์หลักที่ผ่านการฝึก SFT ได้คะแนน 60.1% เทียบกับ 46.1% ของโมเดลพื้นฐาน (ดูรูปที่ 11) การตรวจสอบร่องรอยของเอเจนต์หลังการฝึกชี้ให้เห็นว่าการฝึกช่วยให้เอเจนต์หลักตรวจสอบห้องข้อมูลอย่างครอบคลุมและนำข้อค้นพบของเอเจนต์ย่อยในเปอร์เซ็นต์ที่สูงขึ้นไปไว้ในบันทึกสุดท้าย
ตารางที่ 1 สรุปการเปลี่ยนแปลงพฤติกรรมอื่นๆ ที่เราสังเกตหลังการฝึกอบรมภายหลัง ที่น่าสังเกตคือ ความสัมพันธ์ระหว่างปริมาณการเรียกเอเจนต์ย่อยและขนาดห้องข้อมูลเพิ่มขึ้นจาก 0.17 เป็น 0.84 ซึ่งบ่งชี้ว่าเอเจนต์หลักที่ผ่านการฝึกจะปรับขนาดการมอบหมายงานตามขนาดของห้องข้อมูล เอเจนต์หลักที่ผ่านการฝึกยังเรียนรู้ที่จะเริ่มเขียนบันทึกในขณะที่เอเจนต์ย่อยยังคงอ่านอยู่ ซึ่งคล้ายกับสิ่งที่เราพบในการรัน RL ของเรา
ตารางที่ 1: พฤติกรรมของเอเจนต์หลัก GLM-5.2 ก่อนและหลัง SFT โดยเฉลี่ยจากชุดข้อมูลแยก 20 ห้องที่แยกต่างหาก ความครอบคลุมเป็นเปอร์เซ็นต์ แถวสุดท้ายเป็นค่าสัมประสิทธิ์สหสัมพันธ์
พฤติกรรมที่ทำให้เอเจนต์หลักตรวจสอบสถานะที่แข็งแกร่ง เช่น การมอบหมายงานอย่างละเอียดถี่ถ้วน สามารถเรียนรู้ได้จากร่องรอยนโยบายจริง (on-policy traces) จำนวนค่อนข้างน้อย โดยไม่มีข้อมูลพิเศษและไม่มีความรู้ทางกฎหมายที่มีป้ายกำกับ ที่นี่ การกลั่นตนเองมีประสิทธิภาพเพราะพฤติกรรมที่ดีมีอยู่แล้วในการแจกแจงของโมเดลและการฝึกทำให้มันเสถียร
การทดลองนี้กระตุ้นให้เราสำรวจการฝึกอบรมภายหลังแบบ RL เพื่อพยายามผลักดันโมเดลให้เกินกว่าสิ่งที่อยู่ในการแจกแจงของมัน โดยกระตุ้นพฤติกรรมใหม่ผ่านรางวัลของงานโดยตรง
การเรียนรู้แบบเสริมกำลัง (Reinforcement learning)
สำหรับการเรียนรู้แบบเสริมกำลัง เราเริ่มต้นด้วยโมเดลหลักที่เล็กกว่า คือ Qwen3.5-122B-A10B เพื่อให้วงจรการทดลอง RL เบื้องต้นจัดการได้ง่าย
เราฝึกอบรมเอเจนต์หลัก RLM ด้วย GRPO โดยใช้อัตราการผ่านเกณฑ์การประเมินที่ตัดสินแล้วเป็นรางวัล และกำหนดให้โมเดลเอเจนต์ย่อยคงที่ (เอเจนต์ย่อยแต่ละตัวเป็นโมเดล Qwen3.6-35B-A3B) ตลอด 40 ขั้นตอนการฝึก เราพบว่าอัตราการผ่านการกระจายค่าเฉลี่ย (mean rollout pass rate) เพิ่มขึ้นจากประมาณ 23% เป็นประมาณ 56% ในชุดข้อมูลแยก 50 ห้อง จุดตรวจสอบสุดท้ายได้คะแนน 63.0% เทียบกับ 29.9% ของโมเดลพื้นฐาน
รูปที่ 12: การเรียนรู้แบบเสริมกำลังบนเอเจนต์หลัก Qwen3.5-122B-A10B โดยมีเอเจนต์ย่อย Qwen3.6-35B-A3B คงที่ (a) อัตราการผ่านเกณฑ์การกระจายค่าเฉลี่ยในแต่ละขั้นตอนการฝึก 40 ขั้นตอน (b) โมเดลพื้นฐานและจุดตรวจสอบสุดท้ายบนชุดข้อมูลแยก 50 ห้อง
หลัง RL ความครอบคลุมห้องข้อมูลเฉลี่ยเพิ่มขึ้นจาก 62% เป็น 96% แม้ว่าความครอบคลุมจะไม่ใช่เงื่อนไขรางวัลที่ชัดเจนก็ตาม การรันพื้นฐานกระจายตัวในช่วงความครอบคลุมทั้งหมด โดยมีกลุ่มที่ต่ำกว่า 20% ซึ่งได้คะแนนใกล้ศูนย์ ทุกการรันที่ผ่านการฝึก RL อ่านมากกว่า 60% ของห้องข้อมูล และส่วนใหญ่อ่านทั้งหมด
รูปที่ 13: อัตราการผ่านเกณฑ์เทียบกับความครอบคลุมตามโพรบ หนึ่งจุดต่อการรัน สำหรับเอเจนต์หลัก Qwen3.5-122B-A10B ก่อนและหลัง RL บนชุดข้อมูลแยก 50 ห้อง
เอเจนต์หลักหลังการฝึกเรียกเอเจนต์ย่อยเพิ่มขึ้น 64% ต่อห้องข้อมูล RL ยังเปลี่ยนปริมาณการมอบหมายงานมากกว่า SFT คือ 64% เทียบกับ 29%
ตารางที่ 2: พฤติกรรมของเอเจนต์หลัก Qwen3.5-122B-A10B ก่อนและหลัง RL โดยเฉลี่ยจากชุดข้อมูลแยก 50 ห้อง
ก่อนการฝึกอบรมภายหลัง เอเจนต์หลัก Qwen พยายามเขียนบันทึกการตรวจสอบสถานะในครั้งเดียวและหลังจากที่เอเจนต์ย่อยทั้งหมดส่งคืนผลลัพธ์แล้วเท่านั้น ในระหว่างการฝึกอบรมภายหลังแบบ RL มันเรียนรู้แนวทางที่มีประสิทธิภาพมากขึ้น โดยเขียนบันทึกแบบเพิ่มทีละส่วนและสลับการเขียนส่วนต่างๆ ไปพร้อมกับการตรวจสอบงานของเอเจนต์ย่อย
การปรับขนาด RL ด้วย GLM-5.3
เพื่อทดสอบสูตร RL ของเราในขนาดที่ใหญ่ขึ้น ขณะนี้เรากำลังฝึกอบรม GLM-5.3 ในฐานะเอเจนต์หลัก RLM ด้วยการกำหนดค่าแบบ GRPO เดียวกัน: อัตราการผ่านเกณฑ์ที่ตัดสินแล้วเป็นรางวัล, เอเจนต์ย่อย Qwen3.6-35B-A3B คงที่, LoRA บนเอเจนต์หลัก, ขนาดกลุ่ม 8 และขนาดแบตช์ 24 การกระจายค่า GLM-5.3 เริ่มต้นสูงกว่าที่เอเจนต์หลัก Qwen เริ่มต้นมาก ดังนั้นจึงมีพื้นที่ให้ปรับปรุงน้อยกว่า ตั้งแต่ขั้นตอนที่ 0 ถึง 20 (รูปที่ 14) อัตราการผ่านการกระจายค่าเฉลี่ยเพิ่มขึ้นจากประมาณ 51% เป็นประมาณ 59% โดยเฉลี่ยจากแปดขั้นตอนแรกและแปดขั้นตอนสุดท้ายที่แสดง โดยมีสัญญาณรบกวนจากขั้นตอนต่อขั้นตอนตามที่คาดไว้ที่ขนาดแบตช์นี้
รูปที่ 14: ความคืบหน้าการฝึกอบรมในช่วงต้นสำหรับการรัน GLM-5.3 RL ที่กำลังดำเนินอยู่ โดยมีเอเจนต์ย่อย Qwen3.6-35B-A3B คงที่ อัตราการผ่านเกณฑ์การกระจายค่าเฉลี่ยแสดงตลอด 20 ขั้นตอนการฝึก สีเทาแสดงค่าดิบต่อขั้นตอน สีดำแสดงค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โปเนนเชียล รูปนี้รายงานคะแนนการฝึก ไม่ใช่ประสิทธิภาพในชุดข้อมูลแยก
ขั้นตอนต่อไป
ระบบควบคุม RLM ช่วยเพิ่มประสิทธิภาพในโมเดลทั้งหมดที่เราทดสอบ และ RL สร้างผลกำไรเพิ่มเติมสำหรับเอเจนต์หลัก Qwen ภายในระบบควบคุมนั้น ยังคงมีช่องว่างขนาดใหญ่ระหว่างคะแนนเหล่านี้กับอัตราการผ่านที่เกือบสมบูรณ์แบบที่เรากำลังดำเนินการเพื่อให้บรรลุ
การทดลองฝึกอบรมที่อธิบายโดยละเอียดข้างต้นเป็นการสำรวจเบื้องต้น นอกเหนือจากการฝึกอบรม GLM-5.3 ที่ขยายขนาดให้เสร็จสมบูรณ์แล้ว เราจะสำรวจการผสมผสานระหว่าง SFT และ RL และเอเจนต์ย่อยที่ผ่านการฝึกด้วย ระบบควบคุม RLM แยกการประสานงานของเอเจนต์หลักออกจากการอ่านของเอเจนต์ย่อย ดังนั้นแต่ละส่วนจึงสามารถฝึกได้ด้วยตัวเองหรือร่วมกัน รวมถึงการตั้งค่าที่เอเจนต์ย่อยได้รับการฝึกให้มอบหมายงานต่อตามลำดับ
สุดท้ายนี้ ข้อค้นพบหลักที่นี่ คือ การปรับแต่งร่วมกันระหว่างโมเดลและระบบควบคุมสามารถปรับปรุงประสิทธิภาพของเอเจนต์ในสภาพแวดล้อมระยะยาวได้อย่างมีความหมาย ซึ่งไม่ได้จำกัดเฉพาะงานตรวจสอบสถานะเท่านั้น เรากำลังสำรวจวิธีการนำโครงสร้างระบบควบคุมและแนวทางการฝึกอบรมเดียวกันไปประยุกต์ใช้กับงานด้านกฎหมายที่ต้องใช้บริบทยาวอื่นๆ
ภาคผนวก
ความลึกของการเรียกซ้ำของ RLM
เรายังทดสอบว่าการเพิ่มชั้นการมอบหมายงานอีกชั้นหนึ่งช่วยปรับปรุงประสิทธิภาพหรือไม่ ที่ depth-1 เอเจนต์ย่อยส่งคืนการเติมเต็ม LLM ธรรมดา โดยไม่มีเครื่องมือหรือการมอบหมายงานของตัวเอง ที่ depth-2 เอเจนต์ย่อยได้รับ Python REPL และสามารถมอบหมายงานต่อได้ ในการทดลองแต่ละครั้ง เราใช้โมเดลเดียวกันสำหรับเอเจนต์หลักและเอเจนต์ย่อยทุกตัว
เราประเมินทั้ง GLM-5.2 และ Qwen3.5-122B-A10B การรุ่น GLM-5.2 depth-2 จำนวนมากไม่เสร็จภายในเวลาที่กำหนด ดังนั้นเราจึงรายงานผลลัพธ์ของ Qwen ด้านล่าง จากห้องข้อมูล 14 ห้อง depth-2 ปรับปรุงคะแนนในสี่ห้องและลดลงในสิบห้อง ทำให้อัตราการผ่านเกณฑ์เฉลี่ยลดลง 19 จุดเปอร์เซ็นต์ (รูปที่ A2) ในสี่ในสิบกรณีที่คะแนนลดลง เอเจนต์ depth-2 อ่านเนื้อหาในห้องข้อมูลแต่ไม่เคยสร้างรายงาน
รูปที่ A1: อัตราการผ่านเกณฑ์ต่อห้องที่ depth-1 และ depth-2 สำหรับห้องข้อมูล 14 ห้อง เรากำหนดโมเดลให้คงที่และเปรียบเทียบเอเจนต์ย่อยแบบเติมเต็มธรรมดากับเอเจนต์ย่อยที่สามารถใช้ REPL และมอบหมายงานได้ ในสี่ในสิบกรณีที่คะแนนลดลง การรัน depth-2 อ่านห้องข้อมูลแต่ไม่เคยเขียนรายงาน
ผลลัพธ์เหล่านี้เป็นแรงจูงใจให้เราใช้ depth-1 สำหรับการทดลองฝึกอบรมภายหลังเบื้องต้น การฝึกอบรมเอเจนต์โดยเฉพาะสำหรับการมอบหมายงานที่ลึกขึ้นจะทำให้ชั้นเพิ่มเติมมีประโยชน์หรือไม่นั้นยังคงเป็นคำถามที่เปิดกว้าง
โครงสร้างพื้นฐาน RL
RL โดยเฉพาะอย่างยิ่งกับความยาวตอน (episode length) ที่ยาวนานเช่นนี้ เป็นปัญหาด้านโครงสร้างพื้นฐานพอๆ กับปัญหาสัญญาณการฝึก สำหรับงานนี้ การกระจายค่าแบบตอนเดียวอาจใช้เวลานานหนึ่งชั่วโมงหรือมากกว่านั้นตามเวลาจริงในการดำเนินการให้เสร็จสิ้น เพื่อเพิ่มประสิทธิภาพเวลาจริงในการฝึก เราใช้วิธีการต่างๆ เช่น การอนุมานแบบนโยบายนอกเวลาจริงแบบอะซิงโครนัส (asynchronous off-policy inference), การรวมการอนุมานอย่างต่อเนื่อง (continuous inference batching), การสุ่มตัวอย่างเกิน (oversampling), และการอัปเดตน้ำหนักระหว่างการบิน (in-flight weight updates) การปิดบังโทเค็นแบบเลือก (selective token masking) และขีดจำกัดที่เกี่ยวข้องกับ async ถูกนำมาใช้เพื่อควบคุมผลกระทบของ off-policyness เนื่องจากในระบบควบคุม RLM เวลาจริงส่วนใหญ่ใช้ไปกับการรอให้เอเจนต์ย่อยทำงานเสร็จ ความสามารถในการใช้เอเจนต์ย่อยขนาดเล็กที่รวดเร็วช่วยเร่งกระบวนการฝึก RL ได้อย่างมาก
เราพล็อตเวลาจริงต่อขั้นตอนด้านล่าง ซึ่งถูกครอบงำโดยเวลาการกระจายค่าที่เพิ่มขึ้นตลอดช่วง RL เมื่อเอเจนต์มีความละเอียดถี่ถ้วนมากขึ้นและส่งคลื่นเอเจนต์ย่อยจำนวนมากขึ้น
รูปที่ A2: นาทีตามเวลาจริงต่อขั้นตอนการฝึก RL สำหรับการรัน 40 ขั้นตอน โดยมีค่าเฉลี่ยเคลื่อนที่ 5 ขั้นตอน ขั้นตอนที่ 2–10 เฉลี่ย 48 นาที และขั้นตอนที่ 31–40 เฉลี่ย 74 นาที การเพิ่มขึ้นเกิดจากโมเดลที่ผ่านการฝึกส่งเอเจนต์ย่อยต่อการกระจายค่ามากขึ้น
