Liên kết bài viết: https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
Trong bản xem trước nghiên cứu gần đây về Harvey Tenet, chúng tôi đã nhấn mạnh tầm quan trọng của việc đồng tối ưu hóa mô hình và hệ thống khung (model-harness co-optimization) để giải quyết các tác vụ pháp lý phức tạp, từ đầu đến cuối, đồng thời công bố trước các kết quả ban đầu về Thẩm định M&A, nơi một tác vụ duy nhất yêu cầu phải xử lý tới 80 triệu token ngữ cảnh tài liệu. Hôm nay, chúng tôi chia sẻ các kết quả cập nhật từ quá trình thử nghiệm liên tục của mình.
Cùng với Baseten, chúng tôi đã xây dựng một hệ thống khung ngôn ngữ mô hình đệ quy (RLM) cho Thẩm định M&A. Trong công thức RLM của chúng tôi, toàn bộ phòng dữ liệu (dataroom) được tải vào một Python REPL và một tác tử gốc (root agent) ủy quyền việc xem xét và phân tích có giới hạn cho các tác tử con (sub-agents) làm việc trong các cửa sổ ngữ cảnh riêng của chúng. Trên các tác vụ LAB Diligence, hệ thống khung này cải thiện tỷ lệ vượt qua tiêu chí đánh giá (rubric criteria pass rate) trung bình 39,1 điểm phần trăm trên bảy mô hình mà chúng tôi đã đánh giá.
Chúng tôi nhận thấy rằng việc huấn luyện sau (post-training) trong hệ thống khung RLM mang lại những cải thiện hiệu suất hơn nữa và các lựa chọn để cân bằng giữa chất lượng và hiệu quả. Chúng tôi đã huấn luyện sau một bộ điều phối (orchestrator) Qwen3.5-122B-A10B thông qua học tăng cường (reinforcement learning) và nhận thấy rằng việc huấn luyện sau đã tăng tỷ lệ vượt qua tiêu chí đánh giá từ 29,9% lên 63,0% trên 50 phòng dữ liệu LAB Diligence được giữ lại (held-out).
Hình 1: Tỷ lệ vượt qua tiêu chí trung bình trên LAB Diligence đối với các mô hình cơ sở trong hệ thống khung vòng lặp công cụ tiêu chuẩn, các tác tử mã hóa trong hệ thống khung riêng của chúng và các mô hình trong hệ thống khung RLM của chúng tôi. Dấu hoa thị đánh dấu các kết quả GLM-5.2 đã được ghép cặp trước và sau SFT, được đánh giá trên một bộ giữ lại riêng gồm 20 phòng. Tất cả các kết quả khác sử dụng bộ giữ lại 50 phòng.
Những kết quả này cho thấy rằng việc huấn luyện sau trong một hệ thống khung dành riêng cho tác vụ là một hướng đi thực tế cho công việc pháp lý chuyên sâu về tài liệu, như Thẩm định M&A, và việc mở rộng quy mô RL trong hệ thống khung RLM là một hướng đi đầy hứa hẹn cho các nghiên cứu trong tương lai. Vì lý do này, chúng tôi cũng đang huấn luyện GLM-5.3, một mô hình trọng số mở (open weight model) tiên tiến quy mô lớn, làm mô hình gốc trong một đợt mở rộng quy mô đang diễn ra.
Trong phần còn lại của bài viết này, chúng tôi mô tả chi tiết hơn về các môi trường LAB Diligence mà chúng tôi đã đánh giá, phương pháp luận của chúng tôi và các thí nghiệm huấn luyện sau.
Môi trường cho Thẩm định M&A
Gần đây, chúng tôi đã giới thiệu LAB Diligence, một phần mở rộng của LAB bao gồm các môi trường tổng hợp cho Thẩm định M&A. Một phòng dữ liệu duy nhất trong LAB Diligence chứa tới 5.000 tài liệu, được tổ chức thành hàng chục thư mục theo danh mục và tổng cộng lên tới 80 triệu token ngữ cảnh.
Hình 2: Một ví dụ về phòng dữ liệu LAB Diligence. Aravon Bridge Bank chứa 2.270 tài liệu trong 82 thư mục thuộc 14 danh mục, tổng cộng 31 triệu token. Bản ghi nhớ thẩm định (diligence memo) của tác tử cho tác vụ này được chấm điểm dựa trên 571 tiêu chí đánh giá.
Làm việc trong phòng dữ liệu này, tác tử có nhiệm vụ tạo ra một bản ghi nhớ thẩm định hoàn chỉnh, bao gồm các phát hiện của nó với trích dẫn tài liệu, mức độ rủi ro đã được định lượng (nếu có) và các bước tiếp theo được đề xuất cho giao dịch. Một thẩm phán LLM (LLM judge) chấm điểm bản ghi nhớ thẩm định dựa trên một bộ tiêu chí đánh giá chuyên môn với hàng trăm tiêu chí đạt hoặc không đạt. Ví dụ về Aravon Bridge Bank có tổng cộng 571 tiêu chí đánh giá.
Hình 3: Ví dụ về bộ tiêu chí đánh giá cho tác vụ Aravon Bridge Bank trong LAB Diligence, với một tiêu chí nguyên văn cho mỗi loại.
Bằng chứng cần thiết cho việc thẩm định được phân bố khắp phòng dữ liệu. Một số phát hiện yêu cầu kết hợp nhiều tài liệu, trong khi những phát hiện khác yêu cầu kiểm tra xem bằng chứng hỗ trợ có bị thiếu hay không. Trong các lần chạy cơ sở (baseline runs) của chúng tôi, các tác tử tìm kiếm và đọc một cách có chọn lọc, để lại phần lớn phòng dữ liệu chưa được kiểm tra. Các tác vụ này đòi hỏi một hệ thống khung có thể phân phối việc xem xét trên nhiều ngữ cảnh giới hạn và tổng hợp các phát hiện lại với nhau.
Một hệ thống khung RLM cho Thẩm định M&A
Để thiết lập một đường cơ sở, chúng tôi bắt đầu với hệ thống khung vòng lặp công cụ tiêu chuẩn từ Legal Agent Bench. Trong hệ thống khung này, các mô hình cơ sở vượt qua trung bình 23,3% tiêu chí đánh giá trên 50 phòng dữ liệu được giữ lại và không có mô hình nào vượt qua mọi tiêu chí trên bất kỳ phòng dữ liệu nào.
Hình 4: Tỷ lệ vượt qua tiêu chí trung bình trong hệ thống khung vòng lặp công cụ tiêu chuẩn trên 50 phòng dữ liệu thẩm định được giữ lại.
Những kết quả này cho thấy sự không phù hợp giữa tác vụ và hệ thống khung. Một phòng dữ liệu LAB Diligence quá lớn để vừa trong một ngữ cảnh mô hình duy nhất, nhưng phần lớn việc xem xét ban đầu có thể được phân chia theo danh mục. Sau đó, tác tử gốc có thể kết hợp các phát hiện giữa các danh mục để tạo ra bản ghi nhớ. Các nhóm giao dịch trong các công ty luật cũng phân chia công việc thẩm định theo cách tương tự.
Hình 5: Hệ thống khung RLM ở độ sâu-1. Phòng dữ liệu được tải vào một Python REPL dưới dạng các biến có thể truy vấn. Tác tử gốc thao tác trên đó bằng mã và ủy quyền các tác vụ đọc có giới hạn cho các tác tử con, các tác tử con này trả về các phát hiện của chúng dưới dạng các biến REPL. Chỉ đầu ra mà tác tử gốc in ra mới đi vào cửa sổ ngữ cảnh của nó, vì vậy tác tử gốc không bao giờ nắm giữ toàn bộ phòng dữ liệu.
Điều này đã dẫn chúng tôi đến việc khám phá RLM như một hệ thống khung cho Thẩm định M&A. Trong một hệ thống khung RLM, một tác tử gốc được cung cấp một Python REPL với phòng dữ liệu được tải dưới dạng các biến có thể truy vấn, cho phép nó tìm kiếm kho ngữ liệu một cách lập trình. Tác tử gốc lập kế hoạch và xác định phạm vi xem xét, đồng thời phân phối các tác vụ con cho các tác tử con. Mỗi tác tử con nhận một phần giới hạn của kho ngữ liệu và các hướng dẫn từ tác tử gốc, làm việc trong cửa sổ ngữ cảnh riêng của nó và trả về các phát hiện của nó dưới dạng các biến REPL. Các thí nghiệm dưới đây sử dụng một lớp tác tử con duy nhất trừ khi có ghi chú khác và trên thực tế, tác tử gốc gửi nhiều lệnh gọi song song.
Hình 6: Tỷ lệ vượt qua tiêu chí trung bình cho bảy mô hình trong hệ thống khung vòng lặp công cụ tiêu chuẩn và với vai trò là tác tử gốc của hệ thống khung RLM (độ sâu-1, tác tử con Qwen3.6-35B-A3B), trên bộ giữ lại 50 phòng.
Trên bảy mô hình, hệ thống khung RLM nâng tỷ lệ vượt qua trung bình từ 23,3% lên 62,4%, mức tăng 39,1 điểm phần trăm. Chúng tôi cũng đã chạy hai tác tử mã hóa đa năng với các công cụ web bị vô hiệu hóa, Claude Code với Opus-5 và Codex với GPT-5.6 Sol, sử dụng cùng một hướng dẫn tối thiểu như hệ thống khung vòng lặp công cụ. Claude Code vượt qua 24,6% tiêu chí và Codex vượt qua 12,0%, thấp hơn lần lượt 17,9 và 4,6 điểm so với cùng các mô hình đó trong hệ thống khung vòng lặp công cụ. Trong các dấu vết (traces), cả hai tác tử đều ngừng đọc sớm và viết các bản ghi nhớ ngắn hơn, và không tác tử nào tạo ra các tác tử con mặc dù có khả năng làm như vậy.
Mức độ bao phủ và Chi phí
Hệ thống khung RLM làm tăng đáng kể lượng nội dung hữu ích trở thành ngữ cảnh của tác tử. Chúng tôi ước tính mức độ bao phủ bằng các đầu dò (probes) đo lường tỷ lệ nội dung phòng dữ liệu đến được bất kỳ mô hình nào trong hệ thống khung, tác tử gốc hoặc tác tử con. Trong hệ thống khung vòng lặp công cụ tiêu chuẩn, không có lần chạy nào đọc quá 1% phòng dữ liệu và hầu hết đọc từ 0,1% đến 0,5%. Trong hệ thống khung RLM, hầu hết mọi lần chạy đều đọc hơn 10% phòng dữ liệu và hầu hết đọc gần như toàn bộ. Mức độ bao phủ cao hơn có liên quan đến tỷ lệ vượt qua tiêu chí đánh giá cao hơn trong phạm vi này.
Hình 7: Tỷ lệ vượt qua tiêu chí đánh giá so với mức độ bao phủ dựa trên đầu dò, một điểm cho mỗi lần chạy, cho bảy mô hình trong mỗi hệ thống khung trên 50 phòng dữ liệu được giữ lại từ LAB Diligence. Mức độ bao phủ được thể hiện trên thang log.
Việc chuyển sang hệ thống khung RLM làm tăng chi phí sinh (generation cost) cho mỗi phòng dữ liệu đối với sáu trong số bảy mô hình cơ sở, như thể hiện trong Hình 8. Claude Opus 5 là ngoại lệ. Trong hệ thống khung vòng lặp công cụ, nó tiêu tốn ~18 đô la cho mỗi phòng dữ liệu để tự đọc; với vai trò là tác tử gốc RLM, nó tiêu tốn ~7 đô la và đạt điểm cao hơn 35 điểm.
Hình 8: Tỷ lệ vượt qua tiêu chí trung bình so với chi phí sinh cho mỗi phòng dữ liệu cho bảy mô hình trong mỗi hệ thống khung, tính trung bình trên 50 phòng dữ liệu được giữ lại. Các đường đứt nét kết nối cùng một mô hình qua các hệ thống khung. Chi phí là ước tính có nhận biết bộ nhớ đệm (cache-aware estimates) theo giá niêm yết, thang log.
Phân công lao động
Để kiểm tra hiệu suất phụ thuộc vào tác tử gốc so với các tác tử con ở mức độ nào, chúng tôi đã ghép bốn mô hình gốc với ba mô hình tác tử con Qwen trên 30 phòng dữ liệu được giữ lại (xem Hình 9). Trên các cấu hình được thử nghiệm, việc thay đổi tác tử gốc có ảnh hưởng lớn hơn. Giữ cố định mô hình tác tử con trong khi thay đổi mô hình gốc, khoảng cách giữa các tác tử gốc có điểm cao nhất và thấp nhất trung bình khoảng 38 điểm phần trăm. Giữ cố định tác tử gốc trong khi thay đổi các tác tử con, khoảng cách tương ứng giữa các mô hình tác tử con trung bình khoảng 8 điểm (Hình 9b).
Hình 9: Phân công lao động trong hệ thống khung RLM, tổng hợp trên bốn mô hình gốc và ba mô hình tác tử con trên 30 phòng dữ liệu được giữ lại. (a) Tỷ lệ token đầu vào và đầu ra của tác tử gốc, tính trung bình theo các lựa chọn tác tử con. (b) Khoảng cách giữa các tác tử gốc có điểm cao nhất và thấp nhất, tính trung bình theo các lựa chọn tác tử con và khoảng cách tương ứng giữa các tác tử con, tính trung bình theo các tác tử gốc.
Sự khác biệt này đáng chú ý vì trong hệ thống khung RLM, chúng tôi quan sát thấy tác tử gốc chỉ chiếm một phần nhỏ trong tổng lượng token sử dụng của tác tử. Ví dụ, với Opus 5 điều phối, tác tử gốc chiếm 3,8% token đầu vào và 1,1% token đầu ra (xem Hình 9a). Các tác tử con xử lý hầu hết văn bản, trong khi tác tử gốc quyết định cách phân chia việc xem xét và tập hợp các phát hiện.
Hình 10: Tỷ lệ vượt qua tiêu chí trung bình cho bốn mô hình gốc được ghép với ba mô hình tác tử con, trên 30 phòng dữ liệu được giữ lại.
Những kết quả này cho thấy việc cải thiện sự phối hợp là một cơ hội quan trọng trong thiết lập này, vì vậy chúng tôi đã tập trung các thí nghiệm huấn luyện sau ban đầu vào tác tử gốc.
Huấn luyện sau trong Hệ thống khung RLM
Các kết quả trên chỉ ra tác tử gốc là một mục tiêu cho việc huấn luyện sau. Trong phần này, chúng tôi báo cáo kết quả từ việc huấn luyện sau các mô hình gốc trọng số mở bên trong hệ thống khung RLM.
SFT tự chưng cất (Self-Distillation SFT)
Đầu tiên, chúng tôi đã huấn luyện sau một tác tử gốc GLM-5.2 bằng cách sử dụng SFT tự chưng cất lấy mẫu loại bỏ (rejection-sampling self-distillation SFT). Thí nghiệm này sử dụng một bộ đánh giá giữ lại 20 phòng khác với các đánh giá 50 phòng được báo cáo ở những nơi khác. Điểm mô hình cơ sở đã ghép cặp của nó trên bộ giữ lại này là 46,1%, thấp hơn kết quả GLM-5.2 65,4% được báo cáo trong Hình 6 trên bộ giữ lại lớn hơn.
GLM-5.2 cơ sở không thực thi một cách ổn định một chính sách điểm cao ngay từ đầu – có những sụp đổ hiệu suất thường xuyên khi mô hình cơ sở, đóng vai trò là tác tử gốc, bỏ cuộc sớm, ủy quyền không đầy đủ hoặc không chuyển đổi được đầu ra của tác tử con thành một sản phẩm bàn giao tốt. Với một chính sách mạnh đã nằm trong phân phối của mô hình nhưng cần được làm cho mạnh mẽ hơn, chúng tôi sử dụng SFT tự chưng cất lấy mẫu loại bỏ để làm sắc nét phân phối của GLM-5.2 vào chế độ mong muốn. Chúng tôi đã chọn các lần chạy GLM-5.2 thành công với mức độ bao phủ phòng dữ liệu cao và tinh chỉnh tác tử gốc trên các quỹ đạo đó.
Hình 11: GLM-5.2 với vai trò là tác tử gốc RLM trước và sau SFT tự chưng cất lấy mẫu loại bỏ, được đánh giá trên một bộ giữ lại riêng gồm 20 phòng. Đây là các kết quả đã ghép cặp trong thí nghiệm SFT, không phải đánh giá 50 phòng được sử dụng trong Hình 6.
Trên bộ giữ lại 20 phòng dữ liệu này, tác tử gốc được huấn luyện SFT đạt 60,1% so với 46,1% của mô hình cơ sở (xem Hình 11). Một đánh giá về các dấu vết của tác tử sau huấn luyện cho thấy rằng việc huấn luyện giúp tác tử gốc xem xét toàn diện phòng dữ liệu và đưa một tỷ lệ lớn hơn các phát hiện của tác tử con vào bản ghi nhớ cuối cùng.
Bảng 1 tóm tắt các thay đổi hành vi khác mà chúng tôi quan sát được sau khi huấn luyện sau. Đáng chú ý nhất, mối tương quan giữa số lượng cuộc gọi tác tử con và kích thước phòng dữ liệu tăng từ 0,17 lên 0,84, cho thấy tác tử gốc đã được huấn luyện điều chỉnh quy mô ủy quyền của nó theo kích thước của phòng dữ liệu. Tác tử gốc được huấn luyện cũng học cách bắt đầu viết bản ghi nhớ trong khi các tác tử con vẫn đang đọc, tương tự như những gì chúng tôi tìm thấy trong các lần chạy RL của mình.
Bảng 1: Hành vi của tác tử gốc GLM-5.2 trước và sau SFT, tính trung bình trên bộ giữ lại riêng gồm 20 phòng. Mức độ bao phủ là một tỷ lệ phần trăm; hàng cuối cùng là một hệ số tương quan.
Các hành vi tạo nên một tác tử gốc thẩm định mạnh, như ủy quyền toàn diện, có thể học được từ một số lượng tương đối nhỏ các dấu vết trên chính sách (on-policy traces), mà không cần thông tin đặc quyền và không có kiến thức pháp lý được gắn nhãn. Ở đây, tự chưng cất có hiệu quả vì hành vi tốt đã tồn tại trong phân phối của mô hình và việc huấn luyện ổn định hóa nó.
Thí nghiệm này đã thúc đẩy chúng tôi khám phá huấn luyện sau dựa trên RL như một nỗ lực để đẩy mô hình vượt ra ngoài những gì nằm trong phân phối của nó, khơi gợi các hành vi mới trực tiếp thông qua phần thưởng của tác vụ.
Học tăng cường (Reinforcement learning)
Đối với học tăng cường, chúng tôi bắt đầu với một mô hình gốc nhỏ hơn, Qwen3.5-122B-A10B, để giữ cho vòng lặp thí nghiệm RL ban đầu dễ xử lý.
Chúng tôi đã huấn luyện tác tử gốc RLM với GRPO, sử dụng tỷ lệ vượt qua tiêu chí đánh giá đã được chấm điểm làm phần thưởng và giữ cố định các mô hình tác tử con (các tác tử con đều là mô hình Qwen3.6-35B-A3B). Qua 40 bước huấn luyện, chúng tôi nhận thấy tỷ lệ vượt qua trung bình của các lần chạy thử (rollout) tăng từ khoảng 23% lên khoảng 56%. Trên bộ giữ lại 50 phòng, điểm kiểm tra cuối cùng (final checkpoint) đạt 63,0% so với 29,9% của mô hình cơ sở.
Hình 12: Học tăng cường trên tác tử gốc Qwen3.5-122B-A10B với các tác tử con Qwen3.6-35B-A3B cố định. (a) Tỷ lệ vượt qua tiêu chí trung bình của các lần chạy thử tại mỗi bước trong số 40 bước huấn luyện. (b) Mô hình cơ sở và điểm kiểm tra cuối cùng trên bộ giữ lại 50 phòng.
Sau RL, mức độ bao phủ phòng dữ liệu trung bình tăng từ 62% lên 96%, mặc dù mức độ bao phủ không phải là một điều khoản phần thưởng rõ ràng. Các lần chạy cơ sở trải rộng trên toàn bộ phạm vi bao phủ, với một cụm dưới 20% đạt điểm gần như bằng không. Mọi lần chạy được huấn luyện RL đều đọc hơn 60% phòng dữ liệu và hầu hết đọc toàn bộ.
Hình 13: Tỷ lệ vượt qua tiêu chí so với mức độ bao phủ dựa trên đầu dò, một điểm cho mỗi lần chạy, cho tác tử gốc Qwen3.5-122B-A10B trước và sau RL trên bộ giữ lại 50 phòng.
Tác tử gốc sau huấn luyện thực hiện nhiều hơn 64% số cuộc gọi tác tử con cho mỗi phòng dữ liệu. RL cũng thay đổi khối lượng ủy quyền nhiều hơn SFT, 64% so với 29%.
Bảng 2: Hành vi của tác tử gốc Qwen3.5-122B-A10B trước và sau RL, tính trung bình trên bộ giữ lại 50 phòng.
Trước khi huấn luyện sau, tác tử gốc Qwen đã cố gắng viết bản ghi nhớ thẩm định của nó trong một lần duy nhất và chỉ sau khi tất cả các tác tử con trả về. Trong quá trình huấn luyện sau RL, nó học được một cách tiếp cận hiệu quả hơn, viết bản ghi nhớ một cách gia tăng và xen kẽ việc viết các phần với việc xem xét công việc của tác tử con.
Mở rộng quy mô RL với GLM-5.3
Để kiểm tra công thức RL của chúng tôi ở quy mô lớn, hiện chúng tôi đang huấn luyện GLM-5.3 với vai trò là tác tử gốc RLM với cùng cấu hình kiểu GRPO: tỷ lệ vượt qua tiêu chí đã được chấm điểm làm phần thưởng, các tác tử con Qwen3.6-35B-A3B được giữ cố định, LoRA trên tác tử gốc, kích thước nhóm (group size) là 8 và kích thước lô (batch size) là 24. Các lần chạy thử GLM-5.3 bắt đầu ở mức cao hơn nhiều so với nơi tác tử gốc Qwen bắt đầu, vì vậy có ít dư địa hơn. Qua các bước 0 đến 20 (Hình 14), tỷ lệ vượt qua trung bình của các lần chạy thử tăng từ khoảng 51% lên khoảng 59%, tính trung bình trên tám bước đầu tiên và tám bước cuối cùng được hiển thị, với nhiễu từng bước dự kiến ở kích thước lô này.
Hình 14: Tiến trình huấn luyện ban đầu cho đợt chạy RL GLM-5.3 đang diễn ra, với các tác tử con Qwen3.6-35B-A3B được giữ cố định. Tỷ lệ vượt qua tiêu chí trung bình của các lần chạy thử được hiển thị trong suốt 20 bước huấn luyện. Màu xám hiển thị các giá trị thô từng bước; màu đen hiển thị đường trung bình động hàm mũ. Hình này báo cáo điểm huấn luyện, không phải hiệu suất trên bộ giữ lại.
Các bước tiếp theo
Hệ thống khung RLM cải thiện hiệu suất trên tất cả các mô hình chúng tôi đã thử nghiệm và RL tạo ra những cải thiện hơn nữa cho tác tử gốc Qwen trong hệ thống khung đó. Vẫn còn một khoảng cách đáng kể giữa các điểm số này và tỷ lệ vượt qua gần như hoàn hảo mà chúng tôi đang hướng tới.
Các thí nghiệm huấn luyện được trình bày chi tiết ở trên là những khám phá ban đầu. Ngoài việc hoàn thành đợt huấn luyện GLM-5.3 mở rộng quy mô, chúng tôi cũng sẽ khám phá các kết hợp của SFT và RL, cũng như các tác tử con đã được huấn luyện. Hệ thống khung RLM tách biệt sự điều phối của tác tử gốc khỏi việc đọc của các tác tử con, vì vậy mỗi tác tử có thể được huấn luyện riêng hoặc cùng nhau, bao gồm các thiết lập trong đó các tác tử con được huấn luyện để ủy quyền theo lượt.
Cuối cùng, phát hiện cốt lõi ở đây, rằng đồng tối ưu hóa mô hình và hệ thống khung có thể cải thiện đáng kể hiệu suất của tác tử trong các môi trường có tầm nhìn xa (long-horizon environments), không chỉ dành riêng cho thẩm định. Chúng tôi đang khám phá các cách để ánh xạ cùng một cấu trúc hệ thống khung và cách tiếp cận huấn luyện sang các công việc pháp lý ngữ cảnh dài khác.
Phụ lục
Độ sâu đệ quy RLM
Chúng tôi cũng đã kiểm tra xem việc thêm một lớp ủy quyền khác có cải thiện hiệu suất hay không. Ở độ sâu-1, các tác tử con trả về các kết quả hoàn chỉnh LLM đơn giản, không có công cụ hoặc ủy quyền riêng. Ở độ sâu-2, các tác tử con nhận được một Python REPL và có thể ủy quyền thêm. Trong mỗi thí nghiệm, chúng tôi đã sử dụng cùng một mô hình cho tác tử gốc và mọi tác tử con.
Chúng tôi đã đánh giá cả GLM-5.2 và Qwen3.5-122B-A10B. Nhiều lần chạy độ sâu-2 của GLM-5.2 đã không hoàn thành trong giới hạn thời gian, vì vậy chúng tôi báo cáo kết quả Qwen dưới đây. Trên 14 phòng dữ liệu, độ sâu-2 cải thiện điểm số trên bốn phòng và giảm điểm trên mười phòng, làm giảm tỷ lệ vượt qua tiêu chí trung bình 19 điểm phần trăm (Hình A2). Trong bốn trong số mười lần giảm điểm, tác tử độ sâu-2 đã đọc nội dung phòng dữ liệu nhưng không bao giờ tạo ra một báo cáo.
Hình A1: Tỷ lệ vượt qua tiêu chí theo từng phòng ở độ sâu-1 và độ sâu-2 cho 14 phòng dữ liệu. Chúng tôi giữ cố định mô hình và so sánh các tác tử con hoàn chỉnh đơn giản với các tác tử con có thể sử dụng REPL và ủy quyền. Trong bốn trong số mười lần giảm điểm, lần chạy độ sâu-2 đọc phòng dữ liệu nhưng không bao giờ viết báo cáo.
Những kết quả này đã thúc đẩy việc chúng tôi sử dụng độ sâu-1 cho các thí nghiệm huấn luyện sau ban đầu. Liệu việc huấn luyện các tác tử cụ thể cho việc ủy quyền sâu hơn có thể làm cho các lớp bổ sung trở nên hữu ích hay không vẫn là một câu hỏi mở.
Cơ sở hạ tầng RL
RL, đặc biệt là với độ dài tập (episode) lớn như vậy, là một vấn đề về cơ sở hạ tầng cũng như là một vấn đề về tín hiệu huấn luyện. Đối với tác vụ này, các lần chạy thử một tập có thể mất khoảng một giờ hoặc hơn thời gian thực để hoàn thành. Để tối ưu hóa thời gian thực huấn luyện, chúng tôi đã áp dụng các phương pháp như suy luận ngoài chính sách không đồng bộ (asynchronous off-policy inference), gộp lô suy luận liên tục (continuous inference batching), lấy mẫu quá mức (oversampling) và cập nhật trọng số trong khi bay (in-flight weight updates). Mặt nạ token có chọn lọc (Selective token masking) và các giới hạn liên quan đến không đồng bộ đã được áp dụng để kiểm soát ảnh hưởng của tính ngoài chính sách (off-policyness). Vì trong hệ thống khung RLM, phần lớn thời gian thực được dành để chờ các tác tử con hoàn thành, khả năng sử dụng các tác tử con nhỏ nhanh đã giúp tăng tốc đáng kể quá trình huấn luyện RL.
Chúng tôi vẽ biểu đồ thời gian thực từng bước dưới đây. Nó bị chi phối bởi thời gian chạy thử, thời gian này tăng lên trong quá trình RL khi tác tử trở nên kỹ lưỡng hơn và gửi ra các làn sóng tác tử con lớn hơn.
Hình A2: Số phút thời gian thực cho mỗi bước huấn luyện RL cho lần chạy 40 bước, với đường trung bình động 5 bước. Các bước 2–10 trung bình 48 phút và các bước 31–40 trung bình 74 phút; sự gia tăng đến từ việc mô hình được huấn luyện gửi nhiều tác tử con hơn cho mỗi lần chạy thử.
