Lien vers l'article : https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
Dans notre récent aperçu de recherche pour Harvey Tenet, nous avons souligné l'importance de la co-optimisation modèle-mécanisme pour résoudre des tâches juridiques complexes de bout en bout, et présenté les premiers résultats sur la Due Diligence M&A, où une seule tâche nécessite de parcourir jusqu'à 80 millions de tokens de contexte documentaire. Aujourd'hui, nous partageons les résultats mis à jour de nos expérimentations continues.
Avec Baseten, nous avons construit un mécanisme de modèle de langage récursif (RLM) pour la Due Diligence M&A. Dans notre formulation RLM, une salle de données complète est chargée dans un REPL Python et un agent racine délègue une revue et une analyse limitées à des sous-agents qui travaillent dans leurs propres fenêtres de contexte. Sur les tâches LAB Diligence, ce mécanisme améliore le taux de réussite des critères de la grille d'évaluation de 39,1 points de pourcentage en moyenne sur les sept modèles que nous avons évalués.
Nous constatons que le post-entraînement au sein du mécanisme RLM génère des gains de performance supplémentaires et des options pour naviguer dans les compromis qualité-efficacité. Nous avons post-entraîné un orchestrateur Qwen3.5-122B-A10B via l'apprentissage par renforcement et avons constaté que le post-entraînement augmentait le taux de réussite des critères de la grille de 29,9 % à 63,0 % sur 50 salles de données LAB Diligence réservées.
Figure 1 : Taux moyen de réussite des critères sur LAB Diligence pour les modèles de base dans le mécanisme de boucle d'outils standard, les agents de codage dans leurs propres mécanismes, et les modèles dans notre mécanisme RLM. Les astérisques marquent les résultats appariés de GLM-5.2 avant et après SFT, évalués sur un ensemble de validation séparé de 20 salles. Tous les autres résultats utilisent l'ensemble de validation de 50 salles.
Ces résultats suggèrent que le post-entraînement au sein d'un mécanisme spécifique à une tâche est une voie pratique pour le travail juridique nécessitant beaucoup de documents, comme la Due Diligence M&A, et que le passage à l'échelle du RL au sein du mécanisme RLM est une direction prometteuse pour les travaux futurs. Pour cette raison, nous entraînons également GLM-5.3, un grand modèle open-weight de pointe, en tant que modèle racine dans un cycle de passage à l'échelle en cours.
Dans le reste de cet article, nous décrivons les environnements LAB Diligence que nous avons évalués, notre méthodologie et les expériences de post-entraînement plus en détail.
Environnements pour la Due Diligence M&A
Nous avons récemment introduit LAB Diligence, une extension de LAB qui inclut des environnements synthétiques pour la Due Diligence M&A. Une seule salle de données dans LAB Diligence contient jusqu'à 5 000 documents, organisés dans des dizaines de dossiers par catégorie, et jusqu'à 80 millions de tokens de contexte total.
Figure 2 : Exemple de salle de données LAB Diligence. Aravon Bridge Bank contient 2 270 documents dans 82 dossiers répartis dans 14 catégories, soit 31 millions de tokens au total. La note de synthèse de diligence de l'agent pour cette tâche est évaluée selon 571 critères de grille.
Travaillant dans cette salle de données, l'agent a pour mission de produire une note de synthèse de diligence complète, incluant ses conclusions avec des citations de documents, l'exposition quantifiée le cas échéant, et les prochaines étapes recommandées pour la transaction. Un juge LLM évalue la note de synthèse de diligence par rapport à une grille d'experts contenant des centaines de critères de réussite ou d'échec. L'exemple d'Aravon Bridge Bank comporte 571 critères de grille au total.
Figure 3 : Exemples de critères de grille pour la tâche Aravon Bridge Bank dans LAB Diligence, avec un critère textuel de chaque type.
Les preuves nécessaires à la diligence sont réparties dans la salle de données. Certaines conclusions nécessitent de combiner plusieurs documents, tandis que d'autres nécessitent de vérifier si des preuves à l'appui sont manquantes. Dans nos exécutions de référence, les agents recherchaient et lisaient de manière sélective, laissant une grande partie de la salle de données inexplorée. Ces tâches nécessitent un mécanisme capable de distribuer la revue sur de nombreux contextes limités et de rassembler les conclusions.
Un Mécanisme RLM pour la Due Diligence M&A
Pour établir une référence, nous avons commencé avec le mécanisme de boucle d'outils standard de Legal Agent Bench. Dans ce mécanisme, les modèles de base réussissent en moyenne 23,3 % des critères de la grille sur les 50 salles de données réservées, et aucun modèle ne réussit tous les critères sur une quelconque salle de données.
Figure 4 : Taux moyen de réussite des critères dans le mécanisme de boucle d'outils standard sur les 50 salles de données de diligence réservées.
Ces résultats suggèrent une inadéquation entre la tâche et le mécanisme. Une salle de données LAB Diligence est trop grande pour tenir dans le contexte d'un seul modèle, mais une grande partie de la revue initiale peut être divisée par catégorie. La racine peut ensuite combiner les conclusions entre les catégories pour produire la note de synthèse. Les équipes transactionnelles au sein des cabinets d'avocats divisent le travail de diligence d'une manière similaire.
Figure 5 : Le mécanisme RLM à la profondeur 1. La salle de données est chargée dans un REPL Python sous forme de variables interrogeables. L'agent racine opère dessus en code et délègue des tâches de lecture limitées à des sous-agents, qui renvoient leurs conclusions sous forme de variables REPL. Seule la sortie imprimée par l'agent racine entre dans sa fenêtre de contexte, de sorte que la racine ne détient jamais la salle de données complète.
Cela nous a conduit à explorer les RLM comme mécanisme pour la Due Diligence M&A. Dans un mécanisme RLM, un agent racine reçoit un REPL Python avec la salle de données chargée sous forme de variables interrogeables, ce qui lui permet de rechercher le corpus par programmation. L'agent racine planifie et délimite la revue et répartit les sous-tâches entre les sous-agents. Chaque sous-agent reçoit une tranche limitée du corpus et des instructions de l'agent racine, travaille dans sa propre fenêtre de contexte et renvoie ses conclusions sous forme de variables REPL. Les expériences ci-dessous utilisent une seule couche de sous-agents sauf indication contraire, et en pratique, la racine émet de nombreux appels en parallèle.
Figure 6 : Taux moyen de réussite des critères pour sept modèles dans le mécanisme de boucle d'outils standard et en tant que racine du mécanisme RLM (profondeur 1, sous-agents Qwen3.6-35B-A3B), sur l'ensemble de validation de 50 salles.
Sur sept modèles, le mécanisme RLM augmente le taux de réussite moyen de 23,3 % à 62,4 %, soit un gain de 39,1 points de pourcentage. Nous avons également exécuté deux agents de codage à usage général avec les outils web désactivés, Claude Code avec Opus-5 et Codex avec GPT-5.6 Sol, en utilisant la même instruction minimale que le mécanisme de boucle d'outils. Claude Code réussit 24,6 % des critères et Codex 12,0 %, soit respectivement 17,9 et 4,6 points de moins que les mêmes modèles dans le mécanisme de boucle d'outils. Dans les traces, les deux agents arrêtent de lire tôt et rédigent des notes de synthèse plus courtes, et aucun ne génère de sous-agents malgré sa capacité à le faire.
Couverture et Coût
Le mécanisme RLM augmente considérablement la quantité de contenu utile qui devient le contexte de l'agent. Nous estimons la couverture avec des sondes qui mesurent la part du contenu de la salle de données atteignant un modèle quelconque dans le mécanisme, racine ou sous-agent. Dans le mécanisme de boucle d'outils standard, aucune exécution ne lit plus de 1 % de la salle de données, et la plupart lisent entre 0,1 % et 0,5 %. Dans le mécanisme RLM, presque toutes les exécutions lisent plus de 10 % de la salle de données et la plupart lisent la quasi-totalité. Une couverture plus élevée est associée à des taux de réussite des critères de grille plus élevés dans cette plage.
Figure 7 : Taux de réussite des critères de grille par rapport à la couverture basée sur les sondes, un point par exécution, pour sept modèles dans chaque mécanisme sur les 50 salles de données réservées de LAB Diligence. La couverture est sur une échelle logarithmique.
Le passage au mécanisme RLM augmente le coût de génération par salle de données pour six des sept modèles de référence, comme le montre la Figure 8. Claude Opus 5 est l'exception. Dans le mécanisme de boucle d'outils, il dépense environ 18 $ par salle de données en lecture seul ; en tant que racine RLM, il dépense environ 7 $ et obtient un score 35 points plus élevé.
Figure 8 : Taux moyen de réussite des critères par rapport au coût de génération par salle de données pour sept modèles dans chaque mécanisme, moyenné sur 50 salles de données réservées. Les lignes pointillées relient le même modèle entre les mécanismes. Les coûts sont des estimations tenant compte du cache aux prix catalogue, échelle logarithmique.
Division du Travail
Pour examiner dans quelle mesure la performance dépend de l'agent racine par rapport aux sous-agents, nous avons associé quatre modèles racines avec trois modèles de sous-agents Qwen sur 30 salles de données réservées (voir Figure 9). Dans les configurations testées, le changement de la racine a eu un effet plus important. En maintenant le modèle de sous-agent fixe tout en faisant varier le modèle racine, l'écart entre les racines les plus performantes et les moins performantes était en moyenne d'environ 38 points de pourcentage. En maintenant la racine fixe tout en faisant varier les sous-agents, l'écart correspondant entre les modèles de sous-agents était en moyenne d'environ 8 points (Figure 9b).
Figure 9 : Division du travail dans le mécanisme RLM, agrégée sur quatre modèles racines et trois modèles de sous-agents sur 30 salles de données réservées. (a) Part de la racine dans les tokens d'entrée et de sortie, moyennée sur les choix de sous-agents. (b) L'écart entre les racines les plus et les moins performantes, moyenné sur les choix de sous-agents, et l'écart correspondant entre les sous-agents, moyenné sur les racines.
Cette différence est notable car, dans le mécanisme RLM, nous observons que la racine représente une minorité de l'utilisation totale de tokens de l'agent. Avec Opus 5 comme orchestrateur, par exemple, la racine représente 3,8 % des tokens d'entrée et 1,1 % des tokens de sortie (voir Figure 9a). Les sous-agents traitent la majeure partie du texte, tandis que la racine décide comment diviser la revue et assembler les conclusions.
Figure 10 : Taux moyen de réussite des critères pour quatre modèles racines associés à trois modèles de sous-agents, sur 30 salles de données réservées.
Ces résultats suggèrent que l'amélioration de la coordination est une opportunité importante dans cette configuration, c'est pourquoi nous avons concentré nos premières expériences de post-entraînement sur la racine.
Post-Entraînement dans le Mécanisme RLM
Les résultats ci-dessus pointent vers l'agent racine comme cible du post-entraînement. Dans cette section, nous rapportons les résultats du post-entraînement de modèles racines open-weight à l'intérieur du mécanisme RLM.
SFT par Auto-Distillation par Rejet
Premièrement, nous avons post-entraîné une racine GLM-5.2 en utilisant la SFT par auto-distillation par échantillonnage de rejet. Cette expérience utilise un ensemble d'évaluation de validation différent de 20 salles par rapport aux évaluations sur 50 salles rapportées ailleurs. Son score de modèle de base apparié sur cet ensemble de validation est de 46,1 %, inférieur au résultat de 65,4 % de GLM-5.2 rapporté dans la Figure 6 sur le plus grand ensemble de validation.
Le GLM-5.2 de base n'exécute pas de manière stable une politique à haut score dès le départ – il y a des effondrements de performance fréquents où le modèle de base, agissant en tant qu'agent racine, abandonne tôt, sous-délègue, ou ne parvient pas à convertir les sorties des sous-agents en un livrable solide. Étant donné qu'une politique solide est déjà dans la distribution du modèle mais doit être rendue plus robuste, nous utilisons l'auto-distillation par échantillonnage de rejet pour affiner la distribution de GLM-5.2 sur le mode souhaité. Nous avons sélectionné des exécutions réussies de GLM-5.2 avec une couverture élevée de la salle de données et avons affiné la racine sur ces trajectoires.
Figure 11 : GLM-5.2 en tant que racine RLM avant et après la SFT par auto-distillation par échantillonnage de rejet, évalué sur un ensemble de validation séparé de 20 salles. Ce sont des résultats appariés dans le cadre de l'expérience SFT, et non l'évaluation sur 50 salles utilisée dans la Figure 6.
Sur cet ensemble de validation de 20 salles de données, la racine entraînée par SFT obtient un score de 60,1 % contre 46,1 % pour le modèle de base (voir Figure 11). Un examen des traces de l'agent post-entraîné suggère que l'entraînement aide l'agent racine à examiner de manière exhaustive la salle de données et à reporter un pourcentage plus élevé des conclusions des sous-agents dans la note de synthèse finale.
Le Tableau 1 résume d'autres changements de comportement que nous observons après le post-entraînement. Plus notablement, la corrélation entre le volume d'appels aux sous-agents et la taille de la salle de données passe de 0,17 à 0,84, indiquant que l'agent racine entraîné adapte sa délégation à la taille de la salle de données. La racine entraînée apprend également à commencer à rédiger la note de synthèse pendant que les sous-agents lisent encore, similaire à ce que nous avons trouvé dans nos exécutions RL.
Tableau 1 : Comportement de la racine GLM-5.2 avant et après SFT, moyenné sur l'ensemble de validation séparé de 20 salles. La couverture est un pourcentage ; la dernière ligne est un coefficient de corrélation.
Les comportements qui font un bon agent racine de diligence, comme la délégation exhaustive, sont apprenables à partir d'un nombre relativement faible de traces sur politique, sans information privilégiée ni connaissance juridique étiquetée. Ici, l'auto-distillation est efficace car le bon comportement existe déjà dans la distribution du modèle et l'entraînement le stabilise.
Cette expérience nous a motivés à explorer le post-entraînement basé sur le RL comme une tentative de pousser le modèle au-delà de ce qui est dans sa distribution, en suscitant un nouveau comportement directement via la récompense de la tâche.
Apprentissage par Renforcement
Pour l'apprentissage par renforcement, nous avons commencé avec un modèle racine plus petit, Qwen3.5-122B-A10B, pour garder la boucle d'expérimentation RL initiale gérable.
Nous avons entraîné la racine RLM avec GRPO, en utilisant le taux de réussite des critères de la grille évalué comme récompense et en maintenant les modèles de sous-agents fixes (les sous-agents étaient chacun un modèle Qwen3.6-35B-A3B). Sur 40 étapes d'entraînement, nous avons constaté que le taux de réussite moyen des déploiements passait d'environ 23 % à environ 56 %. Sur l'ensemble de validation de 50 salles, le point de contrôle final obtient un score de 63,0 % contre 29,9 % pour le modèle de base.
Figure 12 : Apprentissage par renforcement sur la racine Qwen3.5-122B-A10B avec des sous-agents Qwen3.6-35B-A3B fixes. (a) Taux de réussite moyen des critères de déploiement à chacune des 40 étapes d'entraînement. (b) Modèle de base et point de contrôle final sur l'ensemble de validation de 50 salles.
Après le RL, la couverture moyenne de la salle de données passe de 62 % à 96 %, même si la couverture n'est pas un terme de récompense explicite. Les exécutions de base sont réparties sur toute la plage de couverture, avec un groupe en dessous de 20 % qui obtient un score proche de zéro. Chaque exécution entraînée par RL lit plus de 60 % de la salle de données et la plupart lisent la totalité.
Figure 13 : Taux de réussite des critères par rapport à la couverture basée sur les sondes, un point par exécution, pour la racine Qwen3.5-122B-A10B avant et après RL sur l'ensemble de validation de 50 salles.
La racine post-entraînée effectue 64 % d'appels de sous-agents en plus par salle de données. Le RL a également changé le volume de délégation plus que la SFT, 64 % contre 29 %.
Tableau 2 : Comportement de la racine Qwen3.5-122B-A10B avant et après RL, moyenné sur l'ensemble de validation de 50 salles.
Avant le post-entraînement, l'agent racine Qwen tentait de rédiger sa note de synthèse de diligence en une seule fois et seulement après le retour de tous les sous-agents. Pendant le post-entraînement RL, il apprend une approche plus efficace, rédigeant la note de synthèse de manière incrémentale et entrelaçant la rédaction des sections avec l'examen du travail des sous-agents.
Passage à l'Échelle du RL avec GLM-5.3
Pour tester notre recette RL à grande échelle, nous entraînons maintenant GLM-5.3 en tant que racine RLM avec la même configuration de style GRPO : taux de réussite des critères de grille évalué comme récompense, sous-agents Qwen3.6-35B-A3B maintenus fixes, LoRA sur la racine, taille de groupe 8 et taille de lot 24. Les déploiements de GLM-5.3 commencent bien au-dessus de là où la racine Qwen a commencé, il y a donc moins de marge de progression. Sur les étapes 0 à 20 (Figure 14), le taux de réussite moyen des déploiements passe d'environ 51 % à environ 59 %, moyenné sur les huit premières et dernières étapes présentées, avec le bruit étape par étape attendu à cette taille de lot.
Figure 14 : Progression précoce de l'entraînement pour l'exécution RL en cours de GLM-5.3, avec des sous-agents Qwen3.6-35B-A3B maintenus fixes. Le taux de réussite moyen des critères de déploiement est présenté au cours de 20 étapes d'entraînement. Le gris montre les valeurs brutes par étape ; le noir montre une moyenne mobile exponentielle. Cette figure rapporte les scores d'entraînement, pas la performance sur l'ensemble de validation.
Prochaines Étapes
Le mécanisme RLM améliore la performance sur tous les modèles que nous avons testés, et le RL produit des gains supplémentaires pour la racine Qwen au sein de ce mécanisme. Il y a encore un écart substantiel entre ces scores et les taux de réussite quasi parfaits vers lesquels nous travaillons.
Les expériences d'entraînement détaillées ci-dessus sont des explorations initiales. En plus de terminer l'exécution d'entraînement à grande échelle de GLM-5.3, nous explorerons également des combinaisons de SFT et de RL, ainsi que des sous-agents entraînés. Le mécanisme RLM sépare l'orchestration de la racine de la lecture des sous-agents, de sorte que chacun peut être entraîné individuellement ou conjointement, y compris des configurations dans lesquelles les sous-agents sont entraînés à déléguer à leur tour.
Enfin, la conclusion fondamentale ici, à savoir que la co-optimisation modèle-mécanisme peut améliorer de manière significative la performance des agents dans des environnements à long horizon, n'est pas spécifique à la diligence. Nous explorons des moyens d'appliquer la même structure de mécanisme et la même approche d'entraînement à d'autres travaux juridiques à long contexte.
Annexe
Profondeur de Récursion RLM
Nous avons également testé si l'ajout d'une autre couche de délégation améliore la performance. À la profondeur 1, les sous-agents renvoient des complétions LLM simples, sans outils ni délégation propre. À la profondeur 2, les sous-agents reçoivent un REPL Python et peuvent déléguer davantage. Dans chaque expérience, nous avons utilisé le même modèle pour la racine et chaque sous-agent.
Nous avons évalué à la fois GLM-5.2 et Qwen3.5-122B-A10B. De nombreuses exécutions à la profondeur 2 de GLM-5.2 ne se sont pas terminées dans le délai imparti, nous rapportons donc les résultats Qwen ci-dessous. Sur 14 salles de données, la profondeur 2 a amélioré les scores sur quatre et les a réduits sur dix, abaissant le taux de réussite moyen des critères de 19 points de pourcentage (Figure A2). Dans quatre des dix régressions, l'agent de profondeur 2 a lu le contenu de la salle de données mais n'a jamais produit de rapport.
Figure A1 : Taux de réussite des critères par salle à la profondeur 1 et à la profondeur 2 pour 14 salles de données. Nous avons maintenu le modèle fixe et comparé les sous-agents à complétion simple avec les sous-agents pouvant utiliser un REPL et déléguer. Dans quatre des dix régressions, l'exécution à la profondeur 2 lit la salle de données mais n'écrit jamais le rapport.
Ces résultats ont motivé notre utilisation de la profondeur 1 pour les expériences initiales de post-entraînement. La question de savoir si l'entraînement d'agents spécifiquement pour une délégation plus profonde peut rendre des couches supplémentaires utiles reste ouverte.
Infrastructure RL
Le RL, surtout avec des longueurs d'épisode aussi longues, est autant un problème d'infrastructure qu'un problème de signal d'entraînement. Pour cette tâche, les déploiements d'épisodes uniques pouvaient prendre de l'ordre d'une heure ou plus de temps réel pour se terminer. Pour optimiser le temps réel d'entraînement, nous avons appliqué des méthodes comme l'inférence asynchrone hors politique, le regroupement continu d'inférence, le sur-échantillonnage et les mises à jour de poids en vol. Le masquage sélectif de tokens et des limites liées à l'asynchrone ont été appliqués pour contrôler l'effet du hors-politique. Étant donné que dans le mécanisme RLM, la majeure partie du temps réel est passée à attendre que les sous-agents se terminent, la possibilité d'utiliser des sous-agents petits et rapides a grandement contribué à accélérer le processus d'entraînement RL.
Nous traçons le temps réel par étape ci-dessous. Il est dominé par le temps de déploiement qui augmente au cours du RL à mesure que l'agent devient plus minutieux et envoie des vagues plus importantes de sous-agents.
Figure A2 : Minutes de temps réel par étape d'entraînement RL pour l'exécution de 40 étapes, avec une moyenne mobile sur 5 étapes. Les étapes 2 à 10 prennent en moyenne 48 minutes et les étapes 31 à 40 prennent en moyenne 74 minutes ; l'augmentation provient du modèle entraîné qui envoie plus de sous-agents par déploiement.
