記事リンク：https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
最近の Harvey Tenet の研究プレビュー では、複雑でエンドツーエンドの法務タスクを解決するためのモデルとハーネスの共同最適化の重要性を強調し、M&A デューデリジェンスに関する初期結果をプレビューしました。このタスクでは、単一のタスクで最大 80M トークンのドキュメントコンテキストを処理する必要があります。本日、継続的な実験から得られた最新の結果を共有します。
Baseten と協力して、M&A デューデリジェンス用の 再帰的言語モデル (RLM) ハーネスを構築しました。この RLM の定式化では、完全なデータルームが Python REPL にロードされ、ルートエージェントが、それぞれのコンテキストウィンドウ内で動作するサブエージェントに、範囲を限定したレビューと分析を委任します。LAB Diligence タスクにおいて、このハーネスは、評価した 7 つのモデル全体で、ルーブリック基準の合格率を平均 39.1 パーセントポイント向上させました。
RLM ハーネス内でのポストトレーニングにより、さらなるパフォーマンス向上と、品質と効率のトレードオフをナビゲートするオプションが得られることがわかりました。Qwen3.5-122B-A10B オーケストレーターを強化学習でポストトレーニングしたところ、50 のホールドアウトされた LAB Diligence データルームにおいて、ルーブリック基準の合格率が 29.9% から 63.0% に向上しました。
図 1: 標準的なツールループハーネス、独自のハーネスを使用するコーディングエージェント、および RLM ハーネスを使用するモデルにおける、LAB Diligence の平均基準合格率。アスタリスクは、SFT の前後における一致した GLM-5.2 の結果を示し、別の 20 ルームのホールドアウトセットで評価されました。他のすべての結果は、50 ルームのホールドアウトセットを使用しています。
これらの結果は、タスク固有のハーネス内でのポストトレーニングが、M&A デューデリジェンスのようなドキュメント集約型の法務業務にとって実用的な方法であり、RLM ハーネス内で RL をスケーリングすることが将来の研究にとって有望な方向性であることを示唆しています。このため、現在進行中のスケールアップ実行において、大規模なフロンティアオープンウェイトモデルである GLM-5.3 をルートモデルとしてトレーニングしています。
この投稿の残りの部分では、評価した LAB Diligence 環境、方法論、およびポストトレーニング実験について詳しく説明します。
M&A デューデリジェンスのための環境
最近、M&A デューデリジェンス用の合成環境を含む LAB の拡張版である LAB Diligence を導入しました。LAB Diligence の単一のデータルームには、カテゴリ別に数十のフォルダに整理された最大 5,000 のドキュメントと、最大 80M トークンの合計コンテキストが含まれています。
図 2: LAB Diligence データルームの例。Aravon Bridge Bank には、14 のカテゴリにわたる 82 のフォルダに 2,270 のドキュメントが含まれており、合計 31M トークンです。このタスクのエージェントのデューデリジェンスメモは、571 のルーブリック基準に対して評価されます。
このデータルーム内で作業するエージェントは、ドキュメントの引用を含む調査結果、関連する場合の定量化されたエクスポージャー、および取引の推奨される次のステップを含む、完全なデューデリジェンスメモを作成する任務を負います。LLM ジャッジは、何百もの合格または不合格の基準を持つ専門家のルーブリックに対してデューデリジェンスメモを採点します。Aravon Bridge Bank の例には、合計 571 のルーブリック基準があります。
図 3: LAB Diligence の Aravon Bridge Bank タスクのルーブリック例。各タイプの 1 つの逐語的な基準が示されています。
デューデリジェンスに必要な証拠はデータルーム全体に分散しています。いくつかの調査結果は複数のドキュメントを組み合わせる必要があり、他の調査結果は裏付けとなる証拠が不足しているかどうかを確認する必要があります。ベースラインの実行では、エージェントは選択的に検索および読み取りを行い、データルームの大部分は未調査のままでした。これらのタスクには、多くの制限されたコンテキストにわたってレビューを分散し、調査結果をまとめることができるハーネスが必要です。
M&A デューデリジェンスのための RLM ハーネス
ベースラインを確立するために、Legal Agent Bench の標準的なツールループハーネスから始めました。このハーネスでは、ベースモデルは 50 のホールドアウトされたデータルーム全体で平均 23.3% のルーブリック基準を通過し、どのモデルもいずれかのデータルームですべての基準を通過することはありません。
図 4: 50 のホールドアウトされたデューデリジェンスデータルームにおける、標準的なツールループハーネスの平均基準合格率。
これらの結果は、タスクとハーネスの間にミスマッチがあることを示唆しています。LAB Diligence データルームは単一のモデルコンテキストに収めるには大きすぎますが、初期レビューの多くはカテゴリごとに分割できます。その後、ルートはカテゴリ全体の調査結果を組み合わせてメモを作成できます。法律事務所内の取引チームも、同様の方法でデューデリジェンス作業を分割します。
図 5: 深さ 1 の RLM ハーネス。データルームは、クエリ可能な変数として Python REPL にロードされます。ルートエージェントはコードでデータルームを操作し、制限された読み取りタスクをサブエージェントに委任します。サブエージェントは調査結果を REPL 変数として返します。ルートエージェントが出力する出力のみがそのコンテキストウィンドウに入るため、ルートが完全なデータルームを保持することはありません。
これにより、M&A デューデリジェンスのハーネスとして RLM を探索するようになりました。RLM ハーネスでは、ルートエージェントに、データルームがクエリ可能な変数としてロードされた Python REPL が与えられ、これによりコーパスをプログラムで検索できます。ルートエージェントはレビューを計画およびスコープ設定し、サブタスクをサブエージェントにディスパッチします。各サブエージェントは、コーパスの制限されたスライスとルートエージェントからの指示を受け取り、独自のコンテキストウィンドウ内で動作し、調査結果を REPL 変数として返します。以下の実験では、特に断りのない限り、単一のレイヤーのサブエージェントを使用し、実際にはルートは多くの呼び出しを並行してディスパッチします。
図 6: 50 ルームのホールドアウトセットにおける、標準的なツールループハーネスおよび RLM ハーネス (深さ 1、Qwen3.6-35B-A3B サブエージェント) のルートとしての 7 つのモデルの平均基準合格率。
7 つのモデル全体で、RLM ハーネスは平均合格率を 23.3% から 62.4% に引き上げ、39.1 パーセントポイントの向上を達成しました。また、ウェブツールを無効にした 2 つの汎用コーディングエージェント、Claude Code (Opus-5 使用) と Codex (GPT-5.6 Sol 使用) も、ツールループハーネスと同じ最小限の指示で実行しました。Claude Code は 24.6%、Codex は 12.0% の基準を通過し、同じモデルのツールループハーネスでの結果をそれぞれ 17.9 ポイントおよび 4.6 ポイント下回りました。トレースでは、両方のエージェントが早期に読み取りを停止し、より短いメモを作成しており、能力があるにもかかわらず、どちらもサブエージェントを生成しませんでした。
カバレッジとコスト
RLM ハーネスは、エージェントのコンテキストとなる有用なコンテンツの量を大幅に増加させます。ハーネス内のルートまたはサブエージェントのいずれかのモデルに到達するデータルームコンテンツの割合を測定するプローブを使用してカバレッジを推定します。標準的なツールループハーネスでは、データルームの 1% 以上を読み取る実行はなく、ほとんどは 0.1% から 0.5% の間で読み取ります。RLM ハーネスでは、ほぼすべての実行がデータルームの 10% 以上を読み取り、ほとんどはほぼすべてを読み取ります。この範囲では、より高いカバレッジはより高いルーブリック基準合格率と関連しています。
図 7: LAB Diligence の 50 のホールドアウトされたデータルームにおける、各ハーネスの 7 つのモデルの、プローブベースのカバレッジに対するルーブリック基準合格率 (実行ごとに 1 点)。カバレッジは対数スケールです。
図 8 に示すように、RLM ハーネスに移行すると、7 つのベースラインモデルのうち 6 つで、データルームあたりの生成コストが上昇します。Claude Opus 5 は例外です。ツールループハーネスでは、データルームあたり約 $18 を費やして独自に読み取ります。RLM ルートとしては約 $7 を費やし、35 ポイント高いスコアを獲得します。
図 8: 各ハーネスの 7 つのモデルの、データルームあたりの生成コストに対する平均基準合格率 (50 のホールドアウトされたデータルームで平均化)。点線は、同じモデルをハーネス間で結んでいます。コストは、キャッシュを認識したリスト価格での推定値であり、対数スケールです。
分業
パフォーマンスがルートエージェントとサブエージェントのどちらにどの程度依存するかを調べるために、30 のホールドアウトされたデータルームで、4 つのルートモデルと 3 つの Qwen サブエージェントモデルをペアにしました (図 9 を参照)。テストした構成全体で、ルートを変更した場合の方が効果が大きかったです。サブエージェントモデルを固定してルートモデルを変更した場合、最高得点と最低得点のルート間のギャップは平均約 38 パーセントポイントでした。ルートを固定してサブエージェントを変更した場合、対応するサブエージェントモデル間のギャップは平均約 8 ポイントでした (図 9b)。
図 9: RLM ハーネスにおける分業。30 のホールドアウトされたデータルームにおける 4 つのルートモデルと 3 つのサブエージェントモデルを集計。(a) 入力および出力トークンのルートシェア (サブエージェントの選択で平均化)。(b) 最高得点と最低得点のルート間のギャップ (サブエージェントの選択で平均化)、およびルート間の対応するサブエージェント間のギャップ (ルートで平均化)。
この違いは、RLM ハーネスでは、ルートがエージェントの総トークン使用量の 少数 を占めていることを観察しているため、注目に値します。例えば、Opus 5 がオーケストレーションする場合、ルートは入力トークンの 3.8%、出力トークンの 1.1% を占めます (図 9a を参照)。サブエージェントがテキストの大部分を処理し、ルートはレビューの分割方法と調査結果のまとめ方を決定します。
図 10: 30 のホールドアウトされたデータルームにおける、3 つのサブエージェントモデルとペアになった 4 つのルートモデルの平均基準合格率。
これらの結果は、このセットアップにおいて調整の改善が重要な機会であることを示唆しているため、初期のポストトレーニング実験をルートに焦点を当てました。
RLM ハーネスにおけるポストトレーニング
上記の結果は、ポストトレーニングのターゲットとしてルートエージェントを指しています。このセクションでは、RLM ハーネス内でオープンウェイトのルートモデルをポストトレーニングした結果を報告します。
自己蒸留 SFT
まず、リジェクションサンプリング自己蒸留 SFT を使用して、GLM-5.2 ルートをポストトレーニングしました。この実験では、他の場所で報告されている 50 ルームの評価とは異なる、20 ルームのホールドアウト評価セットを使用します。このホールドアウトセットでの一致するベースモデルのスコアは 46.1% であり、より大きなホールドアウトセットでの図 6 で報告されている 65.4% の GLM-5.2 の結果を下回っています。
ベースの GLM-5.2 は、高いスコアを獲得するポリシーを安定して実行できるわけではありません。ベースモデルがルートエージェントとして機能する際に、早期に諦めたり、委任が不足したり、サブエージェントの出力を強力な成果物に変換できなかったりするパフォーマンスの低下が頻繁に発生します。強力なポリシーがすでにモデルの分布内に存在するものの、より堅牢にする必要があることを考慮し、リジェクションサンプリング自己蒸留を使用して、GLM-5.2 の分布を目的のモードに集中させます。高いデータルームカバレッジを持つ成功した GLM-5.2 の実行を選択し、それらの軌跡でルートをファインチューニングしました。
図 11: リジェクションサンプリング自己蒸留 SFT の前後における、RLM ルートとしての GLM-5.2。別の 20 ルームのホールドアウトセットで評価。これらは SFT 実験内での一致した結果であり、図 6 で使用された 50 ルームの評価ではありません。
この 20 データルームのホールドアウトセットでは、SFT でトレーニングされたルートは、ベースモデルの 46.1% に対して 60.1% のスコアを獲得しました (図 11 を参照)。ポストトレーニングされたエージェントのトレースをレビューすると、トレーニングによりルートエージェントがデータルームを包括的にレビューし、サブエージェントの調査結果のより大きな割合を最終メモに反映できるようになることが示唆されます。
表 1 は、ポストトレーニング後に観察されるその他の行動変化をまとめたものです。最も顕著なのは、サブエージェント呼び出し数とデータルームサイズの間の相関が 0.17 から 0.84 に上昇したことであり、トレーニングされたルートエージェントがデータルームのサイズに応じて委任をスケーリングすることを示しています。トレーニングされたルートはまた、RL の実行で見られたのと同様に、サブエージェントがまだ読み取っている間にメモの作成を開始することを学習します。
表 1: SFT の前後における GLM-5.2 ルートの行動。別の 20 ルームのホールドアウトセットで平均化。カバレッジはパーセンテージ。最後の行は相関係数。
強力なルートデューデリジェンスエージェントを構成する行動 (徹底的な委任など) は、比較的少数のオンポリシートレースから学習可能であり、特権情報やラベル付けされた法的知識は必要ありません。ここでは、適切な行動がすでにモデルの分布内に存在し、トレーニングによってそれが安定化されるため、自己蒸留が効果的です。
この実験により、モデルをその分布を超えて押し上げ、タスクの報酬を通じて直接新しい行動を引き出す試みとして、RL ベースのポストトレーニングを探索する動機付けとなりました。
強化学習
強化学習では、初期の RL 実験ループを扱いやすくするために、より小さなルートモデルである Qwen3.5-122B-A10B から始めました。
RLM ルートを GRPO でトレーニングし、判定されたルーブリック基準合格率を報酬とし、サブエージェントモデルを固定しました (サブエージェントはそれぞれ Qwen3.6-35B-A3B モデル)。40 のトレーニングステップにわたって、平均ロールアウト合格率が約 23% から約 56% に上昇することがわかりました。50 ルームのホールドアウトセットでは、最終チェックポイントはベースモデルの 29.9% に対して 63.0% のスコアを獲得しました。
図 12: 固定された Qwen3.6-35B-A3B サブエージェントを使用した Qwen3.5-122B-A10B ルートの強化学習。(a) 40 のトレーニングステップの各ステップにおける平均ロールアウト基準合格率。(b) 50 ルームのホールドアウトセットにおけるベースモデルと最終チェックポイント。
RL 後、カバレッジは明示的な報酬項ではないにもかかわらず、平均データルームカバレッジは 62% から 96% に上昇します。ベースの実行はカバレッジ範囲全体に分散しており、20% 未満のクラスターはほぼゼロのスコアです。RL でトレーニングされたすべての実行は、データルームの 60% 以上を読み取り、ほとんどはすべてを読み取ります。
図 13: 50 ルームのホールドアウトセットにおける、RL の前後での Qwen3.5-122B-A10B ルートの、プローブベースのカバレッジに対する基準合格率 (実行ごとに 1 点)。
ポストトレーニングされたルートは、データルームあたり 64% 多くのサブエージェント呼び出しを行います。RL はまた、SFT よりも委任量を大きく変化させました (64% 対 29%)。
表 2: RL の前後における Qwen3.5-122B-A10B ルートの行動。50 ルームのホールドアウトセットで平均化。
ポストトレーニング前、Qwen ルートエージェントは、すべてのサブエージェントが戻ってきた後にのみ、デューデリジェンスメモを一発で作成しようと試みました。RL ポストトレーニング中に、より効率的なアプローチを学習し、メモを段階的に作成し、セクションの作成をサブエージェントの作業のレビューとインターリーブするようになります。
GLM-5.3 による RL のスケーリング
レシピを大規模にテストするために、現在、同じ GRPO スタイルの構成 (報酬として判定された基準合格率、固定された Qwen3.6-35B-A3B サブエージェント、ルート上の LoRA、グループサイズ 8、バッチサイズ 24) で、GLM-5.3 を RLM ルートとしてトレーニングしています。GLM-5.3 のロールアウトは、Qwen ルートが開始した時点よりもかなり高いところから始まるため、ヘッドルームは少なくなります。ステップ 0 から 20 (図 14) にかけて、平均ロールアウト合格率は、示されている最初と最後の 8 ステップの平均で、約 51% から約 59% に上昇しており、このバッチサイズで予想されるステップ間のノイズが見られます。
図 14: 進行中の GLM-5.3 RL 実行の初期トレーニング進捗 (Qwen3.6-35B-A3B サブエージェントは固定)。20 のトレーニングステップにわたる平均ロールアウト基準合格率を示しています。グレーは生のステップごとの値を示し、黒は指数移動平均を示しています。この図はトレーニングスコアを報告しており、ホールドアウトパフォーマンスではありません。
今後の展望
RLM ハーネスは、テストしたモデル全体でパフォーマンスを向上させ、RL はそのハーネス内で Qwen ルートにさらなる向上をもたらします。これらのスコアと、私たちが目指しているほぼ完璧な合格率との間には、依然としてかなりのギャップがあります。
上記のトレーニング実験は初期の探索です。スケールアップした GLM-5.3 トレーニング実行を完了することに加えて、SFT と RL の組み合わせ、およびトレーニングされたサブエージェントも探索します。RLM ハーネスはルートのオーケストレーションとサブエージェントの読み取りを分離するため、それぞれを個別に、または共同でトレーニングできます。これには、サブエージェントが順番に委任するようにトレーニングされる設定も含まれます。
最後に、ここでの核心的な発見、つまりモデルとハーネスの共同最適化が長期的な環境でエージェントのパフォーマンスを有意義に向上させることができるという点は、デューデリジェンスに固有のものではありません。同じハーネス構造とトレーニングアプローチを、他の長文脈の法務業務にマッピングする方法を模索しています。
付録
RLM 再帰の深さ
また、委任のレイヤーを追加することでパフォーマンスが向上するかどうかもテストしました。深さ 1 では、サブエージェントはプレーンな LLM 補完を返し、独自のツールや委任はありません。深さ 2 では、サブエージェントは Python REPL を受け取り、さらに委任できます。各実験内で、ルートとすべてのサブエージェントに同じモデルを使用しました。
GLM-5.2 と Qwen3.5-122B-A10B の両方を評価しました。多くの GLM-5.2 深さ 2 の実行は時間制限内に完了しなかったため、以下に Qwen の結果を報告します。14 のデータルーム全体で、深さ 2 は 4 つでスコアを向上させ、10 つで低下させ、平均基準合格率を 19 パーセントポイント低下させました (図 A2)。10 の低下のうち 4 つでは、深さ 2 のエージェントはデータルームコンテンツを読み取りましたが、レポートを作成しませんでした。
図 A1: 14 のデータルームにおける、深さ 1 と深さ 2 でのルームごとの基準合格率。モデルを固定し、プレーンな補完サブエージェントと、REPL を使用して委任できるサブエージェントを比較しました。10 の低下のうち 4 つでは、深さ 2 の実行はデータルームを読み取りますが、レポートを作成しません。
これらの結果により、初期のポストトレーニング実験では深さ 1 を使用する動機付けとなりました。特に深い委任のためにエージェントをトレーニングすることで、追加のレイヤーが有用になるかどうかは、未解決の疑問です。
RL インフラストラクチャ
RL、特にこのような長いエピソード長では、トレーニング信号の問題と同様にインフラストラクチャの問題でもあります。このタスクでは、単一エピソードのロールアウトが完了するまでにウォールクロックで 1 時間以上かかる場合があります。トレーニングのウォールクロック時間を最適化するために、非同期オフポリシー推論、連続推論バッチ処理、オーバーサンプリング、インフライトウェイト更新などの方法を適用しました。オフポリシー性の影響を制御するために、選択的トークンマスキングと非同期関連のキャップが適用されました。RLM ハーネスではウォールクロックのほとんどがサブエージェントの完了を待つことに費やされるため、小さく高速なサブエージェントを使用できることで、RL トレーニングプロセスを大幅に高速化できました。
以下にステップのウォールクロック時間をプロットします。これはロールアウト時間によって支配されており、RL の過程でエージェントがより徹底的になり、より多くのサブエージェントを送り出すにつれて増加します。
図 A2: 40 ステップ実行における RL トレーニングステップあたりのウォールクロック時間 (分)。5 ステップの移動平均。ステップ 2 ～ 10 は平均 48 分、ステップ 31 ～ 40 は平均 74 分です。この増加は、トレーニングされたモデルがロールアウトあたりにより多くのサブエージェントをディスパッチすることによるものです。
