Link do artigo: https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
Em nossa recente prévia de pesquisa para o Harvey Tenet, destacamos a importância da co-otimização modelo-ferramenta para resolver tarefas jurídicas complexas de ponta a ponta, e apresentamos resultados iniciais em Due Diligence de M&A, onde uma única tarefa exige percorrer até 80 milhões de tokens de contexto documental. Hoje, estamos compartilhando resultados atualizados de nossa experimentação contínua.
Junto com a Baseten, construímos uma ferramenta de modelo de linguagem recursivo (RLM) para Due Diligence de M&A. Em nossa formulação RLM, uma sala de dados completa é carregada em um REPL Python e um agente raiz delega revisão e análise limitadas a subagentes que trabalham dentro de suas próprias janelas de contexto. Em tarefas do LAB Diligence, essa ferramenta melhora a taxa de aprovação dos critérios da rubrica em 39,1 pontos percentuais, em média, nos sete modelos que avaliamos.
Descobrimos que o pós-treinamento dentro da ferramenta RLM gera ganhos adicionais de desempenho e opções para navegar pelos trade-offs entre qualidade e eficiência. Pós-treinamos um orquestrador Qwen3.5-122B-A10B via aprendizado por reforço e descobrimos que o pós-treinamento aumentou a taxa de aprovação dos critérios da rubrica de 29,9% para 63,0% em 50 salas de dados do LAB Diligence retidas.
Figura 1: Taxa média de aprovação de critérios no LAB Diligence para modelos base na ferramenta de loop padrão, agentes de codificação em suas próprias ferramentas e modelos em nossa ferramenta RLM. Os asteriscos marcam os resultados correspondentes do GLM-5.2 antes e depois do SFT, avaliados em um conjunto separado de 20 salas retidas. Todos os outros resultados usam o conjunto de 50 salas retidas.
Esses resultados sugerem que o pós-treinamento dentro de uma ferramenta específica para a tarefa é um caminho prático para o trabalho jurídico intensivo em documentos, como Due Diligence de M&A, e que escalar o RL dentro da ferramenta RLM é uma direção promissora para trabalhos futuros. Por esse motivo, também estamos treinando o GLM-5.3, um grande modelo de fronteira de pesos abertos, como o modelo raiz em uma execução de escalonamento em andamento.
No restante desta postagem, descrevemos os ambientes do LAB Diligence que avaliamos, nossa metodologia e experimentos de pós-treinamento com mais detalhes.
Ambientes para Due Diligence de M&A
Recentemente, apresentamos o LAB Diligence, uma extensão do LAB que inclui ambientes sintéticos para Due Diligence de M&A. Uma única sala de dados no LAB Diligence contém até 5.000 documentos, organizados em dezenas de pastas por categoria, e até 80 milhões de tokens de contexto total.
Figura 2: Um exemplo de sala de dados do LAB Diligence. O Aravon Bridge Bank contém 2.270 documentos em 82 pastas distribuídas em 14 categorias, totalizando 31 milhões de tokens. O memorando de due diligence do agente para esta tarefa é avaliado com base em 571 critérios da rubrica.
Trabalhando dentro desta sala de dados, o agente tem a tarefa de produzir um memorando de due diligence completo, incluindo suas conclusões com citações de documentos, exposição quantificada quando relevante e próximos passos recomendados para a transação. Um juiz LLM avalia o memorando de due diligence com base em uma rubrica especializada com centenas de critérios de aprovação ou reprovação. O exemplo do Aravon Bridge Bank tem 571 critérios de rubrica no total.
Figura 3: Exemplos de rubrica para a tarefa do Aravon Bridge Bank no LAB Diligence, com um critério textual de cada tipo.
As evidências necessárias para a due diligence estão espalhadas pela sala de dados. Algumas conclusões exigem a combinação de vários documentos, enquanto outras exigem verificar se faltam evidências de apoio. Em nossas execuções de linha de base, os agentes pesquisavam e liam seletivamente, deixando grande parte da sala de dados não examinada. Essas tarefas exigem uma ferramenta que possa distribuir a revisão por muitos contextos limitados e reunir as conclusões.
Uma Ferramenta RLM para Due Diligence de M&A
Para estabelecer uma linha de base, começamos com a ferramenta de loop padrão do Legal Agent Bench. Nesta ferramenta, os modelos base passam em média 23,3% dos critérios da rubrica nas 50 salas de dados retidas, e nenhum modelo passa em todos os critérios em qualquer sala de dados.
Figura 4: Taxa média de aprovação de critérios na ferramenta de loop padrão nas 50 salas de dados de due diligence retidas.
Esses resultados sugerem uma incompatibilidade entre tarefa e ferramenta. Uma sala de dados do LAB Diligence é grande demais para caber em um único contexto de modelo, mas grande parte da revisão inicial pode ser dividida por categoria. A raiz pode então combinar as conclusões entre as categorias para produzir o memorando. As equipes de negócios em escritórios de advocacia dividem o trabalho de due diligence de forma semelhante.
Figura 5: A ferramenta RLM na profundidade 1. A sala de dados é carregada em um REPL Python como variáveis consultáveis. O agente raiz opera sobre ela em código e delega tarefas de leitura limitadas a subagentes, que retornam suas conclusões como variáveis REPL. Apenas a saída que o agente raiz imprime entra em sua janela de contexto, então a raiz nunca contém a sala de dados completa.
Isso nos levou a explorar RLMs como uma ferramenta para Due Diligence de M&A. Em uma ferramenta RLM, um agente raiz recebe um REPL Python com a sala de dados carregada como variáveis consultáveis, o que permite pesquisar o corpus programaticamente. O agente raiz planeja e define o escopo da revisão e despacha subtarefas para subagentes. Cada subagente recebe uma fatia limitada do corpus e instruções do agente raiz, trabalha dentro de sua própria janela de contexto e retorna suas conclusões como variáveis REPL. Os experimentos abaixo usam uma única camada de subagentes, salvo indicação em contrário, e, na prática, a raiz despacha muitas chamadas em paralelo.
Figura 6: Taxa média de aprovação de critérios para sete modelos na ferramenta de loop padrão e como raiz da ferramenta RLM (profundidade 1, subagentes Qwen3.6-35B-A3B), no conjunto de 50 salas retidas.
Em sete modelos, a ferramenta RLM eleva a taxa média de aprovação de 23,3% para 62,4%, um ganho de 39,1 pontos percentuais. Também executamos dois agentes de codificação de uso geral com ferramentas da web desabilitadas, Claude Code com Opus-5 e Codex com GPT-5.6 Sol, usando a mesma instrução mínima da ferramenta de loop padrão. O Claude Code passa em 24,6% dos critérios e o Codex em 12,0%, abaixo dos mesmos modelos na ferramenta de loop padrão em 17,9 e 4,6 pontos, respectivamente. Nos rastros, ambos os agentes param de ler cedo e escrevem memorandos mais curtos, e nenhum gera subagentes, apesar de ter a capacidade de fazê-lo.
Cobertura e Custo
A ferramenta RLM aumenta substancialmente a quantidade de conteúdo útil que se torna contexto do agente. Estimamos a cobertura com sondas que medem a parcela do conteúdo da sala de dados que atinge qualquer modelo na ferramenta, raiz ou subagente. Na ferramenta de loop padrão, nenhuma execução lê mais de 1% da sala de dados, e a maioria lê entre 0,1% e 0,5%. Na ferramenta RLM, quase todas as execuções leem mais de 10% da sala de dados e a maioria lê quase tudo. Maior cobertura está associada a taxas mais altas de aprovação de critérios da rubrica nessa faixa.
Figura 7: Taxa de aprovação de critérios da rubrica versus cobertura baseada em sonda, um ponto por execução, para sete modelos em cada ferramenta nas 50 salas de dados retidas do LAB Diligence. A cobertura está em escala logarítmica.
Mudar para a ferramenta RLM aumenta o custo de geração por sala de dados para seis dos sete modelos de linha de base, conforme mostrado na Figura 8. O Claude Opus 5 é a exceção. Na ferramenta de loop padrão, ele gasta cerca de US$ 18 por sala de dados lendo por conta própria; como raiz RLM, gasta cerca de US$ 7 e pontua 35 pontos a mais.
Figura 8: Taxa média de aprovação de critérios versus custo de geração por sala de dados para sete modelos em cada ferramenta, calculada a média em 50 salas de dados retidas. Linhas pontilhadas conectam o mesmo modelo entre ferramentas. Os custos são estimativas com reconhecimento de cache a preços de tabela, em escala logarítmica.
Divisão do Trabalho
Para examinar o quanto o desempenho depende do agente raiz versus os subagentes, combinamos quatro modelos raiz com três modelos de subagentes Qwen em 30 salas de dados retidas (veja a Figura 9). Nas configurações testadas, a mudança da raiz teve um efeito maior. Mantendo o modelo do subagente fixo enquanto variava o modelo raiz, a diferença entre as raízes com maior e menor pontuação foi em média de cerca de 38 pontos percentuais. Mantendo a raiz fixa enquanto variava os subagentes, a diferença correspondente entre os modelos de subagentes foi em média de cerca de 8 pontos (Figura 9b).
Figura 9: Divisão do trabalho na ferramenta RLM, agregada em quatro modelos raiz e três modelos de subagentes em 30 salas de dados retidas. (a) Participação da raiz nos tokens de entrada e saída, calculada a média entre as escolhas de subagentes. (b) A diferença entre as raízes com maior e menor pontuação, calculada a média entre as escolhas de subagentes, e a diferença correspondente entre os subagentes, calculada a média entre as raízes.
Essa diferença é notável porque, na ferramenta RLM, observamos a raiz respondendo por uma minoria do uso total de tokens do agente. Com o Opus 5 orquestrando, por exemplo, a raiz responde por 3,8% dos tokens de entrada e 1,1% dos tokens de saída (veja a Figura 9a). Os subagentes processam a maior parte do texto, enquanto a raiz decide como dividir a revisão e montar as conclusões.
Figura 10: Taxa média de aprovação de critérios para quatro modelos raiz combinados com três modelos de subagentes, em 30 salas de dados retidas.
Esses resultados sugerem que melhorar a coordenação é uma oportunidade importante nesta configuração, então focamos nossos experimentos iniciais de pós-treinamento na raiz.
Pós-Treinamento na Ferramenta RLM
Os resultados acima apontam para o agente raiz como um alvo para pós-treinamento. Nesta seção, relatamos os resultados do pós-treinamento de modelos raiz de pesos abertos dentro da ferramenta RLM.
SFT por Autodestilação
Primeiro, pós-treinamos uma raiz GLM-5.2 usando SFT por autodestilação com amostragem por rejeição. Este experimento usa um conjunto de avaliação retido diferente de 20 salas em relação às avaliações de 50 salas relatadas em outros lugares. Sua pontuação de modelo base correspondente neste conjunto retido é de 46,1%, abaixo do resultado de 65,4% do GLM-5.2 relatado na Figura 6 sobre o conjunto retido maior.
O GLM-5.2 base não executa de forma estável uma política de alta pontuação imediatamente – há colapsos frequentes de desempenho onde o modelo base, atuando como agente raiz, desiste cedo, subdelega ou não consegue converter as saídas do subagente em um entregável forte. Dado que uma política forte já está dentro da distribuição do modelo, mas precisa se tornar mais robusta, usamos a autodestilação por amostragem por rejeição para ajustar a distribuição do GLM-5.2 para o modo desejado. Selecionamos execuções bem-sucedidas do GLM-5.2 com alta cobertura da sala de dados e ajustamos a raiz nessas trajetórias.
Figura 11: GLM-5.2 como raiz RLM antes e depois do SFT por autodestilação com amostragem por rejeição, avaliado em um conjunto retido separado de 20 salas. Estes são resultados correspondentes dentro do experimento SFT, não a avaliação de 50 salas usada na Figura 6.
Neste conjunto retido de 20 salas de dados, a raiz treinada com SFT pontua 60,1% contra 46,1% do modelo base (veja a Figura 11). Uma revisão dos rastros do agente pós-treinado sugere que o treinamento ajuda o agente raiz a revisar a sala de dados de forma abrangente e a carregar uma porcentagem maior das conclusões dos subagentes para o memorando final.
A Tabela 1 resume outras mudanças comportamentais que observamos após o pós-treinamento. Mais notavelmente, a correlação entre o volume de chamadas de subagentes e o tamanho da sala de dados aumenta de 0,17 para 0,84, indicando que o agente raiz treinado escala sua delegação ao tamanho da sala de dados. A raiz treinada também aprende a começar a escrever o memorando enquanto os subagentes ainda estão lendo, semelhante ao que encontramos em nossas execuções de RL.
Tabela 1: Comportamento da raiz GLM-5.2 antes e depois do SFT, calculada a média no conjunto retido separado de 20 salas. A cobertura é uma porcentagem; a linha final é um coeficiente de correlação.
Os comportamentos que fazem um forte agente raiz de due diligence, como delegação exaustiva, são aprendíveis a partir de um número relativamente pequeno de rastros on-policy, sem informações privilegiadas e sem conhecimento jurídico rotulado. Aqui, a autodestilação é eficaz porque o bom comportamento já existe na distribuição do modelo e o treinamento o estabiliza.
Este experimento nos motivou a explorar o pós-treinamento baseado em RL como uma tentativa de empurrar o modelo além do que está dentro de sua distribuição, elicitando novo comportamento diretamente através da recompensa da tarefa.
Aprendizado por Reforço
Para o aprendizado por reforço, começamos com um modelo raiz menor, Qwen3.5-122B-A10B, para manter o ciclo inicial do experimento de RL tratável.
Treinamos a raiz RLM com GRPO, usando a taxa de aprovação dos critérios da rubrica julgada como recompensa e mantendo os modelos de subagentes fixos (os subagentes eram cada um modelo Qwen3.6-35B-A3B). Ao longo de 40 etapas de treinamento, descobrimos que a taxa média de aprovação do rollout subiu de cerca de 23% para cerca de 56%. No conjunto retido de 50 salas, o checkpoint final pontua 63,0% contra 29,9% do modelo base.
Figura 12: Aprendizado por reforço na raiz Qwen3.5-122B-A10B com subagentes Qwen3.6-35B-A3B fixos. (a) Taxa média de aprovação de critérios do rollout em cada uma das 40 etapas de treinamento. (b) Modelo base e checkpoint final no conjunto retido de 50 salas.
Após o RL, a cobertura média da sala de dados sobe de 62% para 96%, embora a cobertura não seja um termo de recompensa explícito. As execuções base estão espalhadas por toda a faixa de cobertura, com um aglomerado abaixo de 20% que pontua perto de zero. Cada execução treinada com RL lê mais de 60% da sala de dados e a maioria lê tudo.
Figura 13: Taxa de aprovação de critérios versus cobertura baseada em sonda, um ponto por execução, para a raiz Qwen3.5-122B-A10B antes e depois do RL no conjunto retido de 50 salas.
A raiz pós-treinada faz 64% mais chamadas de subagentes por sala de dados. O RL também mudou o volume de delegação mais do que o SFT, 64% contra 29%.
Tabela 2: Comportamento da raiz Qwen3.5-122B-A10B antes e depois do RL, calculada a média no conjunto retido de 50 salas.
Antes do pós-treinamento, o agente raiz Qwen tentava escrever seu memorando de due diligence em uma única tentativa e somente depois que todos os subagentes retornassem. Durante o pós-treinamento com RL, ele aprende uma abordagem mais eficiente, escrevendo o memorando de forma incremental e intercalando a escrita de seções com a revisão do trabalho dos subagentes.
Escalando RL com GLM-5.3
Para testar nossa receita de RL em escala, agora estamos treinando o GLM-5.3 como raiz RLM com a mesma configuração de estilo GRPO: taxa de aprovação de critérios julgada como recompensa, subagentes Qwen3.6-35B-A3B mantidos fixos, LoRA na raiz, tamanho do grupo 8 e tamanho do lote 24. Os rollouts do GLM-5.3 começam bem acima de onde a raiz Qwen começou, então há menos margem de melhoria. Nas etapas 0 a 20 (Figura 14), a taxa média de aprovação do rollout sobe de cerca de 51% para cerca de 59%, calculada a média entre as primeiras e últimas oito etapas mostradas, com o ruído etapa a etapa esperado neste tamanho de lote.
Figura 14: Progresso inicial do treinamento para a execução contínua de RL do GLM-5.3, com subagentes Qwen3.6-35B-A3B mantidos fixos. A taxa média de aprovação de critérios do rollout é mostrada ao longo de 20 etapas de treinamento. O cinza mostra os valores brutos por etapa; o preto mostra uma média móvel exponencial. Esta figura relata pontuações de treinamento, não desempenho em conjunto retido.
Próximos Passos
A ferramenta RLM melhora o desempenho em todos os modelos que testamos, e o RL produz ganhos adicionais para a raiz Qwen dentro dessa ferramenta. Ainda há uma lacuna substancial entre essas pontuações e as taxas de aprovação quase perfeitas para as quais estamos trabalhando.
Os experimentos de treinamento detalhados acima são explorações iniciais. Além de completar a execução de treinamento em escala do GLM-5.3, também exploraremos combinações de SFT e RL, e subagentes treinados. A ferramenta RLM separa a orquestração da raiz da leitura dos subagentes, então cada um pode ser treinado individualmente ou em conjunto, incluindo configurações nas quais os subagentes são treinados para delegar por sua vez.
Finalmente, a descoberta central aqui, de que a co-otimização modelo-ferramenta pode melhorar significativamente o desempenho do agente em ambientes de longo horizonte, não é específica da due diligence. Estamos explorando maneiras de mapear a mesma estrutura de ferramenta e abordagem de treinamento para outros trabalhos jurídicos de contexto longo.
Apêndice
Profundidade de Recursão do RLM
Também testamos se adicionar outra camada de delegação melhora o desempenho. Na profundidade 1, os subagentes retornam conclusões LLM simples, sem ferramentas ou delegação própria. Na profundidade 2, os subagentes recebem um REPL Python e podem delegar ainda mais. Dentro de cada experimento, usamos o mesmo modelo para a raiz e cada subagente.
Avaliamos tanto o GLM-5.2 quanto o Qwen3.5-122B-A10B. Muitas execuções de profundidade 2 do GLM-5.2 não terminaram dentro do limite de tempo, então relatamos os resultados do Qwen abaixo. Em 14 salas de dados, a profundidade 2 melhorou as pontuações em quatro e as reduziu em dez, diminuindo a taxa média de aprovação de critérios em 19 pontos percentuais (Figura A2). Em quatro das dez regressões, o agente de profundidade 2 leu o conteúdo da sala de dados, mas nunca produziu um relatório.
Figura A1: Taxa de aprovação de critérios por sala nas profundidades 1 e 2 para 14 salas de dados. Mantivemos o modelo fixo e comparamos subagentes de conclusão simples com subagentes que podiam usar um REPL e delegar. Em quatro das dez regressões, a execução de profundidade 2 lê a sala de dados, mas nunca escreve o relatório.
Esses resultados motivaram nosso uso da profundidade 1 para os experimentos iniciais de pós-treinamento. Se treinar agentes especificamente para delegação mais profunda pode tornar camadas adicionais úteis permanece uma questão em aberto.
Infraestrutura de RL
RL, especialmente com durações de episódio tão longas, é tanto um problema de infraestrutura quanto um problema de sinal de treinamento. Para esta tarefa, rollouts de episódio único podiam levar da ordem de uma hora ou mais de tempo real para serem concluídos. Para otimizar o tempo real de treinamento, aplicamos métodos como inferência assíncrona off-policy, agrupamento contínuo de inferência, superamostragem e atualizações de peso em voo. A mascaramento seletivo de tokens e limites relacionados à assincronia foram aplicados para controlar o efeito do off-policy. Dado que na ferramenta RLM a maior parte do tempo real é gasta esperando os subagentes concluírem, a capacidade de usar subagentes pequenos e rápidos ajudou a acelerar muito o processo de treinamento de RL.
Plotamos o tempo real por etapa abaixo. Ele é dominado pelo tempo de rollout, que cresce ao longo do curso do RL à medida que o agente se torna mais minucioso e envia ondas maiores de subagentes.
Figura A2: Minutos de tempo real por etapa de treinamento de RL para a execução de 40 etapas, com uma média móvel de 5 etapas. As etapas 2–10 têm média de 48 minutos e as etapas 31–40 têm média de 74 minutos; o aumento vem do modelo treinado despachando mais subagentes por rollout.
