Link all'articolo: https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
Nel nostro recente anteprima di ricerca per Harvey Tenet, abbiamo evidenziato l'importanza della co-ottimizzazione modello-architettura per risolvere compiti legali complessi end-to-end, e abbiamo presentato i primi risultati sulla Due Diligence M&A, dove un singolo compito richiede di esaminare fino a 80 milioni di token di contesto documentale. Oggi condividiamo risultati aggiornati dalla nostra sperimentazione continua.
Insieme a Baseten, abbiamo costruito un'architettura a linguaggio ricorsivo (RLM) per la Due Diligence M&A. Nella nostra formulazione RLM, una data room completa viene caricata in un REPL Python e un agente radice delega revisioni e analisi delimitate a sotto-agenti che lavorano all'interno dei propri contesti. Sui compiti LAB Diligence, questa architettura migliora il tasso di superamento dei criteri della rubrica di 39,1 punti percentuali in media su sette modelli che abbiamo valutato.
Scopriamo che il post-training all'interno dell'architettura RLM produce ulteriori guadagni prestazionali e opzioni per bilanciare qualità ed efficienza. Abbiamo eseguito il post-training di un orchestratore Qwen3.5-122B-A10B tramite apprendimento per rinforzo e abbiamo scoperto che il post-training ha aumentato il tasso di superamento dei criteri della rubrica dal 29,9% al 63,0% su 50 data room LAB Diligence escluse dalla validazione.
Figura 1: Tasso medio di superamento dei criteri su LAB Diligence per modelli base nell'architettura standard a ciclo di strumenti, agenti di codifica nelle proprie architetture e modelli nella nostra architettura RLM. Gli asterischi indicano i risultati corrispondenti di GLM-5.2 prima e dopo SFT, valutati su un set separato di 20 room escluse. Tutti gli altri risultati utilizzano il set di 50 room escluse.
Questi risultati suggeriscono che il post-training all'interno di un'architettura specifica per il compito è una strada pratica per il lavoro legale ad alta intensità documentale, come la Due Diligence M&A, e che il ridimensionamento dell'RL all'interno dell'architettura RLM è una direzione promettente per lavori futuri. Per questo motivo, stiamo anche addestrando GLM-5.3, un grande modello frontier a pesi aperti, come modello radice in un esperimento di ridimensionamento in corso.
Nel resto di questo post, descriviamo gli ambienti LAB Diligence che abbiamo valutato, la nostra metodologia e gli esperimenti di post-training in maggiore dettaglio.
Ambienti per la Due Diligence M&A
Abbiamo recentemente introdotto LAB Diligence, un'estensione di LAB che include ambienti sintetici per la Due Diligence M&A. Una singola data room in LAB Diligence contiene fino a 5.000 documenti, organizzati in dozzine di cartelle per categoria, e fino a 80 milioni di token di contesto totale.
Figura 2: Un esempio di data room LAB Diligence. Aravon Bridge Bank contiene 2.270 documenti in 82 cartelle suddivise in 14 categorie, per un totale di 31 milioni di token. Il memo di due diligence dell'agente per questo compito viene valutato secondo 571 criteri della rubrica.
Lavorando all'interno di questa data room, l'agente ha il compito di produrre un memo di due diligence completo, inclusi i risultati con citazioni dei documenti, l'esposizione quantificata ove pertinente e i passi successivi raccomandati per la transazione. Un giudice LLM valuta il memo di due diligence rispetto a una rubrica esperta con centinaia di criteri di superamento o fallimento. L'esempio di Aravon Bridge Bank ha 571 criteri della rubrica in totale.
Figura 3: Esempi di rubriche per il compito Aravon Bridge Bank in LAB Diligence, con un criterio testuale per ogni tipo.
Le prove necessarie per la due diligence sono distribuite in tutta la data room. Alcuni risultati richiedono la combinazione di più documenti, mentre altri richiedono di verificare se mancano prove a supporto. Nelle nostre esecuzioni di base, gli agenti cercavano e leggevano in modo selettivo, lasciando gran parte della data room inesaminata. Questi compiti richiedono un'architettura in grado di distribuire la revisione su molti contesti delimitati e di riunire i risultati.
Un'Architettura RLM per la Due Diligence M&A
Per stabilire una baseline, abbiamo iniziato con l'architettura standard a ciclo di strumenti da Legal Agent Bench. In questa architettura, i modelli base superano in media il 23,3% dei criteri della rubrica nelle 50 data room escluse dalla validazione, e nessun modello supera tutti i criteri in nessuna data room.
Figura 4: Tasso medio di superamento dei criteri nell'architettura standard a ciclo di strumenti sulle 50 data room di due diligence escluse.
Questi risultati suggeriscono una discrepanza tra compito e architettura. Una data room LAB Diligence è troppo grande per rientrare in un singolo contesto di modello, ma gran parte della revisione iniziale può essere suddivisa per categoria. La radice può quindi combinare i risultati tra le categorie per produrre il memo. I team di deal negli studi legali suddividono il lavoro di due diligence in modo simile.
Figura 5: L'architettura RLM a profondità 1. La data room viene caricata in un REPL Python come variabili interrogabili. L'agente radice opera su di essa nel codice e delega compiti di lettura delimitati ai sotto-agenti, che restituiscono i loro risultati come variabili REPL. Solo l'output che l'agente radice stampa entra nel suo contesto, quindi la radice non contiene mai l'intera data room.
Questo ci ha portato a esplorare gli RLM come architettura per la Due Diligence M&A. In un'architettura RLM, a un agente radice viene fornito un REPL Python con la data room caricata come variabili interrogabili, che gli consente di cercare il corpus in modo programmatico. L'agente radice pianifica e definisce l'ambito della revisione e assegna sotto-compiti ai sotto-agenti. Ogni sotto-agente riceve una porzione delimitata del corpus e le istruzioni dall'agente radice, lavora all'interno del proprio contesto e restituisce i suoi risultati come variabili REPL. Gli esperimenti seguenti utilizzano un singolo livello di sotto-agenti salvo diversa indicazione, e in pratica la radice invia molte chiamate in parallelo.
Figura 6: Tasso medio di superamento dei criteri per sette modelli nell'architettura standard a ciclo di strumenti e come radice dell'architettura RLM (profondità 1, sotto-agenti Qwen3.6-35B-A3B), sul set di 50 room escluse.
Attraverso sette modelli, l'architettura RLM aumenta il tasso medio di superamento dal 23,3% al 62,4%, un guadagno di 39,1 punti percentuali. Abbiamo anche eseguito due agenti di codifica generici con strumenti web disabilitati, Claude Code con Opus-5 e Codex con GPT-5.6 Sol, utilizzando le stesse istruzioni minime dell'architettura a ciclo di strumenti. Claude Code supera il 24,6% dei criteri e Codex il 12,0%, rispettivamente 17,9 e 4,6 punti al di sotto degli stessi modelli nell'architettura a ciclo di strumenti. Nelle tracce, entrambi gli agenti smettono di leggere presto e scrivono memo più brevi, e nessuno dei due genera sotto-agenti nonostante ne abbia la capacità.
Copertura e Costo
L'architettura RLM aumenta sostanzialmente la quantità di contenuti utili che diventano contesto dell'agente. Stimiamo la copertura con sonde che misurano la quota di contenuto della data room che raggiunge qualsiasi modello nell'architettura, radice o sotto-agente. Nell'architettura standard a ciclo di strumenti, nessuna esecuzione legge più dell'1% della data room, e la maggior parte legge tra lo 0,1% e lo 0,5%. Nell'architettura RLM, quasi ogni esecuzione legge più del 10% della data room e la maggior parte legge quasi tutto. Una copertura più elevata è associata a tassi di superamento dei criteri della rubrica più alti in questo intervallo.
Figura 7: Tasso di superamento dei criteri della rubrica rispetto alla copertura basata su sonda, un punto per esecuzione, per sette modelli in ciascuna architettura sulle 50 data room escluse da LAB Diligence. La copertura è su scala logaritmica.
Passare all'architettura RLM aumenta il costo di generazione per data room per sei dei sette modelli di base, come mostrato nella Figura 8. Claude Opus 5 è l'eccezione. Nell'architettura a ciclo di strumenti spende circa $18 per data room leggendo da solo; come radice RLM spende circa $7 e ottiene 35 punti in più.
Figura 8: Tasso medio di superamento dei criteri rispetto al costo di generazione per data room per sette modelli in ciascuna architettura, mediato su 50 data room escluse. Le linee tratteggiate collegano lo stesso modello tra le architetture. I costi sono stime cache-aware ai prezzi di listino, scala logaritmica.
Divisione del Lavoro
Per esaminare quanto le prestazioni dipendano dall'agente radice rispetto ai sotto-agenti, abbiamo abbinato quattro modelli radice con tre modelli sotto-agente Qwen su 30 data room escluse (vedi Figura 9). Tra le configurazioni testate, la modifica della radice ha avuto un effetto maggiore. Mantenendo fisso il modello sotto-agente e variando il modello radice, il divario tra le radici con punteggio più alto e più basso è stato in media di circa 38 punti percentuali. Mantenendo fissa la radice e variando i sotto-agenti, il divario corrispondente tra i modelli sotto-agente è stato in media di circa 8 punti (Figura 9b).
Figura 9: Divisione del lavoro nell'architettura RLM, aggregata su quattro modelli radice e tre modelli sotto-agente su 30 data room escluse. (a) Quota di token di input e output della radice, mediata sulle scelte dei sotto-agenti. (b) Il divario tra le radici con punteggio più alto e più basso, mediato sulle scelte dei sotto-agenti, e il divario corrispondente tra i sotto-agenti, mediato sulle radici.
Questa differenza è notevole perché, nell'architettura RLM, osserviamo che la radice rappresenta una minoranza dell'utilizzo totale di token dell'agente. Con Opus 5 come orchestratore, ad esempio, la radice rappresenta il 3,8% dei token di input e l'1,1% dei token di output (vedi Figura 9a). I sotto-agenti elaborano la maggior parte del testo, mentre la radice decide come dividere la revisione e assemblare i risultati.
Figura 10: Tasso medio di superamento dei criteri per quattro modelli radice abbinati a tre modelli sotto-agente, su 30 data room escluse.
Questi risultati suggeriscono che migliorare il coordinamento è un'opportunità importante in questa configurazione, quindi abbiamo concentrato i nostri esperimenti iniziali di post-training sulla radice.
Post-Training nell'Architettura RLM
I risultati sopra indicano l'agente radice come obiettivo per il post-training. In questa sezione, riportiamo i risultati del post-training di modelli radice a pesi aperti all'interno dell'architettura RLM.
SFT per Autodistillazione
In primo luogo, abbiamo eseguito il post-training di una radice GLM-5.2 utilizzando SFT per autodistillazione con campionamento per rifiuto. Questo esperimento utilizza un diverso set di valutazione di 20 room escluse rispetto alle valutazioni su 50 room riportate altrove. Il suo punteggio del modello base corrispondente su questo set escluso è del 46,1%, inferiore al risultato del 65,4% di GLM-5.2 riportato nella Figura 6 sul set escluso più ampio.
Il GLM-5.2 di base non esegue in modo stabile una politica ad alto punteggio fin dall'inizio: ci sono frequenti crolli prestazionali in cui il modello base, agendo come agente radice, si arrende presto, delega poco o non riesce a convertire gli output dei sotto-agenti in un deliverable solido. Dato che una politica forte è già all'interno della distribuzione del modello ma deve essere resa più robusta, utilizziamo l'autodistillazione con campionamento per rifiuto per restringere la distribuzione di GLM-5.2 sulla modalità desiderata. Abbiamo selezionato esecuzioni riuscite di GLM-5.2 con elevata copertura della data room e abbiamo messo a punto la radice su quelle traiettorie.
Figura 11: GLM-5.2 come radice RLM prima e dopo SFT per autodistillazione con campionamento per rifiuto, valutato su un set separato di 20 room escluse. Questi sono risultati corrispondenti all'interno dell'esperimento SFT, non la valutazione su 50 room utilizzata nella Figura 6.
Su questo set escluso di 20 data room, la radice addestrata con SFT ottiene un punteggio del 60,1% contro il 46,1% del modello base (vedi Figura 11). Una revisione delle tracce dell'agente post-addestrato suggerisce che l'addestramento aiuta l'agente radice a rivedere in modo completo la data room e a portare una percentuale maggiore dei risultati dei sotto-agenti nel memo finale.
La Tabella 1 riassume altri cambiamenti comportamentali che osserviamo dopo il post-training. In particolare, la correlazione tra il volume di chiamate ai sotto-agenti e la dimensione della data room aumenta da 0,17 a 0,84, indicando che l'agente radice addestrato scala la sua delega in base alla dimensione della data room. La radice addestrata impara anche a iniziare a scrivere il memo mentre i sotto-agenti stanno ancora leggendo, simile a quanto abbiamo trovato nelle nostre esecuzioni RL.
Tabella 1: Comportamento della radice GLM-5.2 prima e dopo SFT, mediato sul set separato di 20 room escluse. La copertura è una percentuale; l'ultima riga è un coefficiente di correlazione.
I comportamenti che rendono un forte agente radice di due diligence, come la delega esaustiva, sono apprendibili da un numero relativamente piccolo di tracce on-policy, senza informazioni privilegiate e senza conoscenze legali etichettate. Qui, l'autodistillazione è efficace perché un buon comportamento esiste già nella distribuzione del modello e l'addestramento lo stabilizza.
Questo esperimento ci ha motivato a esplorare il post-training basato su RL come tentativo di spingere il modello oltre ciò che è nella sua distribuzione, elicitando nuovi comportamenti direttamente attraverso la ricompensa del compito.
Apprendimento per Rinforzo
Per l'apprendimento per rinforzo abbiamo iniziato con un modello radice più piccolo, Qwen3.5-122B-A10B, per mantenere gestibile il ciclo iniziale dell'esperimento RL.
Abbiamo addestrato la radice RLM con GRPO, utilizzando il tasso di superamento dei criteri della rubrica giudicato come ricompensa e mantenendo fissi i modelli sotto-agente (i sotto-agenti erano ciascuno un modello Qwen3.6-35B-A3B). In 40 passaggi di addestramento, abbiamo scoperto che il tasso medio di superamento del rollout è aumentato da circa il 23% a circa il 56%. Sul set escluso di 50 room, il checkpoint finale ottiene un punteggio del 63,0% contro il 29,9% del modello base.
Figura 12: Apprendimento per rinforzo sulla radice Qwen3.5-122B-A10B con sotto-agenti Qwen3.6-35B-A3B fissi. (a) Tasso medio di superamento dei criteri del rollout a ciascuno dei 40 passaggi di addestramento. (b) Modello base e checkpoint finale sul set escluso di 50 room.
Dopo RL, la copertura media della data room aumenta dal 62% al 96%, anche se la copertura non è un termine di ricompensa esplicito. Le esecuzioni di base sono distribuite sull'intero intervallo di copertura, con un cluster al di sotto del 20% che ottiene un punteggio vicino allo zero. Ogni esecuzione addestrata con RL legge più del 60% della data room e la maggior parte legge tutto.
Figura 13: Tasso di superamento dei criteri rispetto alla copertura basata su sonda, un punto per esecuzione, per la radice Qwen3.5-122B-A10B prima e dopo RL sul set escluso di 50 room.
La radice post-addestrata effettua il 64% in più di chiamate ai sotto-agenti per data room. RL ha anche modificato il volume di delega più di SFT, 64% contro 29%.
Tabella 2: Comportamento della radice Qwen3.5-122B-A10B prima e dopo RL, mediato sul set escluso di 50 room.
Prima del post-training, l'agente radice Qwen tentava di scrivere il suo memo di due diligence in un unico colpo e solo dopo che tutti i sotto-agenti erano tornati. Durante il post-training RL, impara un approccio più efficiente, scrivendo il memo in modo incrementale e intervallando la scrittura delle sezioni con la revisione del lavoro dei sotto-agenti.
Ridimensionamento RL con GLM-5.3
Per testare la nostra ricetta RL su larga scala, stiamo ora addestrando GLM-5.3 come radice RLM con la stessa configurazione in stile GRPO: tasso di superamento dei criteri giudicato come ricompensa, sotto-agenti Qwen3.6-35B-A3B mantenuti fissi, LoRA sulla radice, dimensione del gruppo 8 e dimensione del batch 24. I rollout di GLM-5.3 iniziano ben al di sopra di dove è iniziata la radice Qwen, quindi c'è meno margine di miglioramento. Dai passaggi da 0 a 20 (Figura 14), il tasso medio di superamento del rollout aumenta da circa il 51% a circa il 59%, mediato sui primi e ultimi otto passaggi mostrati, con il rumore passo-passo previsto a questa dimensione del batch.
Figura 14: Progresso iniziale dell'addestramento per l'esecuzione RL in corso di GLM-5.3, con sotto-agenti Qwen3.6-35B-A3B mantenuti fissi. Il tasso medio di superamento dei criteri del rollout è mostrato nel corso di 20 passaggi di addestramento. Il grigio mostra i valori grezzi per passaggio; il nero mostra una media mobile esponenziale. Questa figura riporta i punteggi di addestramento, non le prestazioni su dati esclusi.
Prossimi Passi
L'architettura RLM migliora le prestazioni su tutti i modelli che abbiamo testato, e RL produce ulteriori guadagni per la radice Qwen all'interno di quell'architettura. C'è ancora un divario sostanziale tra questi punteggi e i tassi di superamento quasi perfetti a cui stiamo lavorando.
Gli esperimenti di addestramento dettagliati sopra sono esplorazioni iniziali. Oltre a completare l'esecuzione di addestramento su larga scala di GLM-5.3, esploreremo anche combinazioni di SFT e RL e sotto-agenti addestrati. L'architettura RLM separa l'orchestrazione della radice dalla lettura dei sotto-agenti, quindi ciascuno può essere addestrato individualmente o congiuntamente, incluse configurazioni in cui i sotto-agenti sono addestrati a delegare a loro volta.
Infine, il risultato principale qui, che la co-ottimizzazione modello-architettura può migliorare significativamente le prestazioni degli agenti in ambienti a lungo orizzonte, non è specifico della due diligence. Stiamo esplorando modi per mappare la stessa struttura di architettura e approccio di addestramento ad altri lavori legali a lungo contesto.
Appendice
Profondità di Ricorsione RLM
Abbiamo anche testato se l'aggiunta di un altro livello di delega migliora le prestazioni. A profondità 1, i sotto-agenti restituiscono semplici completamenti LLM, senza strumenti o delega propria. A profondità 2, i sotto-agenti ricevono un REPL Python e possono delegare ulteriormente. All'interno di ogni esperimento, abbiamo utilizzato lo stesso modello per la radice e ogni sotto-agente.
Abbiamo valutato sia GLM-5.2 che Qwen3.5-122B-A10B. Molte esecuzioni a profondità 2 di GLM-5.2 non sono terminate entro il limite di tempo, quindi riportiamo i risultati Qwen di seguito. In 14 data room, la profondità 2 ha migliorato i punteggi in quattro e li ha ridotti in dieci, abbassando il tasso medio di superamento dei criteri di 19 punti percentuali (Figura A2). In quattro delle dieci regressioni, l'agente a profondità 2 ha letto il contenuto della data room ma non ha mai prodotto un report.
Figura A1: Tasso di superamento dei criteri per room a profondità 1 e profondità 2 per 14 data room. Abbiamo mantenuto fisso il modello e confrontato sotto-agenti con completamento semplice con sotto-agenti che potevano utilizzare un REPL e delegare. In quattro delle dieci regressioni, l'esecuzione a profondità 2 legge la data room ma non scrive mai il report.
Questi risultati hanno motivato il nostro utilizzo della profondità 1 per gli esperimenti iniziali di post-training. Se l'addestramento di agenti specificamente per una delega più profonda possa rendere utili ulteriori livelli rimane una questione aperta.
Infrastruttura RL
L'RL, specialmente con lunghezze di episodio così lunghe, è tanto un problema di infrastruttura quanto un problema di segnale di addestramento. Per questo compito, i rollout di singoli episodi potevano richiedere circa un'ora o più di tempo a muro per essere completati. Per ottimizzare il tempo a muro di addestramento, abbiamo applicato metodi come inferenza asincrona off-policy, batching continuo dell'inferenza, sovracampionamento e aggiornamenti dei pesi in volo. Mascheramento selettivo dei token e limiti relativi all'asincronia sono stati applicati per controllare l'effetto dell'off-policyness. Dato che nell'architettura RLM la maggior parte del tempo a muro viene spesa aspettando che i sotto-agenti completino, la capacità di utilizzare sotto-agenti piccoli e veloci ha aiutato notevolmente ad accelerare il processo di addestramento RL.
Tracciamo il tempo a muro per passaggio di seguito. È dominato dal tempo di rollout che cresce nel corso dell'RL man mano che l'agente diventa più approfondito e invia ondate più grandi di sotto-agenti.
Figura A2: Minuti a muro per passaggio di addestramento RL per l'esecuzione di 40 passaggi, con una media mobile su 5 passaggi. I passaggi 2–10 richiedono in media 48 minuti e i passaggi 31–40 richiedono in media 74 minuti; l'aumento deriva dal modello addestrato che invia più sotto-agenti per rollout.
