Stiamo rendendo open source la nostra prossima espansione LAB: uno studio legale sintetico, Calderwood & Harkness ("C&H" o "lo studio"). Realizzato in collaborazione con @engramlab, lo studio contiene documenti di lavoro di oltre 250 incarichi di clienti, per un totale di quasi 10.000 file e più di 100 milioni di token.
Specifica | Valore |
|---|---|
Clienti | 46 |
Aree di specializzazione | 15 |
Incarichi | 266 |
File | 9,288 |
Token | 108M |
Compiti | 250 |
Valutazione | Giudice LLM con rubriche per singolo compito |
Dataset | https://github.com/harveyai/harvey-labs/tree/main/tasks/firm-knowledge |
L'ambiente contiene 250 compiti che coprono varie forme di recupero e ragionamento delle informazioni. Ogni compito rispecchia il tipo di attività di ricerca e ragionamento che uno studio potrebbe richiedere ai propri sistemi di gestione documentale ed è concepito come uno stress test delle capacità degli agenti: il contesto necessario per rispondere a una qualsiasi di queste domande è distribuito, spesso non ci sono parole chiave da cercare e, con 100 milioni di token, il corpus è troppo grande per essere esplorato in modo esaustivo.
In questo articolo descriviamo come sono strutturati gli studi legali, come abbiamo costruito un ambiente sintetico e ancorato che rispecchia tale struttura e cosa rivelano le esecuzioni baseline sulla capacità degli agenti attuali di accedere a corpora di conoscenza su larga scala.
Come è strutturato uno studio legale
Gli studi legali organizzano il proprio lavoro attraverso un insieme comune di relazioni: i clienti per cui lavorano e gli incarichi che svolgono per conto di questi clienti. Abbiamo basato C&H su queste relazioni fondamentali.
Lo studio ha 46 clienti fittizi, che rappresentano diverse società e persone fisiche per cui lavora. Abbiamo definito intenzionalmente clienti diversificati per coprire un'ampia gamma di attività: le società di private equity richiedono servizi legali diversi rispetto ai produttori industriali.
Lo studio lavora per questi clienti in diverse aree di specializzazione. Queste aree rappresentano diversi tipi di competenza legale, che spaziano tra i gruppi di specializzazione più comuni negli studi legali di medie e grandi dimensioni.
Il lavoro effettivamente svolto dallo studio è rappresentato dagli incarichi dei clienti. Un cliente può avere molti incarichi e un incarico può coinvolgere avvocati di più aree di specializzazione. Lo studio ha attualmente 266 incarichi in corso o completati nel proprio file system.
Questi tre concetti definiscono l'ambito di C&H: per chi lavora, quale competenza può mettere in campo e su quali progetti specifici sta operando.
Costruzione del dataset
Ogni incarico cliente inizia con una specifica che definisce i dettagli strutturali rilevanti dello studio: per quale cliente è e qual è la forma generale del progetto. Queste specifiche vengono poi arricchite con un insieme concreto di fatti sostanziali che l'incarico deve contenere per fornire le basi a un determinato compito.
Possono essere fatti circostanziati — un deposito a garanzia del 10% o un patto di non concorrenza di due anni in un determinato accordo — o strutturali: una causa archiviata o transatta. Queste caratteristiche ci permettono di definire e verificare le ground truth a partire da specifiche brevi, invece che da un grande corpus non strutturato. In generale, un incarico può essere specificato in circa 1.000 token pur contenendo molte caratteristiche salienti per i compiti.
La nostra pipeline di dati sintetici trasforma poi ogni specifica in un file system di 10-200 documenti realistici (a seconda dello stato, delle dimensioni e del tipo di incarico) che esprimono le caratteristiche rilevanti. Le caratteristiche sono ancorate a documenti specifici, così da poter essere tracciate sia a livello di incarico sia a livello di file. Gli incarichi stessi sono raccolte liberamente strutturate di file che contengono gli aspetti principali di un incarico: il conferimento dell'incarico, l'esecuzione delle fasi, le decisioni principali e i risultati finali. Il file system esatto non è standardizzato e riflette un'organizzazione logica basata sul tipo di incarico, sulle preferenze del partner e su come si è svolto un determinato incarico.
Ambiente e definizione dei compiti
Gli incarichi dello studio sono trattati come un corpus persistente, con ogni compito eseguito sull'intero file system. I compiti stessi sono definiti a partire dalle specifiche in forma breve degli incarichi, con le ground truth calcolate come incarichi o documenti contenenti una particolare combinazione di caratteristiche. Le caratteristiche sottostanti di un incarico non vengono mostrate agli agenti in fase di esecuzione: devono recuperarle dal file system non strutturato tramite una combinazione di ricerca e ragionamento.
Sebbene le caratteristiche stesse siano strutturate, offrono flessibilità nell'esprimere vari tipi di compiti di ricerca e ragionamento. Questi includono la ricerca di precedenti, la comprensione delle tendenze di settore e l'identificazione di preferenze o risultati a livello di cliente.
Nella forma standard LAB, gli agenti vengono valutati tramite giudici LLM sulla base di una rubrica che dettaglia la ground truth in criteri atomici necessari per il completamento del compito.
Prestazioni attuali
Misuriamo le prestazioni di base utilizzando l'infrastruttura standard LAB e due potenti modelli foundation: GPT-5.6-sol e Opus-4.8. Entrambi faticano sia sulle prestazioni complessive dei compiti, sia sulle prestazioni in termini di latenza. Entrambi risolvono un insieme comune di compiti facili e un insieme unico di compiti più difficili, ma impiegano cinque o più minuti per compito e soddisfano solo circa la metà di tutti i criteri di valutazione.
Dall'analisi delle traiettorie, ci aspettiamo che costi e latenza aumentino con la dimensione del corpus, il che pone seri problemi per i corpora aziendali su scala enterprise, che possono superare C&H di diversi ordini di grandezza.
I fallimenti sono in gran parte spiegabili con l'incapacità di cercare e comprendere in modo esaustivo il corpus. I modelli ragionano per lo più correttamente su ciò che trovano, ma spesso non riescono a individuare ogni informazione rilevante.
Questa modalità di errore è particolarmente grave nei compiti che richiedono di enumerare un ampio insieme di incarichi, file o informazioni rilevanti. All'aumentare del numero di punti atomici necessari per completare con successo il compito, entrambi i modelli regrediscono a uno 0% di superamento completo.
Non si tratta di un fallimento della strategia di ricerca. Gli agenti trovano costantemente le informazioni principali e soddisfano circa la metà dei criteri. È piuttosto un fallimento nel sapere quando continuare a cercare ulteriori informazioni. Ciò suggerisce che gli agenti non costruiscono un modello intermedio efficace di ciò che il corpus contiene, un modello che permetta loro di capire quando le ricerche sono state sufficientemente esaustive.
Per completare con successo i compiti in un contesto di conoscenza aziendale è necessario migliorare questa particolare capacità.
Conclusione
Il lavoro legale richiede di comprendere come un problema si relaziona al lavoro precedente: quale precedente è rilevante per un cliente o che aspetto ha lo standard di mercato. Gli agenti attuali cercano di ricavare questa conoscenza da zero in ogni compito.
C&H dimostra che questa strategia è costosa e debole su scala di conoscenza aziendale. Riteniamo che una direzione promettente per migliorare gli agenti in questa capacità sia consentire loro di costruire in anticipo rappresentazioni più ricche del corpus — indici, riassunti, memoria — e ammortizzare il costo della costruzione di tali rappresentazioni su più esecuzioni successive. Poiché l'ambiente è persistente, questi costi di comprensione una tantum si ripagano su molti compiti. Presto condivideremo altri dettagli sul nostro lavoro.
I dati dello studio legale sintetico creati per questo articolo sono disponibili nel nostro repository open source. La versione attuale di C&H copre solo una parte del lavoro svolto da uno studio legale, e i suoi compiti rappresentano solo un sottoinsieme delle domande che gli avvocati potrebbero voler porre al proprio patrimonio di conoscenza istituzionale. Contiamo di ampliare entrambi nel tempo.
Vorremmo ringraziare in particolare i seguenti contributori per il loro feedback sul dataset e sull'articolo: Dan Biderman (Engram), Jessy Lin (Engram), Mayee Chen (Engram), Neel Guha (Columbia Law School / Engram), Shizhe He (Engram), Calvin Qi (Harvey), Gabe Pereyra (Harvey)
