Ми відкриваємо вихідний код нашого наступного розширення LAB: синтетичної юридичної фірми Calderwood & Harkness («C&H» або «фірма»). Створена у співпраці з @engramlab, фірма містить результати роботи понад 250 клієнтських справ, що охоплюють майже 10 000 файлів і понад 100 мільйонів токенів.
Параметр
Значення
Клієнти
46
Напрями практики
15
Справи
266
Файли
9 288
Токени
108 млн
Завдання
250
Оцінювання
LLM-суддя за рубриками для кожного завдання
Набір даних
https://github.com/harveyai/harvey-labs/tree/main/tasks/firm-knowledge
Середовище містить 250 завдань, що охоплюють різні форми пошуку знань і міркувань. Кожне завдання віддзеркалює той тип пошуку та міркувань, який фірма могла б поставити перед своїми системами керування документами, і створене як стрес-тест можливостей агентів — контекст, необхідний для відповіді на будь-яке з цих питань, розподілений, часто немає ключових слів для прямого пошуку, а при 100 мільйонах токенів корпус занадто великий, щоб його можна було вичерпно дослідити.
У цій публікації ми описуємо, як структуровані юридичні фірми, як ми побудували обґрунтоване синтетичне середовище юридичної фірми, що віддзеркалює цю структуру, і що показують базові запуски щодо здатності поточних агентів працювати з великомасштабними корпусами знань.
Як структурована юридична фірма
Юридичні фірми організовують свою роботу через спільний набір взаємозв'язків: клієнтів, для яких вони працюють, і справ, які вони ведуть для цих клієнтів. Ми будуємо C&H на цих ключових взаємозв'язках.
Фірма має 46 вигаданих клієнтів, що представляють різні корпорації та приватних осіб, для яких вона працює. Ми навмисно створили різноманітних клієнтів, щоб охопити широкий спектр робіт — PE-фірми потребують інших юридичних послуг, ніж промислові виробники.
Фірма працює для цих клієнтів у різних практиках. Ці напрями практики представляють різні типи юридичної експертизи, поширені серед практичних груп у середніх і великих юридичних фірмах.
Власне робота фірми представлена клієнтськими справами. Клієнт може мати багато справ, і у справах можуть брати участь юристи з кількох напрямів практики. Наразі у файловій системі фірми є 266 справ, що перебувають у процесі виконання або завершені.
Ці три концепції визначають межі C&H: для кого вона працює, яку експертизу може застосувати та над якими конкретними проєктами вона працює.
Створення набору даних
Кожна клієнтська справа починається зі специфікації, яка визначає відповідні структурні деталі фірми: для якого клієнта вона призначена та якою є загальна форма проєкту. Потім вони збагачуються конкретним набором змістовних фактів, які справа має містити, щоб обґрунтувати конкретне завдання.
Це можуть бути вузькі факти — 10% ескроу або дворічна заборона конкуренції в конкретній угоді — або структурні: судовий позов було відхилено або врегульовано. Ці характеристики дозволяють нам визначати та перевіряти еталонні відповіді на основі коротких специфікацій, а не великого неструктурованого корпусу. Загалом справа може бути описана приблизно 1 000 токенами, несучи при цьому багато важливих для завдання характеристик.
Наш конвеєр синтетичних даних перетворює кожну специфікацію у файлову систему з 10–200 реалістичних документів (залежно від стану, розміру та типу справи), які відображають відповідні характеристики. Характеристики прив'язані до конкретних документів, що дозволяє простежувати їх як на рівні справи, так і на рівні файлів. Самі справи є нежорстко структурованими наборами файлів, що містять основні аспекти справи: залучення, виконання етапів, ключові рішення та кінцеві результати. Точна файлова система не стандартизована та відображає логічну організацію залежно від типів справ, уподобань партнерів і того, як розвивалася конкретна справа.
Середовище та визначення завдань
Справи фірми розглядаються як постійний корпус, причому кожне завдання виконується з використанням усієї файлової системи. Самі завдання формулюються на основі коротких специфікацій справ, а еталонні відповіді обчислюються як справи або документи, що містять певне поєднання характеристик. Приховані характеристики справи не показуються агентам під час виконання; вони повинні виявити їх у неструктурованій файловій системі за допомогою поєднання пошуку та міркувань.
Хоча самі характеристики є структурованими, вони забезпечують гнучкість у вираженні різних типів пошукових і аналітичних завдань. Зокрема, це пошук прецедентів, розуміння галузевих тенденцій та виявлення уподобань або результатів на рівні клієнта.
У стандартному форматі LAB агенти оцінюються за допомогою LLM-суддів згідно з рубрикою, яка розкладає еталонну відповідь на атомарні критерії, необхідні для успішного виконання завдання.
Поточна ефективність
Ми вимірюємо базову ефективність за допомогою стандартного стенду LAB, а також двох потужних фундаментальних моделей: GPT-5.6-sol і Opus-4.8. Ми виявили, що обидві моделі мають труднощі із загальною ефективністю завдань, а також із показниками ефективності з урахуванням затримки. Обидві розв'язують спільний набір простих завдань і унікальний набір складніших, але витрачають п'ять і більше хвилин на завдання та задовольняють лише близько половини всіх критеріїв оцінювання.
Аналізуючи траєкторії, ми очікуємо, що і вартість, і затримка зростатимуть зі збільшенням розміру корпусу, що створює реальні проблеми для корпусів справжнього корпоративного масштабу, які можуть перевищувати C&H на кілька порядків величини.
Невдачі значною мірою пояснюються нездатністю повноцінно шукати та розуміти корпус. Моделі здебільшого правильно міркують про знайдене, але часто не знаходять усю релевантну інформацію.
Цей тип збою є особливо серйозним для завдань, що вимагають перерахування великої кількості релевантних справ, файлів або фрагментів інформації. Із збільшенням кількості атомарних пунктів, необхідних для успішного виконання завдання, обидві моделі регресують до 0% повного успіху.
Це не недолік стратегії пошуку. Агенти послідовно знаходять основну інформацію та задовольняють близько половини критеріїв. Натомість це невміння визначити, коли варто продовжувати шукати додаткову інформацію. Це свідчить про те, що агенти не будують ефективної проміжної моделі того, що містить корпус, яка дозволяла б їм розуміти, коли їхні пошуки були достатньо вичерпними.
Успішне виконання завдань на основі корпоративних знань вимагає покращення саме цієї здатності.
Висновки
Юридична робота вимагає розуміння того, як проблема співвідноситься з попередньою роботою: який прецедент є релевантним для клієнта або як виглядає ринковий стандарт. Сучасні агенти намагаються отримати ці знання з нуля для кожного завдання.
C&H показує, що ця стратегія є витратною та слабкою в масштабі корпоративних знань. Ми вважаємо, що перспективним напрямком покращення агентів у цьому аспекті є надання їм можливості заздалегідь будувати багатші представлення корпусу — індекси, підсумки, пам'ять — і розподіляти вартість створення таких представлень між наступними запусками. Оскільки середовище є постійним, ці одноразові витрати на розуміння окупаються в багатьох завданнях. Незабаром ми поділимося більше інформацією про нашу роботу.
Дані синтетичної юридичної фірми, створені для цієї публікації, доступні в нашому репозиторії з відкритим кодом. Поточна версія C&H охоплює лише частину роботи, яку виконує юридична фірма, а її завдання представляють лише підмножину питань, які юристи можуть ставити до своїх інституційних знань. Ми плануємо з часом розширювати обидва компоненти.
Ми особливо хотіли б подякувати наступним учасникам за їхні відгуки щодо набору даних і тексту: Dan Biderman (Engram), Jessy Lin (Engram), Mayee Chen (Engram), Neel Guha (Columbia Law School / Engram), Shizhe He (Engram), Calvin Qi (Harvey), Gabe Pereyra (Harvey)
