LAB: 法律事務所のナレッジ

私たちは、次の LAB 拡張として、合成法律事務所 Calderwood & Harkness（以下「C&H」または「当事務所」）をオープンソース化しました。@engramlab との共同構築によるもので、当事務所には、250 件以上のクライアント案件の成果物が含まれており、約 10,000 ファイル、1 億以上のトークンで構成されています。

この環境には、さまざまな形式の知識検索と推論にわたる 250 のタスクが含まれています。各タスクは、法律事務所が文書管理システムに求めるような検索・推論タスクを反映しており、エージェントの能力を試すストレステストとして設計されています。これらの質問のいずれかに答えるために必要なコンテキストは分散しており、grep で検索できるキーワードがないことも多く、1 億トークンのコーパスは網羅的に検索するには大きすぎます。

この記事では、法律事務所がどのように構成されているか、その構造を反映した現実に基づく合成法律事務所環境をどのように構築したか、そしてベースライン実行が、大規模知識コーパスにアクセスする現在のエージェントの能力について何を明らかにするかを説明します。

法律事務所の構造

法律事務所は、クライアント（誰のために働くか）と案件（そのクライアントのために取り組む仕事）という共通の関係性を通じて業務を整理します。C&H は、この中核的な関係性に基づいて構築されています。

当事務所には、さまざまな企業や個人を表す 46 の架空のクライアントがいます。多様なクライアントを意図的に定義することで、幅広い業務をカバーできるようにしています。PE ファームには、工業メーカーとは異なる法的サービスが必要だからです。

当事務所は、さまざまなプラクティスにわたってクライアントのために業務を行います。これらのプラクティスエリアは、中規模および大規模法律事務所の一般的なプラクティスグループにわたる、さまざまなタイプの法的専門知識を表しています。

事務所が実際に行う業務は、クライアント案件によって表されます。1 つのクライアントが複数の案件を持つことができ、案件には複数のプラクティスエリアの弁護士が関与する場合もあります。当事務所のファイルシステムには現在、進行中または完了した 266 件の案件があります。

これら 3 つの概念が C&H の範囲を定義します。誰のために働くのか、どのような専門知識を提供できるのか、そしてどのような具体的なプロジェクトに取り組んでいるのかです。

データセットの構築

各クライアント案件は、事務所の構造上の詳細を定義する仕様から始まります。つまり、どのクライアント向けか、プロジェクトの大まかな形はどうか、といったことです。これらはその後、特定のタスクを支えるために案件に含める必要がある、具体的な実質的事実のセットによって拡充されます。

これらは、特定の契約における 10% のエスクローや 2 年間の競業避止義務といった狭い事実の場合もあれば、訴訟の却下や和解といった構造的な事実の場合もあります。これらの特徴により、大規模で非構造化されたコーパスではなく、短い仕様からグラウンドトゥルースを定義・レビューできます。全体として、1 つの案件は約 1,000 トークンで指定できながら、タスクに重要な多くの特徴を保持できます。

その後、合成データパイプラインは、各仕様を、関連する特徴を表現する 10〜200 の現実的なドキュメント（案件の状態、規模、タイプに応じて異なる）で構成されるファイルシステムへと変換します。特徴は特定のドキュメントに紐付けられ、案件レベルとファイルレベルの両方で追跡できるようにしています。案件自体は、案件の主要な側面（エンゲージメント、フェーズの実行、主要な決定、最終結果）を含む、緩やかに構造化されたファイルのコレクションです。厳密なファイルシステムは標準化されておらず、案件タイプ、パートナーの好み、特定の案件がどのように展開したかに基づく論理的な構成を反映しています。

環境とタスクの定義

事務所の案件は永続的なコーパスとして扱われ、すべてのタスクがファイルシステム全体に対して実行されます。タスク自体は案件の短い仕様に基づいて列挙され、グラウンドトゥルースは特定の特徴の組み合わせを含む案件またはドキュメントとして計算されます。案件の基盤となる特徴は実行時にエージェントに表示されず、エージェントは検索と推論を組み合わせて、非構造化ファイルシステムからそれらを見つけ出す必要があります。

特徴自体は構造化されていますが、さまざまなタイプの検索・推論タスクを表現する柔軟性を提供します。これには、先例の検索、業界トレンドの理解、クライアントレベルの選好や成果の特定などが含まれます。

標準的な LAB 形式では、エージェントは、グラウンドトゥルースをタスク完了に必要なアトミックな評価基準に分解するルーブリックに基づき、LLM ジャッジによって採点されます。

現在のパフォーマンス

標準の LAB ハーネス に加え、GPT-5.6-sol と Opus-4.8 という 2 つの強力な基盤モデルを使用して、ベースラインパフォーマンスを測定しました。両モデルとも、全体的なタスクパフォーマンスと、レイテンシー調整後の実効パフォーマンスの両方で苦戦することがわかりました。両モデルとも、共通の簡単なタスクセットと、それぞれ独自の難しいタスクセットを解決しますが、タスクごとに 5 分以上かかり、採点基準の約半分しか満たしません。

軌跡をレビューすると、コーパスサイズに応じてコストとレイテンシーの両方が増加すると予想されます。これは、C&H を数桁上回る可能性のある真のエンタープライズ規模のコーパスにとって、現実的な問題を引き起こします。

失敗の大部分は、コーパスを包括的に検索・理解できないことに起因しています。モデルは見つけた情報についてはほぼ正しく推論できますが、関連するすべての情報を見つけられないことがよくあります。

この失敗モードは、多数の関連する案件、ファイル、または情報を列挙する必要があるタスクで特に深刻です。タスク完了に必要なアトミックなポイント数が増えるにつれて、両モデルともオールパス率は 0% に低下します。

これは検索戦略の失敗ではありません。エージェントは一貫して中核となる情報を見つけ、基準の約半分を満たしています。これはむしろ、追加情報を探し続けるべきタイミングを判断できないことによる失敗です。これは、エージェントがコーパスの内容に関する効果的な中間モデルを構築しておらず、検索が十分に網羅的になったタイミングを判断できていないことを示唆しています。

エンタープライズ知識に対するタスクの成功には、この特定の能力の向上が必要です。

結論

法律業務には、問題がこれまでの業務とどのように関連するかについての理解が必要です。どの先例がクライアントに関連するか、市場標準がどのようなものか、といったことです。今日のエージェントは、すべてのタスクでゼロからその知識を導き出そうとします。

C&H は、この戦略がエンタープライズ知識スケールではコストがかかり、効果が弱いことを示しています。この能力を高めるための有望な方向性は、エージェントがコーパスのよりリッチな表現（インデックス、サマリー、メモリ）を事前に構築できるようにし、そのような表現の