Artikel-Link: https://www.harvey.ai/blog/post-training-rlm-agents-for-m-and-a-diligence
In unserer aktuellen Forschungsvorschau zu Harvey Tenet haben wir die Bedeutung der gemeinsamen Optimierung von Modell und Umgebung für die Lösung komplexer, durchgängiger juristischer Aufgaben hervorgehoben und erste Ergebnisse zur M&A-Due-Diligence vorgestellt, bei der eine einzelne Aufgabe das Durcharbeiten von bis zu 80 Millionen Token Dokumentenkontext erfordert. Heute teilen wir aktualisierte Ergebnisse aus unseren fortgesetzten Experimenten.
Gemeinsam mit Baseten haben wir eine rekursive Sprachmodell-Umgebung (RLM) für die M&A-Due-Diligence entwickelt. In unserer RLM-Formulierung wird ein vollständiger Datenraum in eine Python-REPL geladen, und ein Root-Agent delegiert die eingegrenzte Prüfung und Analyse an Unter-Agenten, die innerhalb ihrer eigenen Kontextfenster arbeiten. Bei LAB Diligence-Aufgaben verbessert diese Umgebung die Bestehensquote der Bewertungskriterien im Durchschnitt um 39,1 Prozentpunkte über sieben von uns evaluierte Modelle hinweg.
Wir stellen fest, dass ein Post-Training innerhalb der RLM-Umgebung weitere Leistungssteigerungen und Optionen zur Abwägung von Qualität und Effizienz bietet. Wir haben einen Qwen3.5-122B-A10B-Orchestrator mittels Reinforcement Learning nachtrainiert und festgestellt, dass das Post-Training die Bestehensquote der Bewertungskriterien von 29,9 % auf 63,0 % in 50 zurückgehaltenen LAB Diligence-Datenräumen erhöhte.
Abbildung 1: Durchschnittliche Bestehensquote der Kriterien bei LAB Diligence für Basismodelle in der Standard-Tool-Loop-Umgebung, Coding-Agenten in ihren eigenen Umgebungen und Modelle in unserer RLM-Umgebung. Sternchen markieren die übereinstimmenden GLM-5.2-Ergebnisse vor und nach SFT, evaluiert auf einem separaten 20-Raum-Testsatz. Alle anderen Ergebnisse verwenden den 50-Raum-Testsatz.
Diese Ergebnisse deuten darauf hin, dass Post-Training innerhalb einer aufgabenspezifischen Umgebung ein praktikabler Weg für dokumentenintensive juristische Arbeit, wie M&A-Due-Diligence, ist und dass die Skalierung von RL innerhalb der RLM-Umgebung eine vielversprechende Richtung für zukünftige Arbeiten darstellt. Aus diesem Grund trainieren wir auch GLM-5.3, ein großes Open-Weight-Modell, als Root-Modell in einem laufenden Skalierungslauf.
Im weiteren Verlauf dieses Beitrags beschreiben wir die LAB Diligence-Umgebungen, die wir evaluiert haben, unsere Methodik und die Post-Training-Experimente detaillierter.
Umgebungen für M&A-Due-Diligence
Wir haben kürzlich LAB Diligence vorgestellt, eine Erweiterung von LAB, die synthetische Umgebungen für die M&A-Due-Diligence umfasst. Ein einzelner Datenraum in LAB Diligence enthält bis zu 5.000 Dokumente, organisiert in Dutzenden von Ordnern nach Kategorien, und bis zu 80 Millionen Token Gesamtkontext.
Abbildung 2: Ein beispielhafter LAB Diligence-Datenraum. Aravon Bridge Bank enthält 2.270 Dokumente in 82 Ordnern in 14 Kategorien, insgesamt 31 Millionen Token. Das Due-Diligence-Memo des Agenten für diese Aufgabe wird anhand von 571 Bewertungskriterien benotet.
Innerhalb dieses Datenraums hat der Agent die Aufgabe, ein vollständiges Due-Diligence-Memo zu erstellen, einschließlich seiner Ergebnisse mit Dokumentenzitaten, quantifizierten Risiken, sofern relevant, und empfohlenen nächsten Schritten für die Transaktion. Ein LLM-Richter bewertet das Due-Diligence-Memo anhand eines Expertenkriterienkatalogs mit Hunderten von Bestehens- oder Nichtbestehenskriterien. Das Aravon Bridge Bank-Beispiel hat insgesamt 571 Bewertungskriterien.
Abbildung 3: Beispiele für Bewertungskriterien für die Aravon Bridge Bank-Aufgabe in LAB Diligence, mit einem wörtlichen Kriterium jedes Typs.
Die für die Due-Diligence benötigten Nachweise sind über den gesamten Datenraum verteilt. Einige Erkenntnisse erfordern die Kombination mehrerer Dokumente, während andere erfordern, zu prüfen, ob unterstützende Nachweise fehlen. In unseren Basislinienläufen suchten und lasen Agenten selektiv und ließen große Teile des Datenraums ungeprüft. Diese Aufgaben erfordern eine Umgebung, die die Prüfung auf viele begrenzte Kontexte verteilen und die Ergebnisse zusammenführen kann.
Eine RLM-Umgebung für M&A-Due-Diligence
Um eine Basislinie zu etablieren, begannen wir mit der Standard-Tool-Loop-Umgebung von Legal Agent Bench. In dieser Umgebung bestehen Basismodelle durchschnittlich 23,3 % der Bewertungskriterien in den 50 zurückgehaltenen Datenräumen, und kein Modell besteht jedes Kriterium in einem Datenraum.
Abbildung 4: Durchschnittliche Bestehensquote der Kriterien in der Standard-Tool-Loop-Umgebung in den 50 zurückgehaltenen Due-Diligence-Datenräumen.
Diese Ergebnisse deuten auf eine Diskrepanz zwischen Aufgabe und Umgebung hin. Ein LAB Diligence-Datenraum ist zu groß, um in einen einzelnen Modellkontext zu passen, aber ein Großteil der anfänglichen Prüfung kann nach Kategorien aufgeteilt werden. Der Root kann dann die Ergebnisse aus den Kategorien kombinieren, um das Memo zu erstellen. Deal-Teams in Anwaltskanzleien teilen die Due-Diligence-Arbeit auf ähnliche Weise auf.
Abbildung 5: Die RLM-Umgebung auf Tiefe-1. Der Datenraum wird als abfragbare Variablen in eine Python-REPL geladen. Der Root-Agent operiert darauf im Code und delegiert begrenzte Leseaufgaben an Unter-Agenten, die ihre Ergebnisse als REPL-Variablen zurückgeben. Nur die Ausgabe, die der Root-Agent ausgibt, gelangt in sein Kontextfenster, sodass der Root niemals den gesamten Datenraum hält.
Dies führte uns dazu, RLMs als Umgebung für M&A-Due-Diligence zu untersuchen. In einer RLM-Umgebung erhält ein Root-Agent eine Python-REPL mit dem Datenraum, der als abfragbare Variablen geladen ist, was ihm ermöglicht, das Korpus programmatisch zu durchsuchen. Der Root-Agent plant und definiert den Umfang der Prüfung und verteilt Unteraufgaben an Unter-Agenten. Jeder Unter-Agent erhält einen begrenzten Ausschnitt des Korpus und Anweisungen vom Root-Agenten, arbeitet innerhalb seines eigenen Kontextfensters und gibt seine Ergebnisse als REPL-Variablen zurück. Die untenstehenden Experimente verwenden, sofern nicht anders angegeben, eine einzelne Ebene von Unter-Agenten, und in der Praxis sendet der Root viele Aufrufe parallel.
Abbildung 6: Durchschnittliche Bestehensquote der Kriterien für sieben Modelle in der Standard-Tool-Loop-Umgebung und als Root der RLM-Umgebung (Tiefe-1, Qwen3.6-35B-A3B-Unter-Agenten), im 50-Raum-Testsatz.
Über sieben Modelle hinweg erhöht die RLM-Umgebung die durchschnittliche Bestehensquote von 23,3 % auf 62,4 %, ein Zuwachs von 39,1 Prozentpunkten. Wir haben auch zwei allgemeine Coding-Agenten mit deaktivierten Web-Tools getestet, Claude Code mit Opus-5 und Codex mit GPT-5.6 Sol, unter Verwendung derselben minimalen Anweisung wie die Tool-Loop-Umgebung. Claude Code besteht 24,6 % der Kriterien und Codex 12,0 %, was 17,9 bzw. 4,6 Punkte unter denselben Modellen in der Tool-Loop-Umgebung liegt. In den Ablaufverfolgungen hören beide Agenten frühzeitig mit dem Lesen auf und schreiben kürzere Memos, und keiner erzeugt Unter-Agenten, obwohl sie die Fähigkeit dazu haben.
Abdeckung und Kosten
Die RLM-Umgebung erhöht die Menge an nützlichem Inhalt, der zum Agentenkontext wird, erheblich. Wir schätzen die Abdeckung mit Sonden, die den Anteil des Datenrauminhalts messen, der ein Modell in der Umgebung erreicht, sei es Root oder Unter-Agent. In der Standard-Tool-Loop-Umgebung liest kein Lauf mehr als 1 % des Datenraums, und die meisten lesen zwischen 0,1 % und 0,5 %. In der RLM-Umgebung liest fast jeder Lauf mehr als 10 % des Datenraums, und die meisten lesen fast alles. Eine höhere Abdeckung ist in diesem Bereich mit höheren Bestehensquoten der Bewertungskriterien verbunden.
Abbildung 7: Bestehensquote der Bewertungskriterien versus sondenbasierte Abdeckung, ein Punkt pro Lauf, für sieben Modelle in jeder Umgebung in den 50 zurückgehaltenen Datenräumen aus LAB Diligence. Die Abdeckung ist auf einer logarithmischen Skala dargestellt.
Der Wechsel zur RLM-Umgebung erhöht die Generierungskosten pro Datenraum für sechs der sieben Basismodelle, wie in Abbildung 8 gezeigt. Claude Opus 5 ist die Ausnahme. In der Tool-Loop-Umgebung gibt es ~18 $ pro Datenraum für das eigene Lesen aus; als RLM-Root gibt es ~7 $ aus und erzielt 35 Punkte mehr.
Abbildung 8: Durchschnittliche Bestehensquote der Kriterien versus Generierungskosten pro Datenraum für sieben Modelle in jeder Umgebung, gemittelt über 50 zurückgehaltene Datenräume. Gepunktete Linien verbinden dasselbe Modell über die Umgebungen hinweg. Die Kosten sind cache-bewusste Schätzungen zu Listenpreisen, logarithmische Skala.
Arbeitsteilung
Um zu untersuchen, wie stark die Leistung vom Root-Agenten im Vergleich zu den Unter-Agenten abhängt, haben wir vier Root-Modelle mit drei Qwen-Unter-Agenten-Modellen in 30 zurückgehaltenen Datenräumen kombiniert (siehe Abbildung 9). Über die getesteten Konfigurationen hinweg hatte die Änderung des Roots einen größeren Effekt. Bei festgehaltenem Unter-Agenten-Modell und variiertem Root-Modell betrug die Lücke zwischen dem am höchsten und am niedrigsten bewerteten Root durchschnittlich etwa 38 Prozentpunkte. Bei festgehaltenem Root und variierten Unter-Agenten betrug die entsprechende Lücke zwischen den Unter-Agenten-Modellen durchschnittlich etwa 8 Punkte (Abbildung 9b).
Abbildung 9: Arbeitsteilung in der RLM-Umgebung, aggregiert über vier Root-Modelle und drei Unter-Agenten-Modelle in 30 zurückgehaltenen Datenräumen. (a) Root-Anteil an Eingabe- und Ausgabe-Token, gemittelt über die Wahl der Unter-Agenten. (b) Die Lücke zwischen dem am höchsten und am niedrigsten bewerteten Root, gemittelt über die Wahl der Unter-Agenten, und die entsprechende Lücke zwischen den Unter-Agenten, gemittelt über die Roots.
Dieser Unterschied ist bemerkenswert, da wir in der RLM-Umgebung beobachten, dass der Root einen Minderheitsanteil am gesamten Tokenverbrauch des Agenten ausmacht. Bei der Orchestrierung mit Opus 5 beispielsweise macht der Root 3,8 % der Eingabe-Token und 1,1 % der Ausgabe-Token aus (siehe Abbildung 9a). Die Unter-Agenten verarbeiten den Großteil des Textes, während der Root entscheidet, wie die Prüfung aufgeteilt und die Ergebnisse zusammengesetzt werden.
Abbildung 10: Durchschnittliche Bestehensquote der Kriterien für vier Root-Modelle, kombiniert mit drei Unter-Agenten-Modellen, in 30 zurückgehaltenen Datenräumen.
Diese Ergebnisse deuten darauf hin, dass die Verbesserung der Koordination eine wichtige Gelegenheit in diesem Setup darstellt, weshalb wir uns bei unseren ersten Post-Training-Experimenten auf den Root konzentriert haben.
Post-Training in der RLM-Umgebung
Die obigen Ergebnisse weisen auf den Root-Agenten als Ziel für Post-Training hin. In diesem Abschnitt berichten wir über Ergebnisse aus dem Post-Training von Open-Weight-Root-Modellen innerhalb der RLM-Umgebung.
Self-Distillation SFT
Zunächst haben wir einen GLM-5.2-Root mittels Rejection-Sampling Self-Distillation SFT nachtrainiert. Dieses Experiment verwendet einen anderen 20-Raum-Testsatz als die an anderer Stelle berichteten 50-Raum-Evaluierungen. Sein übereinstimmender Basis-Modell-Score in diesem Testsatz beträgt 46,1 %, unter dem in Abbildung 6 über den größeren Testsatz berichteten GLM-5.2-Ergebnis von 65,4 %.
Das Basis-GLM-5.2 führt nicht von Haus aus stabil eine hochbewertete Strategie aus – es gibt häufige Leistungseinbrüche, bei denen das Basismodell, das als Root-Agent fungiert, frühzeitig aufgibt, zu wenig delegiert oder die Ergebnisse der Unter-Agenten nicht in ein starkes Ergebnis umwandelt. Da eine starke Strategie bereits in der Verteilung des Modells vorhanden ist, aber robuster gemacht werden muss, verwenden wir Rejection-Sampling Self-Distillation, um die Verteilung von GLM-5.2 auf den gewünschten Modus zu schärfen. Wir haben erfolgreiche GLM-5.2-Läufe mit hoher Datenraumabdeckung ausgewählt und den Root auf diesen Trajektorien feinabgestimmt.
Abbildung 11: GLM-5.2 als RLM-Root vor und nach Rejection-Sampling Self-Distillation SFT, evaluiert auf einem separaten 20-Raum-Testsatz. Dies sind übereinstimmende Ergebnisse innerhalb des SFT-Experiments, nicht die in Abbildung 6 verwendete 50-Raum-Evaluierung.
In diesem 20-Datenraum-Testsatz erzielt der SFT-trainierte Root 60,1 % gegenüber 46,1 % für das Basismodell (siehe Abbildung 11). Eine Überprüfung der Ablaufverfolgungen des nachtrainierten Agenten deutet darauf hin, dass das Training dem Root-Agenten hilft, den Datenraum umfassend zu prüfen und einen größeren Prozentsatz der Ergebnisse der Unter-Agenten in das endgültige Memo zu übernehmen.
Tabelle 1 fasst andere Verhaltensänderungen zusammen, die wir nach dem Post-Training beobachten. Am bemerkenswertesten ist, dass die Korrelation zwischen der Anzahl der Unter-Agenten-Aufrufe und der Datenraumgröße von 0,17 auf 0,84 ansteigt, was darauf hindeutet, dass der trainierte Root-Agent seine Delegation an die Größe des Datenraums anpasst. Der trainierte Root lernt auch, mit dem Schreiben des Memos zu beginnen, während die Unter-Agenten noch lesen, ähnlich wie wir es in unseren RL-Läufen festgestellt haben.
Tabelle 1: Verhalten des GLM-5.2-Roots vor und nach SFT, gemittelt über den separaten 20-Raum-Testsatz. Die Abdeckung ist ein Prozentsatz; die letzte Zeile ist ein Korrelationskoeffizient.
Die Verhaltensweisen, die einen starken Root-Due-Diligence-Agenten ausmachen, wie erschöpfende Delegation, sind aus einer relativ kleinen Anzahl von On-Policy-Trajektorien erlernbar, ohne privilegierte Informationen und ohne gekennzeichnetes juristisches Wissen. Hier ist Self-Distillation effektiv, weil gutes Verhalten bereits in der Verteilung des Modells existiert und das Training es stabilisiert.
Dieses Experiment motivierte uns, RL-basiertes Post-Training zu erforschen, um zu versuchen, das Modell über das hinauszubringen, was in seiner Verteilung liegt, und neues Verhalten direkt durch die Belohnung der Aufgabe hervorzurufen.
Reinforcement Learning
Für Reinforcement Learning begannen wir mit einem kleineren Root-Modell, Qwen3.5-122B-A10B, um den anfänglichen RL-Experimentierzyklus handhabbar zu halten.
Wir trainierten den RLM-Root mit GRPO, wobei wir die bewertete Bestehensquote der Bewertungskriterien als Belohnung verwendeten und die Unter-Agenten-Modelle festhielten (Unter-Agenten waren jeweils das Qwen3.6-35B-A3B-Modell). Über 40 Trainingsschritte hinweg stellten wir fest, dass die durchschnittliche Bestehensquote der Rollouts von etwa 23 % auf etwa 56 % anstieg. Im 50-Raum-Testsatz erzielt der endgültige Checkpoint 63,0 % gegenüber 29,9 % für das Basismodell.
Abbildung 12: Reinforcement Learning am Qwen3.5-122B-A10B-Root mit festen Qwen3.6-35B-A3B-Unter-Agenten. (a) Durchschnittliche Bestehensquote der Rollout-Kriterien bei jedem der 40 Trainingsschritte. (b) Basismodell und endgültiger Checkpoint im 50-Raum-Testsatz.
Nach RL steigt die durchschnittliche Datenraumabdeckung von 62 % auf 96 %, obwohl die Abdeckung kein expliziter Belohnungsterm ist. Basis-Läufe sind über den gesamten Abdeckungsbereich verteilt, mit einem Cluster unter 20 %, der nahe Null punktet. Jeder RL-trainierte Lauf liest mehr als 60 % des Datenraums, und die meisten lesen alles.
Abbildung 13: Bestehensquote der Kriterien versus sondenbasierte Abdeckung, ein Punkt pro Lauf, für den Qwen3.5-122B-A10B-Root vor und nach RL im 50-Raum-Testsatz.
Der nachtrainierte Root tätigt 64 % mehr Unter-Agenten-Aufrufe pro Datenraum. RL veränderte das Delegationsvolumen auch stärker als SFT, 64 % gegenüber 29 %.
Tabelle 2: Verhalten des Qwen3.5-122B-A10B-Roots vor und nach RL, gemittelt über den 50-Raum-Testsatz.
Vor dem Post-Training versuchte der Qwen-Root-Agent, sein Due-Diligence-Memo in einem einzigen Durchgang zu schreiben, und zwar erst, nachdem alle Unter-Agenten zurückgekehrt waren. Während des RL-Post-Trainings lernt er einen effizienteren Ansatz, indem er das Memo inkrementell schreibt und das Schreiben von Abschnitten mit der Durchsicht der Arbeit der Unter-Agenten verschränkt.
Skalierung von RL mit GLM-5.3
Um unser RL-Rezept in größerem Maßstab zu testen, trainieren wir nun GLM-5.3 als RLM-Root mit derselben GRPO-ähnlichen Konfiguration: bewertete Bestehensquote der Kriterien als Belohnung, festgehaltene Qwen3.6-35B-A3B-Unter-Agenten, LoRA auf dem Root, Gruppengröße 8 und Batch-Größe 24. Die Rollouts von GLM-5.3 beginnen deutlich über dem Niveau, bei dem der Qwen-Root begann, sodass weniger Spielraum nach oben besteht. Über die Schritte 0 bis 20 (Abbildung 14) steigt die durchschnittliche Bestehensquote der Rollouts von etwa 51 % auf etwa 59 %, gemittelt über die ersten und letzten acht gezeigten Schritte, mit dem für diese Batch-Größe erwartbaren Schritt-zu-Schritt-Rauschen.
Abbildung 14: Früher Trainingsfortschritt für den laufenden GLM-5.3-RL-Lauf mit festgehaltenen Qwen3.6-35B-A3B-Unter-Agenten. Die durchschnittliche Bestehensquote der Rollout-Kriterien wird im Verlauf von 20 Trainingsschritten gezeigt. Grau zeigt rohe Werte pro Schritt; Schwarz zeigt einen exponentiell gleitenden Durchschnitt. Diese Abbildung zeigt Trainingsergebnisse, nicht die Leistung auf zurückgehaltenen Daten.
Wie es weitergeht
Die RLM-Umgebung verbessert die Leistung über die von uns getesteten Modelle hinweg, und RL erzielt weitere Gewinne für den Qwen-Root innerhalb dieser Umgebung. Es besteht weiterhin eine erhebliche Lücke zwischen diesen Ergebnissen und den nahezu perfekten Bestehensquoten, auf die wir hinarbeiten.
Die oben beschriebenen Trainingsexperimente sind erste Erkundungen. Zusätzlich zum Abschluss des hochskalierten GLM-5.3-Trainingslaufs werden wir auch Kombinationen von SFT und RL sowie trainierte Unter-Agenten untersuchen. Die RLM-Umgebung trennt die Orchestrierung des Roots vom Lesen der Unter-Agenten, sodass jeder einzeln oder gemeinsam trainiert werden kann, einschließlich Setups, in denen Unter-Agenten trainiert werden, um ihrerseits zu delegieren.
Schließlich ist die Kernaussage hier, dass die gemeinsame Optimierung von Modell und Umgebung die Leistung von Agenten in langfristigen Umgebungen sinnvoll verbessern kann, nicht auf die Due-Diligence beschränkt. Wir erforschen Wege, dieselbe Umgebungsstruktur und denselben Trainingsansatz auf andere langkontextige juristische Arbeiten zu übertragen.
Anhang
RLM-Rekursionstiefe
Wir haben auch getestet, ob das Hinzufügen einer weiteren Delegationsebene die Leistung verbessert. Auf Tiefe-1 geben Unter-Agenten einfache LLM-Vervollständigungen zurück, ohne eigene Werkzeuge oder Delegation. Auf Tiefe-2 erhalten Unter-Agenten eine Python-REPL und können weiter delegieren. Innerhalb jedes Experiments verwendeten wir dasselbe Modell für den Root und jeden Unter-Agenten.
Wir evaluierten sowohl GLM-5.2 als auch Qwen3.5-122B-A10B. Viele GLM-5.2-Tiefe-2-Läufe wurden nicht innerhalb des Zeitlimits abgeschlossen, daher berichten wir die Qwen-Ergebnisse unten. In 14 Datenräumen verbesserte Tiefe-2 die Ergebnisse in vier und verschlechterte sie in zehn, was die durchschnittliche Bestehensquote der Kriterien um 19 Prozentpunkte senkte (Abbildung A2). In vier der zehn Regressionen las der Tiefe-2-Agent Datenrauminhalte, erstellte aber nie einen Bericht.
Abbildung A1: Bestehensquote der Kriterien pro Raum auf Tiefe-1 und Tiefe-2 für 14 Datenräume. Wir hielten das Modell fest und verglichen Unter-Agenten mit einfacher Vervollständigung mit Unter-Agenten, die eine REPL nutzen und delegieren konnten. In vier der zehn Regressionen liest der Tiefe-2-Lauf den Datenraum, schreibt aber nie den Bericht.
Diese Ergebnisse motivierten unsere Verwendung von Tiefe-1 für die ersten Post-Training-Experimente. Ob das Training von Agenten speziell für tiefere Delegation zusätzliche Ebenen nützlich machen kann, bleibt eine offene Frage.
RL-Infrastruktur
RL, insbesondere mit so langen Episodenlängen, ist ebenso ein Infrastrukturproblem wie ein Trainingssignalproblem. Für diese Aufgabe konnten einzelne Episoden-Rollouts in der Größenordnung von einer Stunde oder mehr Wanduhrzeit in Anspruch nehmen. Um die Trainings-Wanduhrzeit zu optimieren, wandten wir Methoden wie asynchrone Off-Policy-Inferenz, kontinuierliches Inferenz-Batching, Oversampling und In-Flight-Gewichtsaktualisierungen an. Selektives Token-Masking und asynchrone Begrenzungen wurden angewendet, um den Effekt der Off-Policy-Ness zu kontrollieren. Da in der RLM-Umgebung der Großteil der Wanduhrzeit mit dem Warten auf die Fertigstellung der Unter-Agenten verbracht wird, half die Möglichkeit, kleine, schnelle Unter-Agenten zu verwenden, den RL-Trainingsprozess erheblich zu beschleunigen.
Wir zeichnen die Schritt-Wanduhrzeit unten auf. Sie wird von der Rollout-Zeit dominiert, die im Laufe des RL wächst, da der Agent gründlicher wird und größere Wellen von Unter-Agenten aussendet.
Abbildung A2: Wanduhr-Minuten pro RL-Trainingsschritt für den 40-Schritt-Lauf, mit einem gleitenden 5-Schritt-Mittelwert. Die Schritte 2–10 dauern durchschnittlich 48 Minuten und die Schritte 31–40 durchschnittlich 74 Minuten; der Anstieg resultiert daraus, dass das trainierte Modell mehr Unter-Agenten pro Rollout einsetzt.
