Auf dem Weg zur Automatisierung des Eval Engineering

Heute veröffentlichen wir unseren Eval Engineering Skill – einen Skill, der Coding-Agenten dabei hilft, Evals auf Basis von Repository-Kontext und Agenten-Traces zu erstellen.

Der Skill analysiert die Struktur eines Agenten, extrahiert Muster aus verfügbaren Traces und schlägt zu testende Fähigkeiten vor.

Der Skill ist darauf ausgelegt, den Benutzer zu interviewen, der Feedback zu den Vorschlägen geben und jede Evaluation iterativ freigeben kann. Das Ergebnis ist ein Satz ausführbarer Evals im Harbor-Format.

Aufbau der Umgebung und der Aufgabe

Zunächst liest der Skill das Repository aus und kartiert die Agentenoberfläche, einschließlich Prompts, Modelle, Tools, Skills, Hooks usw. Außerdem identifiziert er die Daten und Dienste, die diese Verhaltensweisen unterstützen, wie API-Aufrufe.

Benutzer können den Agenten auch auf Traces verweisen, die mit Tools wie dem langsmith-cli abgerufen werden können. Traces zeigen, wie sich Tools in der Praxis verhalten, z. B. ihre Argumente, Ergebnisse und Fehler. Diese beobachteten Verträge helfen dem Skill, relevantes Produktionsverhalten in einer kontrollierten Umgebung nachzubilden.

Das Durchsuchen des Repos und der Traces gibt dem Agenten Wissen darüber, welche Fähigkeiten für den Agenten wichtig sind, während er Evaluierungsaufgaben vorschlägt. Wir haben festgestellt, dass das Interviewen des Benutzers zu einer wesentlich besseren Akzeptanz der Evals führt als eine einmalige Generierung. Der Benutzer wählt aus den vorgeschlagenen Evaluierungsrichtungen aus und gibt Hinweise zu Fragen wie: Welche Tools und Abhängigkeiten sollen live ausgeführt werden und welche müssen simuliert werden? Beispielsweise können Tool-Aufrufe, die Kosten verursachen oder Schreibzugriff auf die Produktion erfordern, simuliert werden, anstatt bei jedem Evaluierungsdurchlauf ausgeführt zu werden.

Wir haben diesen Ablauf mit unserem Dokumentations-Q&A-Agenten chat-langchain getestet. Für diesen Agenten erforderte die Umgebung einen Datenkorpus, der über die Suchtools des Agenten – modelliert nach dem Produktionsagenten – zugänglich gemacht wurde. Zu den Aufgaben gehörten realistische Dokumentationsfragen aus echten Traces sowie ein Verifier, der die Antwort anhand eines goldenen Antwortstrings und zitierten Dokumenten überprüfte.

Evaluierungsdesign ist iterativ

Wir haben festgestellt, dass Agenten zwar manchmal Evals in einem Durchgang erstellen können, die besten Evals jedoch dann entstehen, wenn Benutzer Feedback geben und angeben, welche Fähigkeiten es wert sind, bei Agenten gemessen zu werden. Coding-Agenten und Skills bieten eine natürliche Schnittstelle, über die Domänenwissen zur Erstellung guter Evals kodiert wird und Benutzer im Laufe der Zeit iterieren können.

Beispielsweise stellten wir fest, dass der erste Verifier beim Bau von Verifiern selten der endgültige war. Eine nützliche Methode zur Verbesserung bestand darin, die Evaluation auszuführen und beide Seiten des Ergebnisses zu inspizieren:

• die Agenten-Trajektorie, einschließlich seiner Nachrichten, Tool-Aufrufe und Aktionen.
• die Verifier-Trajektorie, Beweise, Begründung und endgültige Punktzahl.

Dies half dabei aufzudecken, ob die Aufgaben- oder Verifier-Design tatsächlich das maß, was uns wichtig war, oder ob es belohnt werden konnte, indem Agenten Abkürzungen nahmen. Zu diesen Abkürzungen können gehören: übermäßiges Zitieren irrelevanter Quellen, um die volle Punktzahl zu erhalten, eine Aktion zu behaupten, die nie ausgeführt wurde, offengelegtes Antwortmaterial auszunutzen oder einen Proxy zu erfüllen, ohne die Aufgabe abzuschließen. Die Beobachtung der Traces, wie Agenten Probleme lösen, offenbart oft die Ursache dieser Fehler. Die Aufgabe, Umgebung und der Verifier können dann überarbeitet und erneut ausgeführt werden.

Evals sind im Harbor-Format

Der Skill erstellt Evals als Harbor-Aufgaben:

1. Eine Anweisung: die Nachricht, die dem Agenten zu Beginn gegeben wird und die Aufgabe beschreibt
2. Eine Umgebung: angegeben als Dockerfile, das das Setup für die Aufgabe enthält, z. B. welche Tools zu installieren sind oder welche Daten im Dateisystem bereitgestellt werden
3. Ein Verifier, der bewertet, ob der Agent die Aufgabe korrekt abgeschlossen hat.

Der Skill baut diese Komponenten als Harbor-Aufgabe zusammen:

1evals/<task-id>/
2├── task.toml
3├── instruction.md
4├── environment/
5└── tests/

Harbor führt den Agenten in der Umgebung aus und zeichnet seine Trajektorie, Artefakte, Belohnung und Fehler auf. Dieselbe Evaluation kann dann gegen verschiedene Modelle, Prompts, Tools und Agentenversionen ausgeführt werden.

Warum das wichtig ist

Kontinuierliches Lernen kann als ein fortlaufendes Data-Mining-Problem betrachtet werden, bei dem Produktionsdaten verwendet werden, um Evals zu erstellen, die Agenten im Laufe der Zeit verbessern. Teams durchforsten Traces, um wiederkehrende Benutzeranfragen, Fehler, fehlgeschlagene Tool-Aufrufe und falsche Zustandsänderungen zu finden, die zu Evals werden, sodass dasselbe Verhalten in Zukunft gemessen und verhindert werden kann.

Evals sind Trainingsdaten für Agenten. Teams können das Agentenverhalten durch Harness-Engineering (Ändern von Prompts und Tools oder Feintuning) an sie anpassen. Die Evaluation bietet ein festes Ziel, um zu entscheiden, ob diese Änderungen die beabsichtigte Fähigkeit verbessert haben.

Containerisierte Evals beschleunigen diesen Prozess. Die Aufgabe und die Umgebung bleiben stabil, während die Agentenkonfiguration geändert wird, sodass Entwickler Modelle, Tools, Prompts oder komplette Agentenversionen austauschen und die Ergebnisse direkt vergleichen können. Mehrere Konfigurationen können parallel ausgeführt werden.

Reproduzierbare Umgebungen sind für dieses Signal entscheidend. Wenn eine Evaluation die relevanten Tools, Daten, Berechtigungen, Zustände und Fehlermodi aus der Produktion widerspiegelt, erhalten Entwickler eine stabile Testumgebung, die dennoch repräsentativ für die Funktionsweise des Agenten ist. Sie können schnell experimentieren, ohne auf sich ändernde Produktionssysteme angewiesen zu sein oder in den Produktionszustand zu schreiben.

Die resultierende Schleife ist:

Traces abbauen → einen Fehler identifizieren → eine Evaluation erstellen → den Agenten verbessern → erneut ausführen

Probieren Sie es noch heute aus

Der Eval Engineering Skill ist im langchain-ai/langchain-skills-Repository verfügbar.

Installieren Sie den Skill in Codex oder Claude Code, öffnen Sie das Repository mit dem Agenten, den Sie evaluieren möchten, verweisen Sie den Agenten auf einen Satz von Traces, falls verfügbar, und beginnen Sie mit einem einfachen Prompt:

Wir freuen uns darauf, diesen Skill weiterzuentwickeln und Tools zu bauen, die es einfacher machen, automatisch Evals zu erstellen und Agenten autonom daran anzupassen.