Dies ist ein Teil einer Serie, die wir im Rahmen der Langfuse Academy veröffentlichen, in der wir den gesamten KI-Engineering-Lebenszyklus durchgehen. Wenn Sie neu in der Serie sind, ist The AI Engineering Loop der beste Ort, um zu beginnen.
Eine kurze Zusammenfassung des AI Engineering Loop
Der AI Engineering Loop ist die Art und Weise, wie Teams KI-Systeme kontinuierlich verbessern. Er verbindet das, was in der Produktion passiert (Tracing, Monitoring), mit strukturierten Iterationen während der Entwicklung (Datensätze, Experimente, Evaluation). Jede ausgelieferte Verbesserung erzeugt neue Daten, und Teams durchlaufen diesen Prozess kontinuierlich.
Mehr dazu erfahren Sie hier.
Wie Tracing in den Loop passt
Traditionelle Software ist weitgehend deterministisch, Ausführungen folgen einem vordefinierten Format. Bei LLM-Anwendungen ist das nicht der Fall. Agentenausführungen können chaotisch sein, wir haben es mit emergentem Verhalten mit reichhaltigen und unerwarteten Eingaben und Ausgaben sowie Ausführungsreihenfolgen zu tun. Sie brauchen etwas anderes, um dem Verhalten Ihres Agenten zu folgen: Traces.
Tracing ist zentral für den gesamten Verbesserungs-Loop. Jeder andere Schritt (Überprüfen, Erstellen von Datensätzen, Durchführen von Experimenten, Evaluieren) arbeitet auf Traces.
Wenn Sie bereits mit traditionellen Observability-Konzepten vertraut sind, mag einiges von dem Folgenden repetitiv erscheinen. Sie können gerne überfliegen oder überspringen.
Die Anatomie eines Traces
Ein Trace kann so komplex oder einfach sein, wie Ihre Anwendung es erfordert, aber alle Traces teilen die gleiche grundlegende Struktur. Er besteht aus einer Reihe von Observations, die den Weg Ihres Agenten abbilden.
Eine Observation ist ein einzelner Schritt im Prozess. Sie hat eine Eingabe, eine Ausgabe, Start-/Endzeit und Metadaten darüber, was während dieses Schritts passiert ist.
Hierarchie
Ein Trace hat eine hierarchische Baumstruktur. Darin verschachtelt sind Observations, die andere Observations enthalten können, und so eine Eltern-Kind-Struktur bilden, die die tatsächliche Ausführung Ihrer KI-Anwendung widerspiegelt.
Sie können sehen, was in welcher Reihenfolge passiert ist und welche Schritte Teil welches größeren Schritts waren.
Observationsdaten
Eingabe und Ausgabe. Jede Observation kann eine Eingabe und eine Ausgabe haben. Meistens wird sie beides haben; in einigen spezifischen Fällen könnte sie nur eines von beiden haben. Für die Interpretierbarkeit ist es wichtig, dass Sie eine Eingabe und/oder Ausgabe festlegen, die für die Art der Aktion in dieser Observation sinnvoll ist.
Observationstypen. Um die Unterscheidung zwischen Operationen zu erleichtern, sehen Sie verschiedene Typen von Observations. Jeder Observationstyp wird verwendet, um verschiedene Arten von Interaktionen eines Agenten zu erfassen.
Observationstypen erleichtern das Lesen von Traces und das Filtern. In einem Trace mit 20 Observations spart es Zeit, die LLM-Aufrufe schnell erkennen zu können.
Kosten, Latenz, Token-Nutzung
Über Eingabe und Ausgabe hinaus gibt es einige Attribute auf Observations, die in jeder LLM-Anwendung grundlegend sind: Kosten, Latenz und Token-Nutzung. Diese werden pro Observation erfasst und auf Trace-Ebene aggregiert.
Traces vs. Sessions
Meistens sieht man die gesamte Lebenszyklusausführung eines Agenten nicht in einem einzigen Trace. Traces können in Sessions gruppiert werden. Aber wo zieht man die Grenze zwischen einem Trace und einer Session?
Eine allgemeine Faustregel ist: Ein Trace entspricht einem Aufruf Ihres Systems, typischerweise einem API-Aufruf oder einer Agentenausführung. Eine Session gruppiert dann mehrere Traces zusammen, zum Beispiel alle Runden in einer mehrrundigen Konversation.
Wo man anfängt
Wenn Sie gerade erst anfangen, konzentrieren Sie sich darauf, einen echten Workflow von Anfang bis Ende zu instrumentieren, bevor Sie versuchen, jeden möglichen Pfad abzudecken.
- Richten Sie Tracing für einen wichtigen Anfragepfad in Ihrer Anwendung ein.
- Stellen Sie sicher, dass jede Observation nützliche Eingabe, Ausgabe und Metadaten für den Schritt erfasst, den sie repräsentiert.
- Überprüfen Sie manuell eine Handvoll echter Traces, um zu bestätigen, dass die Struktur leicht verständlich und für das Debugging nützlich ist.
Was als Nächstes kommt
Sobald Sie Traces sehen, können Sie zum nächsten Schritt übergehen: Monitoring. Monitoring verbindet Traces mit dem Loop der Verbesserung und Iteration Ihres Agenten.
