Introduction au traçage pour les applications LLM

Ceci fait partie d'une série que nous publions dans le cadre de la Langfuse Academy, où nous parcourons l'ensemble du cycle de vie de l'ingénierie IA. Si vous débutez dans la série, La boucle d'ingénierie IA est le meilleur point de départ.

Un bref récapitulatif de la boucle d'ingénierie IA

La boucle d'ingénierie IA est la façon dont les équipes améliorent continuellement les systèmes d'IA. Elle relie ce qui se passe en production (traçage, surveillance) à une itération structurée pendant le développement (jeux de données, expériences, évaluation). Chaque amélioration déployée produit de nouvelles données, et les équipes parcourent ce processus en continu.

Vous pouvez en lire plus ici.

Comment le traçage s'intègre dans la boucle

Les logiciels traditionnels sont largement déterministes, les exécutions suivent un format prédéfini. Ce n'est pas le cas pour les applications LLM. Les exécutions d'agents peuvent être désordonnées, nous avons affaire à un comportement émergent avec des entrées et sorties riches et inattendues, ainsi qu'un ordre d'exécution. Vous avez besoin d'autre chose pour suivre le comportement de votre agent : les traces.

Le traçage est central dans toute la boucle d'amélioration. Chaque autre étape (révision, construction de jeux de données, exécution d'expériences, évaluation) opère sur les traces.

Si vous êtes déjà familier avec les concepts d'observabilité traditionnels, une partie de ce qui suit peut sembler répétitif. N'hésitez pas à parcourir ou à passer directement à la suite.

L'anatomie d'une trace

Une trace peut être aussi complexe ou aussi simple que votre application le nécessite, mais toutes les traces partagent la même structure de base. Elle est composée d'un ensemble d'observations qui cartographient le chemin emprunté par votre agent.

Une observation est une étape unique du processus. Elle a une entrée, une sortie, un temps de début/fin, et des métadonnées sur ce qui s'est passé pendant cette étape.

Hiérarchie

Une trace a une structure arborescente hiérarchique. À l'intérieur se trouvent des observations qui peuvent contenir d'autres observations, formant une structure parent-enfant qui reflète l'exécution réelle de votre application d'IA.

Vous pouvez voir ce qui s'est passé dans quel ordre, et quelles étapes faisaient partie de quelle étape plus large.

Données d'observation

Entrée et sortie. Chaque observation peut avoir une entrée et une sortie. La plupart du temps, elle aura les deux ; dans certains cas spécifiques, elle peut n'avoir qu'un des deux. Il est important pour l'interprétabilité de définir une entrée et/ou une sortie qui a du sens pour le type d'action se déroulant dans cette observation.

Types d'observations. Afin de faciliter la différenciation entre les opérations, vous verrez différents types d'observations. Chaque type d'observation est utilisé pour capturer différents types d'interactions d'un agent.

Les types d'observations facilitent la lecture des traces et le filtrage. Dans une trace avec 20 observations, pouvoir repérer rapidement les appels LLM fait gagner du temps.

Coût, latence, utilisation des tokens

Au-delà de l'entrée et de la sortie, il y a quelques attributs sur les observations qui sont des éléments de base dans toute application LLM : le coût, la latence et l'utilisation des tokens. Ceux-ci sont enregistrés par observation et agrégés au niveau de la trace.

Traces vs sessions

La plupart du temps, vous ne verrez pas l'exécution complète du cycle de vie d'un agent dans une seule trace. Les traces peuvent être regroupées en sessions. Mais où tracer la limite entre une trace et une session ?

Une règle générale est : une trace correspond à une invocation de votre système, généralement un appel API ou une exécution d'agent. Une session regroupe ensuite plusieurs traces, par exemple tous les tours d'une conversation multi-tours.

Par où commencer

Si vous débutez, concentrez-vous sur l'instrumentation d'un seul flux de travail réel de bout en bout avant d'essayer de couvrir tous les chemins possibles.

1. Mettez en place le traçage pour un chemin de requête important dans votre application.
2. Assurez-vous que chaque observation capture une entrée, une sortie et des métadonnées utiles pour l'étape qu'elle représente.
3. Examinez manuellement quelques traces réelles pour confirmer que la structure est facile à suivre et utile pour le débogage.

La suite

Une fois que vous voyez des traces, vous pouvez passer à l'étape suivante : la surveillance. La surveillance est ce qui relie les traces à la boucle d'amélioration et d'itération de votre agent.