Questo è un pezzo di una serie che stiamo pubblicando come parte della Langfuse Academy, in cui esploriamo l'intero ciclo di vita dell'ingegneria AI. Se sei nuovo alla serie, The AI Engineering Loop è il posto migliore per iniziare.
Un breve riepilogo dell'AI Engineering Loop
L'AI Engineering Loop è il modo in cui i team migliorano continuamente i sistemi AI. Collega ciò che accade in produzione (tracing, monitoraggio) all'iterazione strutturata durante lo sviluppo (dataset, esperimenti, valutazione). Ogni miglioramento rilasciato produce nuovi dati e i team ripetono questo processo continuamente.
Puoi leggere di più su questo qui.
Come il tracing si inserisce nel loop
Il software tradizionale è in gran parte deterministico, le esecuzioni seguono un formato predefinito. Per le applicazioni LLM non è così. Le esecuzioni degli agenti possono essere disordinate, abbiamo a che fare con comportamenti emergenti con input e output ricchi e imprevisti, e ordine di esecuzione. Hai bisogno di qualcos'altro per seguire il comportamento del tuo agente: traces.
Il tracing è centrale per l'intero ciclo di miglioramento. Ogni altro passaggio (revisione, creazione di dataset, esecuzione di esperimenti, valutazione) opera sui traces.
Se hai già familiarità con i concetti tradizionali di osservabilità, parte di ciò che segue potrebbe sembrare ripetitivo. Sentiti libero di scorrere o saltare avanti.
L'anatomia di un trace
Un trace può essere complesso o semplice quanto richiede la tua applicazione, ma tutti i traces condividono la stessa struttura di base. È composto da un insieme di observations che mappano il percorso seguito dal tuo agente.
Un'observation è un singolo passo nel processo. Ha un input, un output, un tempo di inizio/fine e metadati su ciò che è accaduto durante quel passo.
Gerarchia
Un trace ha una struttura ad albero gerarchica. All'interno sono annidate observations che possono contenere altre observations, formando una struttura genitore-figlio che rispecchia l'esecuzione effettiva della tua applicazione AI.
Puoi vedere cosa è successo in quale ordine e quali passi facevano parte di quale passo più grande.
Dati delle observation
Input e output. Ogni observation può avere un input e un output. La maggior parte delle volte li avrà entrambi; in alcuni casi specifici potrebbe averne solo uno dei due. È importante per l'interpretabilità impostare un input e/o output che abbia senso per il tipo di azione che si verifica in quell'observation.
Tipi di observation. Per rendere facile differenziare le operazioni, vedrai diversi tipi di observations. Ogni tipo di observation è usato per catturare diversi tipi di interazioni di un agente.
I tipi di observation rendono più facile leggere i traces e filtrare. In un trace con 20 observations, essere in grado di individuare rapidamente le chiamate LLM fa risparmiare tempo.
Costo, latenza, utilizzo dei token
Oltre a input e output, ci sono alcuni attributi sulle observations che sono fondamentali in qualsiasi applicazione LLM: costo, latenza e utilizzo dei token. Questi vengono registrati per observation e aggregati a livello di trace.
Traces vs sessioni
La maggior parte delle volte non vedresti l'intera esecuzione del ciclo di vita di un agente in un singolo trace. I traces possono essere raggruppati in sessions. Ma dove tracci il confine tra un trace e una sessione?
Una regola generale è: un trace corrisponde a una invocazione del tuo sistema, tipicamente una chiamata API o una esecuzione di agente. Una sessione raggruppa quindi più traces insieme, ad esempio tutti i turni in una conversazione multi-turno.
Da dove iniziare
Se stai appena iniziando, concentrati sull'instrumentare un flusso di lavoro reale dall'inizio alla fine prima di cercare di coprire ogni possibile percorso.
- Configura il tracing per un percorso di richiesta importante nella tua applicazione.
- Assicurati che ogni observation catturi input, output e metadati utili per il passo che rappresenta.
- Rivedi manualmente una manciata di traces reali per confermare che la struttura sia facile da seguire e utile per il debugging.
Cosa viene dopo
Una volta che vedi i traces, puoi passare al passo successivo: monitoring. Il monitoring è ciò che collega i traces al ciclo di miglioramento e iterazione del tuo agente.
