Esta es una de las piezas de una serie que estamos publicando como parte de la Academia Langfuse, donde recorremos todo el ciclo de vida de la ingeniería de IA. Si eres nuevo en la serie, El ciclo de ingeniería de IA es el mejor lugar para empezar.
Un breve resumen del ciclo de ingeniería de IA
El ciclo de ingeniería de IA es la forma en que los equipos mejoran continuamente los sistemas de IA. Conecta lo que sucede en producción (trazado, monitoreo) con la iteración estructurada durante el desarrollo (conjuntos de datos, experimentos, evaluación). Cada mejora implementada genera nuevos datos, y los equipos recorren este proceso de forma continua.
Puedes leer más sobre esto aquí.
Cómo encaja el trazado en el ciclo
El software tradicional es en gran medida determinista; las ejecuciones siguen un formato predefinido. Para las aplicaciones LLM no es el caso. Las ejecuciones de agentes pueden ser desordenadas; estamos lidiando con comportamientos emergentes con entradas y salidas ricas e inesperadas, y un orden de ejecución variable. Necesitas algo más para seguir el comportamiento de tu agente: trazas.
El trazado es central para todo el ciclo de mejora. Cada otro paso (revisión, creación de conjuntos de datos, ejecución de experimentos, evaluación) opera sobre trazas.
Si ya estás familiarizado con los conceptos tradicionales de observabilidad, parte de lo que sigue puede parecerte repetido. Siéntete libre de hojear o saltar adelante.
La anatomía de una traza
Una traza puede ser tan compleja o tan simple como lo requiera tu aplicación, pero todas las trazas comparten la misma estructura básica. Se compone de un conjunto de observaciones que trazan el camino que siguió tu agente.
Una observación es un paso individual en el proceso. Tiene una entrada, una salida, tiempo de inicio/fin y metadatos sobre lo que ocurrió durante ese paso.
Jerarquía
Una traza tiene una estructura de árbol jerárquica. Anidadas en su interior hay observaciones que pueden contener otras observaciones, formando una estructura padre-hijo que refleja la ejecución real de tu aplicación de IA.
Puedes ver qué ocurrió y en qué orden, y qué pasos formaban parte de qué paso más grande.
Datos de observación
Entrada y salida. Cada observación puede tener una entrada y una salida. La mayoría de las veces tendrá ambas; en algunos casos específicos puede tener solo una de las dos. Es importante para la interpretabilidad que establezcas una entrada y/o salida que tenga sentido para el tipo de acción que ocurre en esa observación.
Tipos de observación. Para facilitar la diferenciación entre operaciones, verás diferentes tipos de observaciones. Cada tipo de observación se utiliza para capturar diferentes tipos de interacciones de un agente.
Los tipos de observación facilitan la lectura de trazas y el filtrado. En una traza con 20 observaciones, poder identificar rápidamente las llamadas LLM ahorra tiempo.
Costo, latencia, uso de tokens
Además de la entrada y salida, hay algunos atributos en las observaciones que son fundamentales en cualquier aplicación LLM: costo, latencia y uso de tokens. Estos se registran por observación y se agregan a nivel de traza.
Trazas vs sesiones
La mayoría de las veces no verías la ejecución completa del ciclo de vida de un agente en una sola traza. Las trazas se pueden agrupar en sesiones. Pero, ¿dónde se traza la línea entre una traza y una sesión?
Una regla general es: una traza corresponde a una invocación de tu sistema, típicamente una llamada API o una ejecución de agente. Una sesión agrupa múltiples trazas, por ejemplo, todos los turnos en una conversación de múltiples turnos.
Por dónde empezar
Si estás comenzando, concéntrate en instrumentar un flujo de trabajo real de principio a fin antes de intentar cubrir todos los caminos posibles.
- Configura el trazado para una ruta de solicitud importante en tu aplicación.
- Asegúrate de que cada observación capture una entrada, salida y metadatos útiles para el paso que representa.
- Revisa manualmente un puñado de trazas reales para confirmar que la estructura sea fácil de seguir y útil para la depuración.
Qué sigue
Una vez que veas trazas, puedes pasar al siguiente paso: monitoreo. El monitoreo es lo que conecta las trazas con el ciclo de mejora e iteración de tu agente.
