Esta es una pieza de una serie que estamos publicando como parte de Langfuse Academy, donde recorremos todo el ciclo de vida de la ingeniería de IA. Si eres nuevo en la serie, The AI Engineering Loop es el mejor lugar para empezar.
Un breve resumen del AI Engineering Loop
El AI Engineering Loop es la forma en que los equipos mejoran continuamente los sistemas de IA. Conecta lo que sucede en producción (trazado, monitoreo) con la iteración estructurada durante el desarrollo (conjuntos de datos, experimentos, evaluación). Cada mejora implementada genera nuevos datos, y los equipos recorren este proceso de forma continua.
Puedes leer más sobre esto aquí.
Cómo encaja el trazado en el ciclo
El software tradicional es en gran medida determinista; las ejecuciones siguen un formato predefinido. En las aplicaciones de LLM no es así. Las ejecuciones de agentes pueden ser desordenadas; estamos lidiando con un comportamiento emergente con entradas y salidas ricas e inesperadas, y un orden de ejecución impredecible. Necesitas algo más para seguir el comportamiento de tu agente: trazados.
El trazado es central en todo el ciclo de mejora. Cada otro paso (revisión, creación de conjuntos de datos, ejecución de experimentos, evaluación) opera sobre los trazados.
Si ya estás familiarizado con los conceptos tradicionales de observabilidad, es posible que parte de lo siguiente te resulte repetitivo. Siéntete libre de hojear o saltar adelante.
La anatomía de un trazado
Un trazado puede ser tan complejo o tan simple como tu aplicación lo requiera, pero todos los trazados comparten la misma estructura básica. Se compone de un conjunto de observaciones que mapean el camino que tomó tu agente.
Una observación es un paso individual en el proceso. Tiene una entrada, una salida, tiempo de inicio/fin y metadatos sobre lo que ocurrió durante ese paso.
Jerarquía
Un trazado tiene una estructura jerárquica de árbol. Anidadas en su interior hay observaciones que pueden contener otras observaciones, formando una estructura padre-hijo que refleja la ejecución real de tu aplicación de IA.
Puedes ver qué ocurrió y en qué orden, y qué pasos formaban parte de qué paso más grande.
Datos de observación
Entrada y salida. Cada observación puede tener una entrada y una salida. La mayoría de las veces tendrá ambas; en algunos casos específicos puede tener solo una de las dos. Es importante para la interpretabilidad que establezcas una entrada y/o salida que tenga sentido para el tipo de acción que ocurre en esa observación.
Tipos de observación. Para facilitar la diferenciación entre operaciones, verás diferentes tipos de observaciones. Cada tipo de observación se utiliza para capturar diferentes tipos de interacciones de un agente.
Los tipos de observación facilitan la lectura de los trazados y el filtrado. En un trazado con 20 observaciones, poder identificar rápidamente las llamadas a LLM ahorra tiempo.
Costo, latencia, uso de tokens
Además de la entrada y la salida, hay algunos atributos en las observaciones que son requisitos básicos en cualquier aplicación de LLM: costo, latencia y uso de tokens. Estos se registran por observación y se agregan a nivel de trazado.
Trazados vs sesiones
La mayoría de las veces no verías la ejecución completa del ciclo de vida de un agente en un solo trazado. Los trazados se pueden agrupar en sesiones. Pero, ¿dónde se traza la línea entre un trazado y una sesión?
Una regla general es: un trazado corresponde a una invocación de tu sistema, típicamente una llamada API o una ejecución de agente. Una sesión agrupa múltiples trazados, por ejemplo, todas las interacciones en una conversación de múltiples turnos.
Por dónde empezar
Si estás comenzando, concéntrate en instrumentar un flujo de trabajo real de principio a fin antes de intentar cubrir todas las rutas posibles.
- Configura el trazado para una ruta de solicitud importante en tu aplicación.
- Asegúrate de que cada observación capture una entrada, salida y metadatos útiles para el paso que representa.
- Revisa manualmente algunos trazados reales para confirmar que la estructura sea fácil de seguir y útil para la depuración.
Qué viene después
Una vez que veas los trazados, puedes pasar al siguiente paso: monitoreo. El monitoreo es lo que conecta los trazados con el ciclo de mejora e iteración de tu agente.
