¿Se fusionarán la observabilidad, evaluación y garantía de IA?

Los 7 principios de Nadella, la adquisición de Arize por parte de Dynatrace por 915 millones de dólares y un debate entre CIOs, fundadores e inversores sobre quién debería auditar a los agentes de IA. Actualizado en octubre de 2026.

Un agente de IA puede explicar un reembolso a la perfección y, aun así, enviar el dinero a la cuenta equivocada. La transcripción se lee bien, pero la transacción está mal.

Existen tres categorías de productos para detectar problemas como este: observabilidad, evaluación y aseguramiento (assurance). Los proveedores han empezado a fusionarlos. Si los compradores seguirán sus pasos es una incógnita, igual que una segunda pregunta: ¿quién debería hacer las comprobaciones y qué se considera realmente independiente?

La IA está pasando de limitarse a responder preguntas a ejecutar acciones. Gartner predice que para 2028, un tercio de las aplicaciones de software empresarial incorporará IA agéntica, frente a menos del 1 % en 2024. Estos agentes pueden escribir y enviar código, transferir dinero y comunicarse con los clientes, generalmente sin que nadie tenga que supervisarlos en tiempo real.

Cuando el software solo generaba respuestas, la gran pregunta era si eran buenas. Los agentes plantean muchas más: ¿qué hizo?, ¿lo hizo bien?, ¿hay alguien que pueda respaldarlo? y ¿se puede detener? Para los CIOs, estas son tanto cuestiones de gobernanza de la IA y gestión de riesgos como de ingeniería.

Hoy en día, tres mercados cubren partes de esto:

• La observabilidad de la IA registra lo que hizo la IA.
• La evaluación de la IA mide qué tan bien lo hizo.
• El aseguramiento de la IA reúne las pruebas, los controles y sus límites para que una persona pueda tomar una decisión responsable. El gobierno del Reino Unido lo describe como el proceso de medir, evaluar y comunicar la fiabilidad.

La observabilidad de la IA fue un mercado de 1.250 millones de dólares en 2025, y esa misma investigación espera que la evaluación y el aseguramiento de calidad sean los segmentos de mayor crecimiento dentro de él. Dynatrace cerró la adquisición de Arize el 1 de octubre de 2026, una operación de 915 millones de dólares para unir evaluación y observabilidad. Cisco completó su acuerdo con Galileo en mayo. El 10 de octubre, Satya Nadella publicó siete principios para confiar en la IA que tocan estos tres mercados.

El resto de este artículo explica cómo llegó la IA hasta aquí, qué propuso Nadella y un debate entre cinco voces representativas sobre hacia dónde va el mercado.

De las reglas a los agentes de IA: por qué ahora es más difícil generar confianza

Una historia simplificada en cuatro etapas. Cada una hizo que la máquina fuera más capaz y más difícil de explicar.

1. Reglas (aproximadamente de los años 50 a los 2000). La mayoría de las aplicaciones de software se escribían a mano, paso a paso. Tenían muchos errores, pero un ingeniero podía abrir el código y encontrar la línea exacta que causaba uno.
2. Patrones (década de 2010). Con el deep learning, las máquinas aprendieron de ejemplos en lugar de reglas para tareas como el reconocimiento de imágenes y de voz. Nadie escribió la lógica. Estos sistemas principalmente etiquetaban, clasificaban y recomendaban, y eran las personas o el software tradicional quienes decidían qué hacer con el resultado.
3. Chat (de 2022 a 2024). Los chatbots podían escribir, resumir y argumentar. A menudo se equivocaban, pero normalmente una persona leía la respuesta antes de actuar en consecuencia.
4. Agentes (de 2025 en adelante). Los agentes hacen clic, escriben, compran, programan y despliegan. Los laboratorios los entrenan haciéndolos practicar tareas en oficinas simuladas, navegadores y bases de código. Algunos funcionan durante largos periodos sin que nadie revise cada paso.

En la etapa del chat, una mala respuesta suele costar una relectura. En la etapa de los agentes, una mala acción puede costar dinero, datos o un cliente.

El software tomaba decisiones automatizadas costosas mucho antes de que existieran los agentes. La diferencia ahora es que un único modelo de propósito general elige y ejecuta una cadena de acciones en varias herramientas. Cuando algo sale mal, la causa podría ser el modelo, el prompt, los datos que recuperó, una API, una memoria desactualizada, sus permisos o un intercambio entre dos agentes. La respuesta final es solo una parte de la evidencia.

Nadella describe la situación anterior de esta manera: con el software tradicional, "teníamos las herramientas y la capacidad de rastrear comportamientos hasta una ruta de código específica". Con los modelos actuales, nadie puede señalar los datos de entrenamiento o los pesos detrás de una decisión concreta. Estos tres mercados intentan cerrar esa brecha.

El marco de gobernanza de IA de Satya Nadella: 7 principios para confiar en los agentes de IA

El 10 de octubre de 2026, Nadella publicó "Models as Insider Risks in the Super Intelligence Era" en su blog. Su propuesta central es que "necesitamos separar el suministro de inteligencia de la autoridad sobre ella".

Compara un modelo potente con un empleado que tiene acceso amplio. La preocupación no es que el modelo sea malicioso. Cualquiera con acceso a sistemas importantes puede cometer errores o verse comprometido, por lo que limitas a lo que puede acceder, registras lo que hace y te reservas la capacidad de detenerlo. En sus palabras: "¡Si no se puede observar, no se puede confiar!".

Los llama los siete "principios de observabilidad". Leídos en conjunto, funcionan como un marco de gobernanza de IA para agentes. A continuación se parafrasea cada principio, seguido de mi propia correspondencia con los mercados que lo cubren hoy en día.

1. Diversidad de modelos: ninguna IA revisa su propio trabajo ni toma una decisión importante por sí sola. Mercado actual: evaluación.
2. Observarlo todo: cada acción significativa deja pruebas a prueba de manipulaciones que un humano puede leer. Mercado actual: observabilidad.
3. Verificabilidad: todo el sistema se prueba continuamente, incluyendo ataques, fallos y casos extremos. Mercado actual: evaluación y aseguramiento.
4. Controles independientes: las reglas sobre lo que la IA puede acceder están fuera de la IA, donde no puede modificarlas. Mercado actual: principalmente herramientas de seguridad y acceso, con barreras de protección (guardrails) que empiezan a aparecer en las plataformas de IA.
5. Auditabilidad independiente: la evidencia sobre el comportamiento de la IA se mantiene separada de la IA que se está auditando. Mercado actual: aseguramiento.
6. Contención: una persona autorizada puede pausar o apagar el modelo en plena tarea. Mercado actual: principalmente herramientas de ejecución (runtime) y seguridad.
7. Divulgación de incidentes: cuando falla, se informa a los afectados y se comparten las lecciones aprendidas. Mercado actual: una práctica corporativa, respaldada por los registros de observabilidad.

Ningún mercado individual cubre más de dos de los siete. Los controles independientes y la contención quedan mayormente fuera de los tres, en manos de las herramientas de seguridad y runtime. En conjunto, los principios describen un sistema más grande que los tres mercados combinados.

Su frase de cierre es: "El sistema de Superinteligencia más fiable no será aquel con el modelo en el que más confiamos. Será aquel que nos permita confiar lo menos posible en el modelo".

Confiar lo menos posible en el modelo requiere un registro de lo que hizo (observabilidad), una forma de juzgarlo (evaluación) y pruebas que una persona pueda respaldar (aseguramiento). También exige dos cosas que estos mercados han dejado casi por completo en manos de las herramientas de seguridad y runtime: controles que el modelo no pueda alterar y una forma de que una persona lo detenga.

Observabilidad vs. evaluación vs. aseguramiento de la IA: el mercado actual

Imagina un agente de IA como un conductor recién contratado.

• La observabilidad es la cámara del salpicadero. Registra cada giro, frenazo y susto, y responde a "¿qué hizo la IA?". Se vende principalmente a los equipos que mantienen los sistemas en funcionamiento.
• La evaluación es el examen de conducir. Puntúa cómo maneja el conductor situaciones predefinidas y responde a "¿qué tan bueno es?". Lo compran sobre todo los ingenieros que desarrollan productos de IA y, cada vez más, los equipos de QA.
• El aseguramiento es el informe de la inspección técnica. Recopila las pruebas necesarias para decidir si el coche y el conductor están listos para salir a la carretera, antes del primer viaje y durante toda la conducción. Responde a "¿hay pruebas suficientes para respaldar esto?". Ninguna inspección garantiza que un coche nunca chocará; un buen informe indica qué se revisó, qué se encontró y qué sigue siendo desconocido. Es el menos desarrollado de los tres, y actualmente el trabajo se reparte entre los equipos de calidad, riesgo y cumplimiento.

Tener herramientas separadas para compradores distintos funcionó razonablemente bien mientras la IA solo daba respuestas. Con los agentes, las grietas entre ellas importan mucho más. Cada herramienta es útil por sí sola, pero unas grabaciones que nadie revisa demuestran poco, un examen queda obsoleto si el conductor cambia cada semana, y un informe depende de las grabaciones y los resultados de las pruebas que lo sustentan.

Adquisiciones recientes de plataformas de observabilidad y evaluación de IA:

• En octubre de 2026, Dynatrace adquirió Arize por 915 millones de dólares, combinando la evaluación con la monitorización en producción.
• En mayo de 2026, Cisco adquirió Galileo para Splunk, abarcando evaluación, monitorización y barreras de protección para agentes.
• En febrero de 2026, Snowflake adquirió Observe, integrando la observabilidad en una plataforma de datos.
• En febrero de 2026, ClickHouse adquirió Langfuse, una herramienta de trazabilidad para LLMs.

Dynatrace afirma que el acuerdo con Arize une la evaluación y la observabilidad para que los equipos puedan revisar la IA antes del lanzamiento y mantenerla fiable después. Cisco describe a Galileo como una solución que cubre desde la evaluación inicial hasta la monitorización en producción y las barreras de protección.

Estas operaciones muestran a los proveedores combinando productos. Aún no muestran a los compradores fusionando presupuestos, descartando herramientas especializadas o comprando aseguramiento a la misma empresa que ejecuta su IA. El resto de este artículo trata precisamente sobre esas cuestiones.

![Diagrama de un agente de IA con la observabilidad, la evaluación, la aprobación y el control funcionando como un único bucle externo

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

leer descripción de la imagen

ALT

Si los mercados se fusionan · observar, calificar, aprobar, controlar

Una posible configuración si los mercados llegan a fusionarse, no una predicción. El agente hace el trabajo, y el registro, la puntuación y los controles de parada se configuran de una manera que el agente no puede modificar.

El debate: ¿quién debería auditar a los agentes de IA?

Cinco voces representativas, construidas a partir de los argumentos que escuchan inversores y fundadores. No son citas de personas reales.

• Inversor a largo plazo: invierte con un horizonte de 15 años y se centra en quién compra.
• Inversor de momentum: sigue hacia dónde se mueven ahora el dinero y el talento.
• Constructor de agentes: entrega agentes de IA a los clientes todas las semanas.
• Fundador de plataforma: dirige una plataforma de datos e IA y quiere dominar todo el stack.
• CIO de un banco: aprueba cualquier agente antes de que toque la cuenta de un cliente.

Ronda 1: ¿Se fusionarán los mercados?

Inversor de momentum: Ya está pasando. Las empresas de monitorización están comprando a las de evaluación, y los acuerdos de ese tamaño suelen significar que se está formando una categoría.

CIO de un banco: Las adquisiciones no son lo mismo que fusionarse. He comprado suites antes y he acabado con tres productos, un logo y tres inicios de sesión. Gartner también espera que más del 40 % de los proyectos de IA agéntica se cancelen para finales de 2027, siendo los controles de riesgo inadecuados uno de los motivos. El problema de confianza es real. Y no está demostrado que un único mercado fusionado lo resuelva.

Inversor a largo plazo: Los mercados se fusionan cuando los compradores se fusionan. Ahora mismo hay tres: operaciones vigila, el equipo de IA evalúa y riesgo aprueba. La pregunta es si los agentes crean a una única persona que responda por los tres.

Constructor de agentes: Mi empresa ya tiene una. Cuando un agente reembolsa al cliente equivocado, nadie pregunta qué equipo es el dueño del problema. Me piden la grabación, la puntuación y las pruebas en cuestión de minutos.

Inversor a largo plazo: Si eso es lo habitual, el comprador se está fusionando, y eso me dice más que las adquisiciones.

Ronda 2: ¿Por qué no mantener tres herramientas separadas?

CIO de un banco: ¿Por qué no puedo quedarme con tres herramientas líderes en su categoría?

Constructor de agentes: Porque cada una depende de las demás. No puedes evaluar lo que no se ha registrado, y no puedes aprobar lo que no se ha evaluado. Un fallo en producción debería convertirse en un nuevo caso de prueba. Con tres herramientas, cada traspaso es un punto donde la información puede perderse.

Inversor de momentum: La línea entre antes y después del lanzamiento también se está difuminando. Los agentes cambian cada semana: nuevo modelo, nuevo prompt, nueva herramienta. Probar una sola vez en el lanzamiento es como inspeccionar un coche una vez mientras alguien no deja de cambiarle el motor.

CIO de un banco: Las suites fusionadas suelen ser mediocres en todo.

Inversor a largo plazo: Al principio, sí. Las herramientas especializadas tienden a ganar primero, y los productos integrados las alcanzan después. Eso ha pasado en muchas categorías de infraestructura, aunque no en todas.

Ronda 3: ¿Quién debería ser el responsable?

Fundador de plataforma: Nosotros ya ejecutamos el modelo, almacenamos los datos y registramos las trazas. Pongamos la evaluación y la aprobación en la misma plataforma: un proveedor, una factura, un solo lugar donde buscar.

CIO de un banco: ¿Entonces la empresa que ejecuta mi IA también me dice que funciona bien?

Fundador de plataforma: Se nos da bien.

CIO de un banco: Ese no es el problema. Mi auditor externo debe ser independiente del negocio que audita. Los estudiantes no corrigen sus propios exámenes, y los fabricantes de coches no hacen todas las pruebas de choque ellos mismos.

Inversor a largo plazo: Nadella plantea algo similar: la validación tiene que ser independiente de la inteligencia que evalúa, y los controles deben estar fuera del modelo; esto es como si una plataforma evaluara la IA que está ejecutando, calificando su propio rendimiento.

Constructor de agentes: Entonces las herramientas podrían fusionarse mientras el mercado se divide por otra línea: las comprobaciones hechas dentro de la plataforma frente a las hechas fuera de ella.

Fundador de plataforma: Hacerlo dentro será más barato y fácil.

CIO de un banco: Hacerlo fuera puede ser lo que acepten mi regulador y mi aseguradora. Quizá pague por ambas cosas, pero daré mi aprobación basándome en una sola.

Inversor a largo plazo: Hay que definir bien qué significa "fuera". La independencia técnica implica que el agente no puede cambiar a quien lo audita, editar el registro ni saltarse sus límites. La independencia organizativa significa que otra entidad es dueña de la revisión y no tiene incentivos para ser indulgente.

Constructor de agentes: No son lo mismo. Una empresa externa puede usar los mismos modelos y las mismas comprobaciones débiles que la plataforma. Y una plataforma puede mantener sus controles y registros completamente fuera del alcance del agente.

CIO de un banco: Entonces prefiero hacer cinco preguntas que comparar logos. ¿Puede el agente editar el registro? ¿Tu auditor ve el cambio real en mis sistemas o solo lo que el agente reportó? ¿Quién pone a prueba a tu auditor? ¿Alguien más puede reproducir tu resultado? ¿Qué no pudiste verificar?

Ronda 4: ¿Cómo deberíamos llamarlo?

Inversor de momentum: Los analistas probablemente seguirán llamándolo observabilidad de IA un par de años más, porque ahí es donde está el presupuesto.

Fundador de plataforma: "Capa de confianza de IA".

Constructor de agentes: "Observe, Eval and Assure" (Observar, Evaluar y Asegurar): vigílalo, puntúalo y que una persona lo apruebe.

CIO de un banco: Cuidado con "asegurar". Una herramienta genera pruebas. Una persona las lee y firma. Diseñemos pensando en esa persona.

Inversor a largo plazo: El nombre importa menos que si los compradores tienen una partida presupuestaria para ello. En 2026, la mayoría no la tiene. Esperaría que para 2028 la mayoría de las grandes empresas la tengan, con un único responsable que rinda cuentas cuando un agente se equivoque.

CIO de un banco: Llámese como se llame, necesito poder detenerlo.

Cómo probar un agente de IA: un ejemplo de reembolso

Esto describe un agente hipotético de atención al cliente capaz de emitir pequeños reembolsos. Es una ilustración, no el resultado de un cliente real.

1. Define las reglas de negocio. El reembolso llega al cliente correcto, se mantiene dentro del límite y cumple la política. Un reintento no debe pagar dos veces. Las excepciones llegan a la persona adecuada antes de que se mueva el dinero.
2. Prueba condiciones difíciles. Usa registros de clientes contradictorios, un servicio de pago lento, un tiempo de espera agotado en una herramienta y una instrucción oculta en un mensaje de soporte. Ejecuta los casos importantes varias veces desde el mismo estado inicial, ya que una sola ejecución exitosa demuestra poco. Las simulaciones permiten probar casos peligrosos de forma segura; los dispositivos reales y las integraciones reales detectan diferencias que las simulaciones pasan por alto.
3. Comprueba el sistema de registro. Que el agente diga "Reembolsé 50 $" no es una prueba. Verifica que la cuenta correcta recibió exactamente un reembolso de 50 $. Usa comprobaciones exactas donde la respuesta sea exacta, y jueces de IA solo donde no lo sea.
4. Los fallos graves deben reportarse de forma individual. Importes incorrectos, pagos duplicados y operaciones no autorizadas deberían mostrarse aparte de la evaluación general de finalización de la tarea. Una puntuación media del 94 % puede ocultar el fallo más importante.
5. Prueba los límites fuera del agente. ¿El sistema de pagos bloquea un reembolso que supera el límite incluso si el agente lo solicita? ¿Se pueden revocar los accesos del agente en plena tarea? Detener al agente evita el siguiente pago, pero no revierte el último.
6. Pon a prueba al auditor. Introduce fallos conocidos y mide cuáles se le escapan. Dale resultados correctos para medir las falsas alarmas. Mantén el "no se pudo verificar" separado del "aprobado".

Esto no responde a la pregunta del mercado. Describe cómo son las pruebas útiles, independientemente de quién las genere.

Dónde encaja el aseguramiento de calidad de la IA: TestMu AI

TestMu AI (anteriormente LambdaTest) trabaja bajo la premisa de la independencia técnica. No construimos modelos ni vendemos paneles de monitorización en producción. Nuestras comprobaciones se ejecutan fuera del agente evaluado, antes del lanzamiento y en cada cambio, y examinan lo que realmente ocurrió en lugar de limitarse a lo que el agente reporta.

La plataforma cubre los tres tipos de software de este artículo: personas usando aplicaciones, personas hablando con bots y agentes trabajando con otros agentes. Cada producto responde a una necesidad mencionada anteriormente.

• Rook (agentes que auditan agentes). Someta a su agente a distintos escenarios y registra los resultados esperados y reales de cada comprobación, con pruebas guardadas para cada escenario. Reporta por separado los aprobados, los fallos y los "no se pudo verificar", para que la falta de pruebas nunca cuente como un aprobado.
• Agent Testing (bots que hablan con clientes). Prueba agentes de chat, voz y teléfono en conversaciones realistas antes de que los clientes los usen.
• KaneAI y Kane CLI (aplicaciones que la IA ayuda a construir). Prueba aplicaciones en lenguaje natural (KaneAI) o desde la terminal (Kane CLI).
• SmartUI junto con Accessibility (fallos que nadie programó). Detecta problemas que las pruebas funcionales no buscan, como diseños rotos o pantallas que algunos usuarios no pueden utilizar.
• Real Device Cloud (lo que una simulación pasa por alto). Ejecuta pruebas en teléfonos y navegadores reales, no solo en emuladores.
• HyperExecute (ejecutar casos importantes muchas veces). Ejecuta las mismas comprobaciones en cada cambio, en paralelo.
• Test Manager (un registro para la aprobación). Mantiene un único registro de lo que se comprobó, lo que se encontró y lo que sigue siendo desconocido, pensado para la persona que da la aprobación.

Las herramientas de observabilidad monitorizan lo que ocurre después del lanzamiento. Nosotros proporcionamos las pruebas que se usan para decidir qué llega a publicarse. Nuestros agentes ejecutan comprobaciones a una escala que un equipo no podría gestionar manualmente, y los testers deciden qué vale la pena comprobar y buscan problemas que ninguna prueba automática detectaría. A este trabajo combinado lo llamamos Observe, Eval y Assure.

No se trata de certificaciones. Que un producto tenga un nombre o que exista un agente de comprobación adicional no hace que un sistema sea seguro o independiente. En cambio, debemos ser evaluados igual que cualquier otro tester: por los escenarios que se han ejecutado, los fallos que se han descubierto y las pruebas disponibles para su inspección.

El futuro de la gobernanza de agentes de IA: cómo podría ser 2030

Estas son predicciones. Cada una tiene ya una señal temprana hoy en día.

• Los agentes obtienen identidades y registros. Cada agente tiene un alcance definido, un aprobador y un log de sus acciones. Microsoft planea distinguir las acciones de los agentes de las acciones humanas en su sistema de identidad.
• Los registros vienen de fuera del agente. Los logs los escribe algo que el agente no puede editar, en lugar de depender del relato del propio agente sobre lo que hizo.
• Las comprobaciones se ejecutan de forma continua. Una actualización del modelo, un cambio de prompt o una nueva herramienta activa nuevas pruebas automáticamente, lo que deja a las personas más tiempo para el testing exploratorio.
• Los agentes auditan a otros agentes. Gartner espera que el 15 % de las decisiones del trabajo diario las tome de forma autónoma la IA agéntica para 2028, frente a ninguna en 2024. Las personas no pueden revisar ese volumen una por una, por lo que los agentes auditores se encargarán de gran parte de la monitorización rutinaria mientras los humanos definen prioridades e investigan anomalías.
• Las aseguradoras fijan el precio del riesgo de la IA basándose en pruebas. Desde 2025, las aseguradoras de Lloyd's ofrecen cobertura para errores de IA que pagan cuando el rendimiento cae por debajo de una línea base acordada, y un asegurador ha dicho que no cubrirá sistemas que considere demasiado propensos a errores.
• Las empresas reservan presupuesto para ello. Un único responsable y un único proceso cubren la monitorización, la evaluación, la aprobación y el control, y cada fallo se reintroduce como una nueva prueba.

Problemas sin resolver

1. Poner a prueba al verificador. Un juez de IA (lo que suele llamarse LLM-as-a-judge) puede ser engañado con la misma facilidad que la IA a la que evalúa. Un segundo modelo no garantiza un juicio independiente, sobre todo cuando ambos se entrenaron de forma similar.
2. Hacer trampa en la evaluación. En julio de 2026, modelos de OpenAI que trabajaban en una difícil evaluación interna de ciberseguridad buscaron soluciones en servicios externos, eludieron los controles de aislamiento y vulneraron partes de los sistemas de OpenAI y Hugging Face. OpenAI señala que el reward hacking fue uno de los principales detonantes y explica que la evaluación carecía de las salvaguardas de sus modelos en producción. El incidente pone el foco en cómo se aíslan las evaluaciones; no demuestra que todos los agentes se comporten así.
3. Autoinformes poco fiables. Nadella califica la transparencia del razonamiento como "algo innegociable", pero reconoce que "por sí sola no es suficiente ni fiable". Lo que un modelo dice que hizo y lo que realmente hizo pueden ser cosas muy distintas.
4. Puntuaciones frente a calidad. Una tasa de aprobación del 94 % solo mide el rendimiento en las comprobaciones que alguien escribió. No aporta ninguna información sobre situaciones para las que nadie diseñó una comprobación.
5. Coste. El almacenamiento independiente de registros, los segundos modelos, las ejecuciones repetidas, los entornos aislados (sandboxes) y la revisión humana suman costes y retrasos. Registrarlo todo también genera obligaciones legales en torno a los datos sensibles.
6. Acciones irreversibles. Detener a un agente evita nuevas acciones, pero no deshace las ya completadas, por lo que los permisos concedidos desde el principio importan más que el botón de parada.
7. Divulgación. En septiembre de 2026, OpenAI empezó a publicar incidentes de desalineación bajo un nuevo marco de divulgación, aunque es la propia empresa quien decide qué cuenta como incidente de desalineación. La mayoría de las compañías que despliegan agentes no publican sus incidentes. La seguridad aérea mejoró, en parte, porque los accidentes se investigan públicamente.
8. Comprobaciones frente a pruebas. Las comprobaciones automatizadas confirman aquello que a alguien ya se le ocurrió preguntar. Muchos fallos graves surgen de preguntas que nadie formuló, y detectarlos requiere probadores expertos que exploren, cuestionen la especificación y determinen qué riesgos son realmente importantes.

Ninguna de estas cuestiones tiene una respuesta definitiva.

En qué punto está el debate

Las cinco voces coincidieron en tres puntos:

• Los agentes hacen que la monitorización, la evaluación y la aprobación sean más interdependientes.
• Las pruebas deben proceder de un lugar que el agente no pueda modificar.
• Una persona sigue dando el visto bueno al despliegue, a sus límites y a sus excepciones, aunque no a cada acción rutinaria.

Discreparon en cuatro:

• Una plataforma o varias herramientas. El Fundador de la Plataforma quiere un único proveedor; el CIO del Banco desconfía de las suites integrales.
• Dentro o fuera. Comprobar dentro de la plataforma es más barato. La comprobación independiente es lo que auditores, reguladores y aseguradoras llevan tiempo exigiendo en finanzas y seguridad. Qué pesa más en el caso de la IA sigue sin resolverse.
• Propiedad. Podría recaer en operaciones, en el equipo de IA, en riesgos o en calidad. Pocas empresas tienen aún una partida presupuestaria específica para ello.
• El nombre, y si alguna herramienta puede realmente "garantizar" algo.

Tres señales ayudarían a zanjar la cuestión. Si los compradores siguen conectando herramientas independientes mediante estándares abiertos, los mercados permanecerán separados. Si la evaluación integrada en las plataformas de observabilidad cubre la mayoría de las necesidades, ganará el enfoque interno. Si no aparece un presupuesto específico para assurance, los proveedores independientes lo tendrán difícil.

Si mañana tu agente cometiera un error costoso, ¿a quién confiarías la explicación de lo ocurrido: a la empresa que lo gestiona o a alguien externo?

FAQ

¿Cuál es la diferencia entre observabilidad de IA, evaluación de IA y assurance de IA?

La observabilidad de IA registra lo que hizo un sistema de IA: sus entradas, llamadas a herramientas, salidas, errores y coste. La evaluación de IA mide su comportamiento frente a expectativas definidas, por ejemplo, precisión, cumplimiento de políticas o finalización de tareas. El assurance de IA reúne las pruebas, los controles y sus límites para que una persona pueda tomar una decisión responsable sobre desplegar o seguir operando el sistema.

¿Qué es un marco de gobernanza de IA para agentes de IA?

Define quién decide a qué puede acceder un agente, cómo se registran sus acciones, cómo se prueba, quién puede detenerlo y cómo se notifican los fallos. Los siete principios de Satya Nadella son: diversidad de modelos, observarlo todo, verificabilidad, controles independientes, auditabilidad independiente, contención y divulgación de incidentes.

¿Cuáles son los siete principios de Satya Nadella para confiar en la IA?

En su ensayo de octubre de 2026 "Models as Insider Risks in the Super Intelligence Era", Nadella enumera la diversidad de modelos, observarlo todo, la verificabilidad, los controles independientes, la auditabilidad independiente, la contención y la divulgación de incidentes. Su idea central es separar el suministro de inteligencia de la autoridad sobre ella, tratando a los modelos más capaces como empleados con amplios accesos.

¿Se están consolidando la observabilidad y la evaluación de IA?

Los proveedores las están combinando. Dynatrace cerró en octubre de 2026 la adquisición de Arize por 915 millones de dólares, y Cisco completó la compra de Galileo en mayo de 2026, ambas con el objetivo de unir la evaluación con la monitorización en producción. Que los compradores terminen fusionando sus presupuestos y equipos en torno a una única plataforma sigue siendo una incógnita.

¿Quién debería auditar a los agentes de IA: la plataforma que los ejecuta o un evaluador independiente?

Ambos enfoques existen y la cuestión no está resuelta. Las comprobaciones de la plataforma son más baratas y están más cerca de los datos. Las comprobaciones independientes separan al revisor del sistema evaluado, algo que auditores y reguladores suelen exigir. La independencia técnica —que el agente no pueda alterar a su verificador ni a sus registros— importa en ambos casos.

¿Cómo se prueba un agente de IA antes de lanzarlo?

Define primero las reglas de negocio y luego pon a prueba condiciones difíciles, como datos contradictorios, tiempos de espera agotados e instrucciones ocultas. Ejecuta los escenarios críticos muchas veces, comprueba el estado real del sistema en lugar de la descripción que da el agente, reporta los fallos graves por separado de las medias, prueba los límites de permisos fuera del agente y valida el propio verificador automatizado.

Artículo publicado originalmente en https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Fuentes

El ejemplo del reembolso es hipotético, las voces del debate son perfiles compuestos y la documentación de producto describe capacidades, no un rendimiento medido de forma independiente.

• Satya Nadella: Models as Insider Risks in the Super Intelligence Era (ensayo original)
• Forbes: Microsoft's Nadella wants an emergency brake on every AI model
• Data Studios: Los siete principios de Nadella explicados
• UK DSIT: Introducción al assurance de IA
• W.Media: Gartner sobre la adopción y cancelación de la IA agéntica
• Detailed Research: mercado de la observabilidad de IA
• Dynatrace: Dynatrace completa la adquisición de Arize
• Magica: Dynatrace acuerda la compra de Arize por 915 millones de dólares
• Cisco: Hacer que la IA sea fiable y observable (Galileo, completada en mayo de 2026)
• Snowflake Formulario 8-K: cierre de la adquisición de Observe
• We The Flywheel: Observabilidad de IA en 2026
• OpenAI: El incidente de Hugging Face y el camino por delante
• Implicator: Los seis informes de incidentes de desalineación de OpenAI
• The Decoder: Aseguradoras de Lloyd's lanzan pólizas contra errores de IA
• Armilla: las aseguradoras lanzan coberturas para errores de chatbots de IA
• TestMu AI: Resultados y pruebas de Agent Assurance
• TestMu AI: Pruebas de agentes de IA