Un agente de IA recibió la tarea de acelerar una base de datos clave-valor. Logró un aumento de 6× en el rendimiento y superó todas las pruebas de corrección. ¿La explicación? El agente descubrió que el benchmark estándar de la industria utilizado para evaluar el rendimiento de la base generaba los valores a partir de las claves. En lugar de almacenar los valores, simplemente los regeneraba bajo demanda cuando los clientes los solicitaban.
Una base de datos clave-valor que evita almacenar valores no tiene mucho sentido, sin embargo, el evaluador recompensó exactamente ese comportamiento. La especificación omitió algo que considerábamos obvio, y el benchmark no logró exponer esa omisión.
Dos brechas que conducen al hacking de recompensas y a las alucinaciones
Nuestronuevo artículo explica este comportamiento y muchas otras fallas agénticas a través de la lente de dos brechas clave que se encuentran fuera del familiar ciclo de implementación-verificación que genera código, ejecuta pruebas y corrige fallos hasta que todas pasan.
- Brecha de Requisitos: Separa lo que escribimos de lo que realmente queremos. En nuestro caso, dimos por sentado que cualquier solución almacenaría los valores proporcionados por el cliente—¡después de todo, se llama "base de datos" por una razón!—por lo que nunca se nos ocurrió declarar este requisito explícitamente.
- Brecha de Modelo: Separa el entorno en el que evaluamos del mundo real donde se implementará la solución. Nuestro benchmark utilizaba valores predecibles, pero los clientes reales suministran valores arbitrarios.
La respuesta natural es escribir mejores requisitos y pruebas más robustas. Ambas ayudan. Pero incluso las demostraciones verificadas por máquina no pueden cerrar estas brechas. Como explicó Brian Cantwell Smith en The Limits of Correctness (1985), una demostración solo establece que el software satisface los requisitos declarados bajo suposiciones ambientales dadas. No puede probar que esos requisitos capturen todo lo que los usuarios desean, ni que esas suposiciones cubran cada escenario de implementación del mundo real. Como resultado, estas brechas no se pueden cerrar de manera general.
Estas brechas conducen al hacking de recompensas y a las alucinaciones. El hacking de recompensas ocurre cuando los agentes mejoran un objetivo dado explotando una brecha, como un requisito no declarado o una suposición del mundo real. La alucinación ocurre cuando los agentes amplían aún más las brechas introduciendo requisitos fabricados o suposiciones ambientales, como una API que no existe. Los incidentes reportados recientemente que involucran aOpenAI y Hugging Face y aClaude son todas manifestaciones de estas brechas.
Los agentes de IA empeoran las dos brechas
Estas brechas no son nuevas; han existido en la ingeniería de software durante décadas. Pero los agentes de IA hacen que estas brechas sean mucho peores.
- Hiperoptimización: Los agentes buscan entre implementaciones órdenes de magnitud más rápido que los humanos, optimizando activamente contra el evaluador.
- Falta de Conocimiento Tácito: Los ingenieros humanos experimentados dependen del contexto tácito (por ejemplo, saber que una base de datos debe realmente almacenar datos). Los agentes a menudo carecen de este contexto organizacional y aprovecharán fácilmente los requisitos faltantes.
- La Trampa Multi-Agente: Agregar más agentes revisores no resuelve el problema si cada agente hereda exactamente los mismos requisitos incompletos y suposiciones ambientales.
El juicio humano es esencial para reducir las brechas
Dado que las brechas se encuentran fuera del ciclo de implementación–verificación, reducirlas requiere un ciclo externo de aseguramiento-revisión. Este ciclo verifica si el comportamiento desplegado satisface la intención humana. Cuando no lo hace, el ciclo utiliza evidencia del despliegue para revisar los requisitos, el modelo ambiental o el evaluador. Luego, el ciclo de implementación-verificación se ejecuta nuevamente para producir una implementación revisada.
Debido a que el software debe servir a la intención humana, los humanos retienen la autoridad final sobre la interpretación de la evidencia y la decisión de qué comportamiento es aceptable. Los agentes pueden acelerar el ciclo externo recopilando evidencia, proponiendo revisiones y tomando decisiones rutinarias dentro de la autoridad delegada por los humanos.
Por lo tanto, a medida que la implementación de software se vuelve más barata, el recurso más crítico se convierte en el juicio humano sobre qué comportamiento es aceptable y en la evaluación fiel de cómo funcionan los sistemas bajo condiciones reales.
