P1. Separación de responsabilidades entre el modelo y el código
Elige una funcionalidad de IA que hayas implementado recientemente y explica qué partes fueron manejadas por el modelo y cuáles fueron garantizadas por código estándar.
Además de mejorar los prompts, ¿qué implementaste para mejorar la calidad y la fiabilidad?
P2. Manejo de conocimientos que se actualizan continuamente
Si estuvieras diseñando un sistema para responder preguntas basadas en documentos internos actualizados con frecuencia y con citas, ¿cómo manejarías los siguientes elementos?
- Fragmentación de documentos
- Recuperación
- Reordenamiento de resultados de búsqueda
- Control de acceso
- Reflejo de actualizaciones y eliminaciones de documentos
P3. Métodos para detectar la degradación de la calidad debido a cambios
Cuando cambias prompts, modelos, métodos de búsqueda o definiciones de herramientas, ¿cómo te aseguras de que la funcionalidad existente no se haya roto?
¿Qué mantienes como casos de prueba y qué métricas utilizas para decidir si lanzar los cambios?
P4. ¿Hasta qué punto confías en la evaluación basada en IA?
Al usar la IA como evaluador, ¿qué tipo de sesgos o juicios erróneos ocurren?
¿Cómo combinas la evaluación automatizada con IA y la evaluación humana?
P5. Cómo ejecutar de forma segura operaciones con efectos secundarios
Supón que la IA llama a herramientas que cambian estados externos, como transferir dinero, enviar correos electrónicos o crear tickets.
Diseña un flujo de ejecución que incluya validación de entrada, comprobaciones de permisos, aprobación del usuario, reintentos y prevención de ejecución duplicada.
P6. Cómo detener una IA descontrolada
La IA ha entrado en un bucle de búsquedas o llamadas a herramientas repetidas y no termina el procesamiento.
¿Cómo detectas el bucle y bajo qué condiciones lo detienes?
¿Cómo estableces presupuestos para tiempo, número de ejecuciones, tokens, costo y uso de herramientas?
P7. Continuidad del servicio durante una falla del modelo
Un modelo de alto rendimiento deja de estar disponible debido a latencia, límites de velocidad o interrupciones.
¿Bajo qué condiciones cambias a un modelo diferente?
Si el modelo alternativo resulta en menor calidad o funcionalidad, ¿cómo modificas la experiencia del usuario?
P8. Cómo rastrear una falla individual
Un usuario informa que "la respuesta fue lenta y el contenido era incorrecto".
¿Cómo rastreas esa instancia de procesamiento específica?
P9. Análisis del aumento de costos
Las tarifas de uso de la IA aumentaron con respecto al mes anterior.
¿Cómo identificas qué funcionalidad, cliente, flujo de trabajo o etapa de procesamiento específica causó el aumento, en lugar de solo qué modelo?
¿Qué criterios utilizas para juzgar si ese costo vale el valor comercial?
P10. ¿Qué se aprendió de las fallas en producción?
Describe la falla más peligrosa que hayas experimentado en una funcionalidad de IA que hayas operado.
- ¿Qué sucedió?
- ¿Cómo se descubrió?
- ¿Cómo detuviste el impacto?
- ¿Cómo identificaste la causa?
- ¿Qué cambiaste para evitar que volviera a ocurrir?
