P1. Separación de Responsabilidades entre el Modelo y el Código
Elige una funcionalidad de IA que hayas implementado recientemente y explica qué partes fueron manejadas por el modelo y cuáles fueron garantizadas por código estándar.
Además de mejorar los prompts, ¿qué implementaste para mejorar la calidad y la confiabilidad?
P2. Manejo de Conocimiento que se Actualiza Continuamente
Si estuvieras diseñando un sistema para responder preguntas basadas en documentos internos actualizados frecuentemente con citas, ¿cómo manejarías los siguientes elementos?
- Fragmentación de documentos
- Recuperación
- Reordenamiento de resultados de búsqueda
- Control de acceso
- Reflejo de actualizaciones y eliminaciones de documentos
P3. Métodos para Detectar Degradación de Calidad Debido a Cambios
Cuando cambias prompts, modelos, métodos de búsqueda o definiciones de herramientas, ¿cómo te aseguras de que la funcionalidad existente no se haya roto?
¿Qué mantienes como casos de prueba y qué métricas usas para decidir si lanzar los cambios?
P4. ¿Hasta Qué Punto Confías en la Evaluación Basada en IA?
Al usar la IA como evaluadora, ¿qué tipos de sesgos o errores de juicio ocurren?
¿Cómo combinas la evaluación automatizada con IA y la evaluación humana?
P5. Cómo Ejecutar de Forma Segura Operaciones con Efectos Secundarios
Supón que la IA llama a herramientas que cambian estados externos, como transferir dinero, enviar correos electrónicos o crear tickets.
Diseña un flujo de ejecución que incluya validación de entrada, verificaciones de permisos, aprobación del usuario, reintentos y prevención de ejecución duplicada.
P6. Cómo Detener una IA Descontrolada
La IA ha entrado en un bucle de búsquedas o llamadas a herramientas repetidas y no termina de procesar.
¿Cómo detectas el bucle y bajo qué condiciones lo detienes?
¿Cómo estableces presupuestos para tiempo, cantidad de ejecuciones, tokens, costo y uso de herramientas?
P7. Continuidad del Servicio Durante Fallos del Modelo
Un modelo de alto rendimiento deja de estar disponible debido a latencia, límites de tasa o interrupciones.
¿Bajo qué condiciones cambias a un modelo diferente?
Si el modelo alternativo resulta en menor calidad o funcionalidad, ¿cómo modificas la experiencia del usuario?
P8. Cómo Rastrear un Fallo Específico
Un usuario reporta que "la respuesta fue lenta y el contenido era incorrecto".
¿Cómo rastreas esa instancia de procesamiento específica?
P9. Análisis de Aumento de Costos
Las tarifas de uso de IA aumentaron respecto al mes anterior.
¿Cómo identificas qué funcionalidad, cliente, flujo de trabajo o etapa de procesamiento específica causó el aumento, en lugar de solo qué modelo?
¿Qué criterios usas para juzgar si ese costo vale el valor comercial?
P10. ¿Qué se Aprendió de los Fallos en Producción?
Describe el fallo más peligroso que hayas experimentado en una funcionalidad de IA que operabas.
- ¿Qué sucedió?
- ¿Cómo se descubrió?
- ¿Cómo detuviste el impacto?
- ¿Cómo identificaste la causa?
- ¿Qué cambiaste para prevenir que volviera a ocurrir?
