Q1. Séparation des responsabilités entre le modèle et le code
Choisissez une fonctionnalité d'IA que vous avez récemment implémentée et expliquez quelles parties étaient gérées par le modèle et lesquelles étaient garanties par du code standard.
En plus d'améliorer les prompts, qu'avez-vous mis en place pour améliorer la qualité et la fiabilité ?
Q2. Gestion des connaissances mises à jour en continu
Si vous conceviez un système pour répondre à des questions basées sur des documents internes fréquemment mis à jour avec des citations, comment géreriez-vous les éléments suivants ?
- Découpage des documents
- Récupération
- Reclassement des résultats de recherche
- Contrôle d'accès
- Prise en compte des mises à jour et des suppressions de documents
Q3. Méthodes de détection de la dégradation de la qualité due aux changements
Lorsque vous modifiez des prompts, des modèles, des méthodes de recherche ou des définitions d'outils, comment vous assurez-vous que les fonctionnalités existantes n'ont pas été cassées ?
Que conservez-vous comme cas de test, et quelles métriques utilisez-vous pour décider de déployer ?
Q4. Dans quelle mesure faites-vous confiance à l'évaluation basée sur l'IA ?
Lorsque vous utilisez l'IA comme évaluateur, quels types de biais ou d'erreurs de jugement se produisent ?
Comment combinez-vous l'évaluation automatisée par l'IA avec l'évaluation humaine ?
Q5. Comment exécuter en toute sécurité des opérations avec effets secondaires
Supposons que l'IA appelle des outils qui modifient des états externes, comme transférer de l'argent, envoyer des e-mails ou créer des tickets.
Concevez un flux d'exécution qui inclut la validation des entrées, les vérifications d'autorisations, l'approbation de l'utilisateur, les tentatives et la prévention des exécutions en double.
Q6. Comment arrêter une IA incontrôlable
L'IA est entrée dans une boucle de recherches ou d'appels d'outils répétés et ne termine pas le traitement.
Comment détectez-vous la boucle, et dans quelles conditions l'arrêtez-vous ?
Comment définissez-vous des budgets pour le temps, le nombre d'exécutions, les tokens, le coût et l'utilisation des outils ?
Q7. Continuité du service en cas de panne du modèle
Un modèle haute performance devient indisponible en raison de latence, de limites de débit ou de pannes.
Dans quelles conditions basculez-vous vers un modèle différent ?
Si le modèle alternatif entraîne une qualité ou des fonctionnalités inférieures, comment modifiez-vous l'expérience utilisateur ?
Q8. Comment tracer un échec spécifique
Un utilisateur signale que « la réponse était lente et le contenu incorrect ».
Comment tracez-vous cette instance de traitement spécifique ?
Q9. Analyse de l'augmentation des coûts
Les frais d'utilisation de l'IA ont augmenté par rapport au mois précédent.
Comment identifiez-vous quelle fonctionnalité, quel client, quel workflow ou quelle étape de traitement spécifique a causé l'augmentation, plutôt que simplement quel modèle ?
Quels critères utilisez-vous pour juger si ce coût en vaut la valeur commerciale ?
Q10. Qu'avez-vous appris des échecs en production ?
Décrivez l'échec le plus dangereux que vous ayez rencontré dans une fonctionnalité d'IA que vous exploitiez.
- Que s'est-il passé ?
- Comment a-t-il été découvert ?
- Comment avez-vous arrêté l'impact ?
- Comment avez-vous identifié la cause ?
- Qu'avez-vous changé pour éviter qu'il ne se reproduise ?
