D1. Separazione delle Responsabilità tra Modello e Codice
Scegli una funzionalità AI implementata di recente e spiega quali parti sono state gestite dal modello e quali parti sono state garantite dal codice standard.
Oltre a migliorare i prompt, cos’altro hai implementato per aumentare qualità e affidabilità?
D2. Gestione della Conoscenza in Continuo Aggiornamento
Se dovessi progettare un sistema per rispondere a domande basate su documenti interni aggiornati frequentemente, con citazioni, come gestiresti i seguenti elementi?
- Suddivisione dei documenti in chunk
- Recupero delle informazioni
- Riordinamento dei risultati di ricerca
- Controllo degli accessi
- Riflessione di aggiornamenti e cancellazioni dei documenti
D3. Metodi per Rilevare il Degrado della Qualità Dovuto ai Cambiamenti
Quando modifichi prompt, modelli, metodi di ricerca o definizioni di strumenti, come ti assicuri che le funzionalità esistenti non si siano rotte?
Cosa mantieni come casi di test e quali metriche usi per decidere se rilasciare?
D4. Quanto Ti Fidi della Valutazione Basata sull’AI?
Quando usi l’AI come valutatore, che tipo di bias o errori di giudizio si verificano?
Come combini la valutazione automatica con quella umana?
D5. Come Eseguire in Sicurezza Operazioni con Effetti Collaterali
Supponi che l’AI chiami strumenti che modificano stati esterni, come trasferire denaro, inviare email o creare ticket.
Progetta un flusso di esecuzione che includa validazione dell’input, controlli dei permessi, approvazione dell’utente, tentativi e prevenzione dell’esecuzione duplicata.
D6. Come Fermare un’AI Fuori Controllo
L’AI è entrata in un loop di ricerche o chiamate a strumenti ripetute e non termina l’elaborazione.
Come rilevi il loop e in quali condizioni lo interrompi?
Come imposti i budget per tempo, numero di esecuzioni, token, costo e utilizzo degli strumenti?
D7. Continuità del Servizio Durante un Guasto del Modello
Un modello ad alte prestazioni diventa non disponibile a causa di latenza, limiti di frequenza o interruzioni.
In quali condizioni passi a un modello diverso?
Se il modello alternativo produce qualità o funzionalità inferiori, come modifichi l’esperienza utente?
D8. Come Tracciare un Singolo Fallimento
Un utente segnala che "la risposta è stata lenta e il contenuto era errato".
Come tracci quella specifica istanza di elaborazione?
D9. Analisi dell’Aumento dei Costi
Le spese per l’uso dell’AI sono aumentate rispetto al mese precedente.
Come identifichi quale funzionalità, cliente, flusso di lavoro o fase di elaborazione specifica ha causato l’aumento, anziché solo quale modello?
Quali criteri usi per giudicare se quel costo vale il valore aziendale?
D10. Cosa è Stato Imparato dai Fallimenti in Produzione?
Descrivi il fallimento più pericoloso che hai sperimentato in una funzionalità AI che gestivi.
- Cosa è successo?
- Come è stato scoperto?
- Come hai fermato l’impatto?
- Come hai identificato la causa?
- Cosa hai cambiato per prevenire il ripetersi?
