Q1. 模型與程式碼的責任劃分
選擇一個你近期實作的 AI 功能，並說明哪些部分由模型處理，哪些部分由標準程式碼來確保。
除了改善提示詞之外，你還實作了哪些措施來提升品質與可靠性？
Q2. 處理持續更新的知識
如果你正在設計一個系統，用來根據頻繁更新的內部文件回答問題並附上引用來源，你會如何處理以下元素？
- 文件分段
- 檢索
- 重新排序搜尋結果
- 存取控制
- 反映文件的更新與刪除
Q3. 偵測因變更而導致的品質下降的方法
當你變更提示詞、模型、搜尋方法或工具定義時，你如何確保現有功能沒有被破壞？
你保留哪些測試案例，以及使用哪些指標來決定是否發布？
Q4. 你對基於 AI 的評估有多信任？
當使用 AI 作為評估者時，會出現哪些類型的偏見或誤判？
你如何結合自動化的 AI 評估與人工評估？
Q5. 如何安全執行具有副作用（Side Effects）的操作
假設 AI 呼叫了會改變外部狀態的工具，例如轉帳、發送電子郵件或建立工單。
請設計一個包含輸入驗證、權限檢查、使用者核准、重試機制以及防止重複執行的執行流程。
Q6. 如何阻止失控的 AI
AI 進入了重複搜尋或工具呼叫的循環，無法完成處理。
你如何偵測這個循環，以及在什麼條件下會停止它？
你如何為時間、執行次數、Token 數量、成本以及工具使用量設定預算？
Q7. 模型故障期間的服務持續性
一個高效能的模型因延遲、速率限制或服務中斷而無法使用。
在什麼條件下你會切換到不同的模型？
如果替代模型導致品質或功能下降，你如何調整使用者體驗？
Q8. 如何追蹤單一故障
使用者回報「回應速度慢且內容錯誤」。
你如何追蹤該特定處理實例？
Q9. 成本增加的分析
AI 的使用費用比上個月增加了。
你如何找出是哪個特定功能、客戶、工作流程或處理階段導致了成本增加，而不僅僅是哪個模型？
你使用什麼標準來判斷該成本是否值得其帶來的商業價值？
Q10. 從生產環境故障中學到了什麼？
描述你在操作 AI 功能時所經歷過最危險的故障。
- 發生了什麼事？
- 是如何發現的？
- 你是如何阻止影響擴大的？
- 你是如何找出根本原因的？
- 你做了哪些改變來防止再次發生？
