Q1. Phân Tách Trách Nhiệm Giữa Mô Hình và Code
Hãy chọn một tính năng AI bạn đã triển khai gần đây và giải thích phần nào được xử lý bởi mô hình, phần nào được đảm bảo bởi code tiêu chuẩn.
Ngoài việc cải thiện prompt, bạn đã triển khai những gì để nâng cao chất lượng và độ tin cậy?
Q2. Xử Lý Kiến Thức Cập Nhật Liên Tục
Nếu bạn đang thiết kế một hệ thống trả lời câu hỏi dựa trên các tài liệu nội bộ được cập nhật thường xuyên kèm trích dẫn, bạn sẽ xử lý các yếu tố sau như thế nào?
- Chunking tài liệu
- Truy xuất
- Sắp xếp lại kết quả tìm kiếm
- Kiểm soát truy cập
- Phản ánh các bản cập nhật và xóa tài liệu
Q3. Phương Pháp Phát Hiện Suy Giảm Chất Lượng Do Thay Đổi
Khi bạn thay đổi prompt, mô hình, phương pháp tìm kiếm hoặc định nghĩa công cụ, làm thế nào để đảm bảo các chức năng hiện tại không bị hỏng?
Bạn giữ lại những gì làm test case, và sử dụng chỉ số nào để quyết định có phát hành hay không?
Q4. Bạn Tin Tưởng Đánh Giá Dựa Trên AI Ở Mức Độ Nào?
Khi sử dụng AI làm công cụ đánh giá, những loại thiên kiến hoặc đánh giá sai nào thường xảy ra?
Bạn kết hợp đánh giá AI tự động với đánh giá của con người như thế nào?
Q5. Cách Thực Thi An Toàn Các Thao Tác Có Tác Dụng Phụ
Giả sử AI gọi các công cụ thay đổi trạng thái bên ngoài, chẳng hạn như chuyển tiền, gửi email hoặc tạo ticket.
Hãy thiết kế một luồng thực thi bao gồm xác thực đầu vào, kiểm tra quyền, phê duyệt của người dùng, thử lại và ngăn chặn thực thi trùng lặp.
Q6. Cách Dừng Một AI Đang Chạy Mất Kiểm Soát
AI đã rơi vào vòng lặp tìm kiếm hoặc gọi công cụ liên tục và không thể hoàn thành xử lý.
Làm thế nào bạn phát hiện vòng lặp, và trong điều kiện nào bạn dừng nó?
Làm thế nào bạn đặt ngân sách cho thời gian, số lần thực thi, token, chi phí và mức sử dụng công cụ?
Q7. Duy Trì Dịch Vụ Khi Mô Hình Gặp Sự Cố
Một mô hình hiệu suất cao trở nên không khả dụng do độ trễ, giới hạn tốc độ hoặc sự cố ngừng hoạt động.
Trong điều kiện nào bạn chuyển sang một mô hình khác?
Nếu mô hình thay thế dẫn đến chất lượng hoặc chức năng thấp hơn, bạn điều chỉnh trải nghiệm người dùng như thế nào?
Q8. Cách Truy Vết Một Lỗi Đơn Lẻ
Một người dùng báo cáo rằng "phản hồi chậm và nội dung không chính xác."
Làm thế nào bạn truy vết phiên xử lý cụ thể đó?
Q9. Phân Tích Chi Phí Tăng
Phí sử dụng AI tăng so với tháng trước.
Làm thế nào bạn xác định tính năng, khách hàng, quy trình làm việc hoặc giai đoạn xử lý cụ thể nào gây ra sự gia tăng, thay vì chỉ xác định mô hình nào?
Bạn sử dụng tiêu chí nào để đánh giá xem chi phí đó có xứng đáng với giá trị kinh doanh hay không?
Q10. Bài Học Rút Ra Từ Các Sự Cố Sản Xuất?
Hãy mô tả sự cố nguy hiểm nhất bạn từng gặp phải trong một tính năng AI mà bạn vận hành.
- Điều gì đã xảy ra?
- Nó được phát hiện như thế nào?
- Bạn đã dừng tác động như thế nào?
- Bạn đã xác định nguyên nhân như thế nào?
- Bạn đã thay đổi điều gì để ngăn ngừa tái diễn?
