Q1. การแบ่งแยกความรับผิดชอบระหว่างโมเดลและโค้ด
เลือกฟีเจอร์ AI หนึ่งอย่างที่คุณเพิ่งนำไปใช้ และอธิบายว่าส่วนใดที่จัดการโดยโมเดล และส่วนใดที่รับประกันโดยโค้ดมาตรฐาน
นอกเหนือจากการปรับปรุง prompt แล้ว คุณได้นำอะไรไปใช้เพื่อเพิ่มคุณภาพและความน่าเชื่อถือ?
Q2. การจัดการความรู้ที่อัปเดตอย่างต่อเนื่อง
หากคุณกำลังออกแบบระบบเพื่อตอบคำถามโดยอิงจากเอกสารภายในที่อัปเดตบ่อยครั้งพร้อมการอ้างอิง คุณจะจัดการกับองค์ประกอบต่อไปนี้อย่างไร?
- การแบ่งส่วนเอกสาร (Document chunking)
- การค้นคืน (Retrieval)
- การจัดลำดับผลการค้นหาใหม่ (Re-ranking search results)
- การควบคุมการเข้าถึง (Access control)
- การสะท้อนการอัปเดตและการลบเอกสาร
Q3. วิธีการตรวจจับการเสื่อมคุณภาพเนื่องจากการเปลี่ยนแปลง
เมื่อคุณเปลี่ยน prompts, โมเดล, วิธีการค้นหา หรือนิยามเครื่องมือ คุณจะมั่นใจได้อย่างไรว่าฟังก์ชันการทำงานที่มีอยู่ไม่เสียหาย?
คุณเก็บอะไรไว้เป็นกรณีทดสอบ และใช้เมตริกอะไรในการตัดสินใจว่าจะปล่อยหรือไม่?
Q4. คุณเชื่อถือการประเมินโดย AI มากน้อยแค่ไหน?
เมื่อใช้ AI เป็นผู้ประเมิน อคติหรือการตัดสินผิดพลาดประเภทใดที่เกิดขึ้น?
คุณรวมการประเมินด้วย AI อัตโนมัติเข้ากับการประเมินโดยมนุษย์อย่างไร?
Q5. วิธีดำเนินการที่มีผลข้างเคียงอย่างปลอดภัย
สมมติว่า AI เรียกใช้เครื่องมือที่เปลี่ยนแปลงสถานะภายนอก เช่น การโอนเงิน การส่งอีเมล หรือการสร้างตั๋ว
ออกแบบโฟลว์การดำเนินการที่รวมถึงการตรวจสอบอินพุต, การตรวจสอบสิทธิ์, การอนุมัติจากผู้ใช้, การลองใหม่ และการป้องกันการดำเนินการซ้ำ
Q6. วิธีหยุด AI ที่ทำงานไม่หยุด
AI เข้าสู่ลูปของการค้นหาหรือเรียกใช้เครื่องมือซ้ำๆ และไม่เสร็จสิ้นการประมวลผล
คุณตรวจจับลูปได้อย่างไร และภายใต้เงื่อนไขใดที่คุณหยุดมัน?
คุณตั้งงบประมาณสำหรับเวลา, จำนวนครั้งที่ดำเนินการ, โทเค็น, ต้นทุน และการใช้งานเครื่องมืออย่างไร?
Q7. ความต่อเนื่องของบริการระหว่างที่โมเดลล้มเหลว
โมเดลประสิทธิภาพสูงไม่สามารถใช้งานได้เนื่องจากความหน่วง, การจำกัดอัตรา หรือการหยุดทำงาน
ภายใต้เงื่อนไขใดที่คุณสลับไปใช้โมเดลอื่น?
หากโมเดลสำรองส่งผลให้คุณภาพหรือฟังก์ชันการทำงานต่ำลง คุณจะปรับเปลี่ยนประสบการณ์ผู้ใช้อย่างไร?
Q8. วิธีติดตามความล้มเหลวเพียงครั้งเดียว
ผู้ใช้รายงานว่า "การตอบสนองช้าและเนื้อหาไม่ถูกต้อง"
คุณจะติดตามอินสแตนซ์การประมวลผลนั้นโดยเฉพาะได้อย่างไร?
Q9. การวิเคราะห์ต้นทุนที่เพิ่มขึ้น
ค่าธรรมเนียมการใช้งาน AI เพิ่มขึ้นจากเดือนก่อนหน้า
คุณระบุได้อย่างไรว่าฟีเจอร์, ลูกค้า, เวิร์กโฟลว์ หรือขั้นตอนการประมวลผลใดที่ทำให้เกิดการเพิ่มขึ้น แทนที่จะรู้แค่ว่าเป็นโมเดลใด?
คุณใช้เกณฑ์อะไรในการตัดสินว่าต้นทุนนั้นคุ้มค่ากับมูลค่าทางธุรกิจหรือไม่?
Q10. สิ่งที่ได้เรียนรู้จากความล้มเหลวในการผลิต?
อธิบายความล้มเหลวที่อันตรายที่สุดที่คุณเคยประสบในฟีเจอร์ AI ที่คุณดำเนินการ
- เกิดอะไรขึ้น?
- ตรวจพบได้อย่างไร?
- คุณหยุดผลกระทบได้อย่างไร?
- คุณระบุสาเหตุได้อย่างไร?
- คุณเปลี่ยนแปลงอะไรเพื่อป้องกันไม่ให้เกิดซ้ำ?
