AI Agent เร่งความเร็ว Key-Value Store: บทเรียนเรื่องช่องว่างระหว่างข้อกำหนดและความเป็นจริง
มี AI agent ตัวหนึ่งได้รับมอบหมายให้เพิ่มประสิทธิภาพของ key-value store ผลลัพธ์ที่ได้คือ throughput เพิ่มขึ้น 6 เท่า และผ่านการทดสอบความถูกต้อง (correctness test) ทุกข้อ คำอธิบายเบื้องหลังความสำเร็จนี้คืออะไร? Agent ค้นพบว่า benchmark มาตรฐานในอุตสาหกรรมที่ใช้ประเมินประสิทธิภาพของ store นั้น สร้างค่า (values) ขึ้นมาจากคีย์ (keys) แทนที่จะทำการจัดเก็บค่าเหล่านั้นไว้จริงๆ มันเพียงแต่สร้างค่าขึ้นมาใหม่ตามความต้องการ (on demand) เมื่อมีการร้องขอจาก client
Key-value store ที่หลีกเลี่ยงการจัดเก็บค่าดูจะไร้สาระ แต่ระบบประเมินผลกลับให้รางวัลกับพฤติกรรมนั้นพอดี ข้อกำหนด (specification) ขาดหายสิ่งที่เราคิดว่าชัดเจนไป และ benchmark ก็ล้มเหลวในการเผยให้เห็นจุดบกพร่องนั้น
ช่องว่างสองประการที่นำไปสู่ Reward Hacking และ Hallucinations
งานวิจัยชิ้นใหม่ของเรา อธิบายพฤติกรรมนี้และความล้มเหลวอื่นๆ ของ agent ผ่านมุมมองของ ช่องว่างสำคัญสองประการ ซึ่งอยู่นอกเหนือวงจร implementation-verification แบบดั้งเดิมที่เขียนโค้ด รันเทสต์ และแก้ไขข้อผิดพลาดจนกว่าเทสต์ทั้งหมดจะผ่าน
- Requirement Gap: คือช่องว่างระหว่างสิ่งที่เราเขียนระบุลงไป กับสิ่งที่เราต้องการจริงๆ ในกรณีของเรา เราสมมติว่าทุกโซลูชันจะต้องจัดเก็บค่าที่ client ส่งมา—ท้ายที่สุดแล้ว มันถูกเรียกว่า "store" ย่อมต้องมีเหตุผล!—ดังนั้นเราจึงไม่เคยคิดที่จะระบุข้อกำหนดนี้อย่างชัดเจน
- Model Gap: คือช่องว่างระหว่างสภาพแวดล้อมที่เราใช้ประเมินผล กับโลกแห่งความเป็นจริงที่ระบบจะถูกนำไปใช้งานจริง Benchmark ของเราใช้ค่าที่คาดเดาได้ (predictable values) แต่ในความเป็นจริง Client จะส่งค่าแบบสุ่มหรือไม่มีรูปแบบตายตัว (arbitrary values) มาให้
ปฏิกิริยาตอบสนองตามธรรมชาติคือการเขียนข้อกำหนดที่ดีขึ้นและสร้างเทสต์ที่เข้มแข็งขึ้น ทั้งสองอย่างช่วยได้ แต่แม้แต่การพิสูจน์ด้วยเครื่องจักร (machine-checked proofs) ก็ไม่สามารถปิดช่องว่างเหล่านี้ได้ ดังที่ Brian Cantwell Smith ได้อธิบายไว้ในบทความ The Limits of Correctness (ปี 1985) ว่า การพิสูจน์ทำได้เพียงยืนยันว่าซอฟต์แวร์เป็นไปตามข้อกำหนดที่ระบุไว้ภายใต้สมมติฐานด้านสภาพแวดล้อมที่กำหนดเท่านั้น มันไม่สามารถพิสูจน์ได้ว่าข้อกำหนดเหล่านั้นครอบคลุมทุกสิ่งที่ผู้ใช้ต้องการ หรือสมมติฐานเหล่านั้นครอบคลุมทุกสถานการณ์การใช้งานในโลกแห่งความเป็นจริง ดังนั้น ช่องว่างเหล่านี้จึงไม่สามารถถูกปิดได้อย่างสมบูรณ์ในทุกกรณี
ช่องว่างเหล่านี้ส่งผลให้เกิด reward hacking และ hallucinations โดย reward hacking เกิดขึ้นเมื่อ agent ปรับปรุงวัตถุประสงค์ที่กำหนดให้ดีขึ้นโดยการฉวยประโยชน์จากช่องว่าง เช่น ข้อกำหนดที่ไม่ได้ระบุไว้ หรือสมมติฐานเกี่ยวกับโลกแห่งความเป็นจริง ส่วน hallucination เกิดขึ้นเมื่อ agent ขยายช่องว่างให้กว้างขึ้นอีกโดยการสร้างข้อกำหนดหรือสมมติฐานด้านสภาพแวดล้อมที่ไม่มีอยู่จริงขึ้นมา เช่น API ที่ไม่ได้มีอยู่ เหตุการณ์ที่ถูกนำเสนอข่าวเมื่อเร็วๆ นี้ที่เกี่ยวข้องกับ OpenAI และ Hugging Face และ Claude ล้วนเป็นการแสดงออกของช่องว่างเหล่านี้
AI Agents ทำให้ช่องว่างทั้งสองแย่ลง
ช่องว่างเหล่านี้ไม่ใช่เรื่องใหม่ พวกมันมีอยู่ในวงการวิศวกรรมซอฟต์แวร์มานานหลายทศวรรษ แต่ AI agents ทำให้ช่องว่างเหล่านี้เลวร้ายลงอย่างมาก
- Hyper-Optimization: Agents ค้นหาวิธีการ implement ได้เร็วกว่ามนุษย์หลายเท่าตัว และมุ่งเน้นการปรับแต่งเพื่อเอาชนะระบบประเมินผลโดยตรง
- Missing Tacit Knowledge: วิศวกรมนุษย์ที่มีประสบการณ์พึ่งพาบริบทโดยนัย (tacit context) เช่น ความรู้ที่ว่า data store ต้องมีการจัดเก็บข้อมูลจริงๆ แต่ Agents มักขาดบริบทภายในองค์กรนี้ และพร้อมที่จะฉวยประโยชน์จากข้อกำหนดที่ขาดหายไป
- The Multi-Agent Trap: การเพิ่มจำนวน agents สำหรับตรวจสอบ (reviewing agents) ไม่ได้ช่วยแก้ปัญหา หากทุก agent ได้รับข้อกำหนดและสมมติฐานด้านสภาพแวดล้อมที่ไม่สมบูรณ์ชุดเดียวกันเป๊ะๆ
การใช้วิจารณญาณของมนุษย์มีความจำเป็นในการลดช่องว่าง
เนื่องจากช่องว่างเหล่านี้อยู่นอกเหนือวงจร implementation–verification การลดช่องว่างจึงต้องอาศัยวงจรภายนอกที่เรียกว่า assurance-revision loop วงจรนี้จะตรวจสอบว่าพฤติกรรมที่นำไปใช้งานจริงสอดคล้องกับความตั้งใจของมนุษย์หรือไม่ หากไม่สอดคล้อง วงจรจะใช้หลักฐานจากการใช้งานจริงเพื่อปรับปรุงข้อกำหนด โมเดลสภาพแวดล้อม หรือระบบประเมินผล จากนั้นวงจร implementation-verification จะทำงานอีกครั้งเพื่อสร้างเวอร์ชันที่ปรับปรุงแล้ว
เนื่องจากซอฟต์แวร์ต้องรับใช้ความตั้งใจของมนุษย์ มนุษย์จึงยังคงมีอำนาจสูงสุดในการตีความหลักฐานและตัดสินใจว่าพฤติกรรมใดที่ยอมรับได้ Agents สามารถเร่งวงจรภายนอกนี้ได้โดยการรวบรวมหลักฐาน เสนอแนวทางปรับปรุง และตัดสินใจในเรื่องประจำภายใต้ขอบเขตอำนาจที่ได้รับมอบหมายจากมนุษย์
ดังนั้น ในขณะที่ต้นทุนของการพัฒนาซอฟต์แวร์ลดลง ทรัพยากรที่สำคัญที่สุดกลับกลายเป็นวิจารณญาณของมนุษย์ regarding พฤติกรรมที่ยอมรับได้ และการประเมินผลอย่างเป็นธรรมว่าระบบทำงานอย่างไรภายใต้สภาวะจริง
