มุมมองสุดล้ำเกี่ยวกับหน่วยความจำของ AI

หนึ่งในสิ่งที่สวยงามเกี่ยวกับการสร้างสิ่งใหม่ๆ ในพื้นที่ที่ยังไม่มีคำตอบที่ถูกต้อง นั่นหมายความว่าการสร้างอะไรก็ตามย่อมเกี่ยวข้องกับการเดิมพันว่าจักรวาลของระบบนิเวศนี้จะพัฒนาไปในทิศทางใด เราได้รวบรวมรายการคำถาม (ที่ไม่ครอบคลุมทั้งหมด) ด้านล่างนี้ ซึ่งเป็นคำถามที่เรามักพูดคุยกับผู้คนในวงการนี้ พร้อมกับข้อคาดการณ์ของเราว่าคำตอบน่าจะเป็นอย่างไร เราอยากฟังความคิดเห็น การคาดการณ์ และข้อโต้แย้งของคุณ!

จะมีที่ว่างสำหรับบริษัทที่ทำด้านหน่วยความจำและฐานความรู้ นอกเหนือจากห้องปฏิบัติการวิจัยหรือไม่?

• ข้อคาดการณ์: บริษัทที่ทำการปรับขนาดหน่วยความจำในแนวตั้ง (เช่น การช่วยให้เอเจนต์ทำงานได้นานขึ้น) จะมีช่วงเวลาที่ยากลำบากในการแข่งขัน และจะถูกบีบจากห้องปฏิบัติการและระบบควบคุมเอเจนต์อื่นๆ ส่วนบริษัทที่ทำการปรับขนาดในแนวนอน (เช่น ข้ามทีมหรือทั่วทั้งองค์กร) จะพบกับภูมิทัศน์ที่ดีกว่า เนื่องจากวงจรการขายในองค์กรใช้เวลานานกว่า และปัญหา (การแยกข้อมูล ความปลอดภัย ภววิทยาของบริษัท) ไม่สามารถแก้ไขได้ด้วยการอัปเดตโมเดลหรือแนวคิดการวิจัยล่าสุด

หน่วยความจำควรทำงานในพื้นที่ของน้ำหนัก (weight) หรือโทเค็น (token)?

• พื้นที่โทเค็นมีข้อดีหลายประการ มันสามารถตีความได้ มันไม่ขึ้นอยู่กับโมเดล มันมีต้นทุนต่ำ เรามีโครงสร้างพื้นฐานที่สร้างขึ้นมานานหลายทศวรรษเพื่อรองรับการจัดเก็บ การแยกข้อมูล ความเป็นโมดูล เป็นต้น
• อย่างไรก็ตาม น้ำหนัก (weight) ดูเหมือนจะมีความสามารถในการแสดงออกมากกว่า และอาจมีปัญหาบางประเภทที่เราไม่สามารถแก้ไขได้ในพื้นที่โทเค็นเพียงอย่างเดียว โดยเฉพาะอย่างยิ่ง หน่วยความจำเชิงกระบวนการที่เกี่ยวข้องกับเส้นแบ่งที่คลุมเครือและเส้นทางแยกย่อยที่ซับซ้อน ดูเหมือนจะไม่เหมาะสมกับพื้นที่โทเค็น (เช่น ลองคิดถึงการพยายามอ่านกฎของเกมกระดาน เทียบกับการดูวิธีการเล่น)
• ข้อคาดการณ์: หน่วยความจำส่วนใหญ่จะทำงานในพื้นที่โทเค็น (เช่น ร่องรอยของเอเจนต์ ข้อมูลเชิงความหมาย ฯลฯ) แต่จะมีปัญหาบางอย่าง (เช่น รูปแบบการเขียน รสนิยม ทักษะเชิงกระบวนการ ฯลฯ) ที่จะมี อะแดปเตอร์ ซึ่งสามารถ ปรับให้เข้ากับ โมเดลได้ เทคนิค ด้านกลไกการตีความ (mechanistic interpretability) จะช่วยให้เราสามารถตีความมันได้

หน่วยความจำเป็นเพียงแค่ปัญหาการค้นหาและดึงข้อมูลใช่หรือไม่?

• ระบบหน่วยความจำส่วนใหญ่ในปัจจุบันเน้นที่การดึงข้อมูล พวกมันมุ่งเน้นไปที่การค้นหาข้อมูลที่ถูกต้องในเวลาที่เหมาะสมสำหรับเอเจนต์ในการทำงาน (เช่น เกณฑ์ชี้วัด LoCoMo เน้นการค้นหาเข็มในมหาสมุทร)
• คำถามคือสิ่งนี้เพียงพอที่จะแก้ปัญหาหน่วยความจำหรือไม่ พูดอีกอย่างหนึ่ง ถ้าคุณเชื่อมต่อการค้นหาที่ล้ำสมัย (เช่น Google หรือ Exa หรือ Perplexity) เข้ากับคลังข้อมูลส่วนตัว นั่นเพียงพอที่จะบอกว่าปัญหาหน่วยความจำได้รับการแก้ไขแล้วหรือไม่?
• ข้อคาดการณ์: มี ฉันทามติ ที่ เพิ่มขึ้น ในหมู่นักวิจัยและผู้สร้างที่ทำงานในระดับแนวหน้าว่า หน่วยความจำไม่ใช่แค่การจัดเก็บข้อมูลและการดึงข้อมูลจากข้อมูลนั้นเท่านั้น เราเรียกปัญหานี้ภายในว่า "blast radius" (รัศมีการระเบิด) ประโยชน์ของข้อมูลถูกจำกัดด้วยขอบเขต (เวลาหรือบริบท) มนุษย์ไม่มีปัญหาในการอ่านข้อความที่ไม่เกี่ยวข้องจำนวนมาก และใช้เฉพาะน้ำหนักที่เหมาะสมกับข้อมูลที่มีประโยชน์ที่สุดเท่านั้น ระบบการดึงข้อมูลที่บริสุทธิ์ (แม้จะมีการจัดอันดับใหม่ที่ชาญฉลาด) ก็ยังไม่ถึงระดับนั้น

เราควรฉีดข้อมูลเข้าไปในบริบทโดยอัตโนมัติหรือไม่?

• ข้อโต้แย้งที่คัดค้านคือ การเน่าเสียของบริบท (context rot) หรือมลภาวะ การฉีดข้อมูลเข้าไปในเอเจนต์ โดยเฉพาะอย่างยิ่งหากไม่ใช่ข้อมูลที่ถูกต้อง อาจทำให้ประสิทธิภาพลดลง นอกจากนี้ยังทำให้เอเจนต์ให้ความสำคัญกับการเชื่อมต่อระหว่างเซสชันของคุณมากเกินไป ซึ่งอาจไม่เป็นความจริง นี่คือสาเหตุที่หลายคนปิดคุณสมบัติหน่วยความจำสำหรับ ChatGPT หรือ Claude Code
• ข้อคาดการณ์: การฉีดข้อมูลเข้าไปในบริบทเป็นสิ่งสำคัญ เพราะมันช่วยให้เอเจนต์จัดการกับ "สิ่งที่ไม่รู้ว่าตนเองไม่รู้" (unknown unknowns) คุณสามารถมีเครื่องมือหน่วยความจำที่สมบูรณ์แบบ แต่ถ้าเอเจนต์ไม่รู้ว่าจะใช้มัน คุณก็ยังไม่ได้แก้ปัญหา สำหรับมนุษย์ การ "ฉีด" ประเภทนี้เกิดขึ้นตลอดเวลา ความทรงจำในอดีตปรากฏขึ้นในจิตสำนึกของคุณโดยที่คุณไม่ได้เลือกอย่างตั้งใจ ปัญหาในปัจจุบันนี้น่าจะเป็นผลสืบเนื่องมาจากปัญหารัศมีการระเบิดที่กล่าวไว้ข้างต้น

เกณฑ์ชี้วัดที่เหมาะสมสำหรับหน่วยความจำคืออะไร?

• มีความรู้สึกโดยทั่วไปว่าเกณฑ์ชี้วัดที่มีอยู่ เช่น LoCoMo และ LongMemEval ยังไม่เพียงพอ เราทำคะแนนได้ประมาณ 85% กับเกณฑ์เหล่านี้ และหน่วยความจำก็ยังคงรู้สึกว่าไม่ได้รับการแก้ไขเช่นเดียวกับเมื่อปีที่แล้ว ยิ่งไปกว่านั้น ผลการดำเนินงานที่ดีขึ้นบนเกณฑ์ชี้วัดดูเหมือนจะไม่สัมพันธ์กับหน่วยความจำที่ "รู้สึกดีขึ้น" จากมุมมองของผู้ใช้
• ยิ่งไปกว่านั้น เกณฑ์ชี้วัดในพื้นที่นี้สร้างได้ยาก เนื่องจากช่วงเวลาที่ยาวนานโดยธรรมชาติที่หน่วยความจำทำงาน ทำให้เกิดปัญหาด้านความพร้อมใช้งานของข้อมูลและต้นทุน/การปรับขนาด
• ข้อคาดการณ์: บริษัทหรือห้องปฏิบัติการที่แก้ปัญหานี้ได้ มักจะไม่ทำโดยการปีนขึ้นเขาบนเกณฑ์ชี้วัด แต่โดยการเดิมพันกับข้อมูลเชิงลึกของลูกค้าหรือผู้ใช้บางอย่างที่เกณฑ์ชี้วัดในปัจจุบันไม่ได้วัด ซึ่งคล้ายกับ Wisprflow ที่พวกเขาทิ้งเมตริกอัตราความผิดพลาดของคำ (word-error-rate) ที่เครื่องมือถอดความอื่นๆ ยึดเป็นหลัก

หน้าต่างบริบทที่ยาวขึ้นจะแก้ปัญหาทุกอย่างได้หรือไม่?

• เราได้ คาดการณ์ไว้ในเดือนมกราคม ว่าหน้าต่างบริบทจะไม่สามารถแก้ปัญหาได้จริงๆ และจนถึงตอนนี้ก็ค่อนข้างถูกต้อง

โมเดลที่แข็งแกร่งรวมกับการผสานข้อมูลทำให้ระบบหน่วยความจำไร้ประโยชน์

• ข้อโต้แย้งที่สนับสนุนคือ คุณสามารถดึงข้อมูลใดๆ ก็ได้ที่คุณต้องการ หากคุณมีโมเดล前沿 + ระบบควบคุมเอเจนต์ + ตัวเชื่อมต่อข้อมูล MCP และปรากฎว่าคุณภาพการดึงข้อมูลไม่ได้เปลี่ยนแปลงมากนักเมื่อเทียบกับระบบอื่นๆ (เช่น LLM wiki, การดึงข้อมูลแบบผสม ฯลฯ)
• ข้อคาดการณ์: ในระยะสั้น ระบบหน่วยความจำยังคงมีประโยชน์因为它们ช่วยลดความหน่วงและต้นทุนเมื่อเทียบกับการให้โมเดล前沿ค้นหาทุกอย่างตลอดเวลา ในระยะกลางถึงระยะยาว ระบบหน่วยความจำช่วยให้เกิดความสม่ำเสมอในการดึงข้อมูล ซึ่งทำให้เกิดการทบต้น (compounding) พูดอีกอย่างหนึ่ง เรายังคงให้เอเจนต์เขียนโค้ดซึ่งพวกมันปรับปรุงเมื่อเวลาผ่านไป แทนที่จะให้พวกมันสร้างแอปพลิเคชันโดยตรง

การค้นหาแบบ Agentic เหนือระบบไฟล์คือทั้งหมดที่คุณต้องการ

• Letta คาดการณ์สิ่งนี้เมื่อปีที่แล้ว และมันกลายเป็นคำทำนายที่ค่อนข้างแม่นยำ ในระยะสั้นถึงระยะกลาง เอเจนต์ทำงานได้ดีมากในการทำงานกับระบบไฟล์ เนื่องจากการฝึกอบรมภายหลัง (post-training) ที่มุ่งเป้าไปที่ประสิทธิภาพการเขียนโค้ด การใช้ประโยชน์จากการฝึกอบรมภายหลังนั้นให้ผลตอบแทนในปัจจุบัน
• ข้อคาดการณ์: ในระยะยาว เป็นการยากที่จะไม่จินตนาการถึงดัชนีแบบไฮบริดบางประเภท นอกเหนือจากระบบไฟล์ สัญชาตญาณหลักที่อยู่เบื้องหลังว่าทำไมสิ่งนี้จึงจำเป็นคือ ระบบไฟล์ทำงานได้แย่ลงเมื่อมีข้อมูลปริมาณมากหรือในกรณีการใช้งานแบบรวมศูนย์ (federated use-cases) "บทพูดคนเดียว" (Monologues) ของเอเจนต์เหนือข้อมูลดิบจะมีความสำคัญเพิ่มขึ้นเรื่อยๆ และเราจะต้องมีวิธีการที่มีหลักการและมีโครงสร้างเพื่อรองรับสิ่งนั้น