Những góc nhìn táo bạo về bộ nhớ AI

Một trong những điều tuyệt vời khi xây dựng trong một không gian mới là chưa có câu trả lời chính xác nào. Điều này cũng có nghĩa là để xây dựng bất cứ thứ gì, bạn cần đặt cược vào hướng phát triển của hệ sinh thái. Chúng tôi đã tổng hợp một danh sách (không đầy đủ) bên dưới về những câu hỏi thường được thảo luận với những người trong lĩnh vực này, cùng với dự đoán của chúng tôi về câu trả lời. Chúng tôi rất muốn nghe suy nghĩ, dự đoán và cả những ý kiến trái chiều từ bạn!

Liệu còn chỗ cho các công ty về bộ nhớ và kiến thức nền ngoài các phòng thí nghiệm (labs) không?

• Dự đoán: Các công ty tập trung vào mở rộng bộ nhớ theo chiều dọc (tức là giúp các tác nhân hoạt động lâu hơn) sẽ gặp khó khăn trong cạnh tranh và bị chèn ép bởi các phòng thí nghiệm và các hệ thống điều phối tác nhân khác. Các công ty tập trung vào mở rộng theo chiều ngang (tức là trên toàn bộ nhóm hoặc toàn bộ tổ chức) sẽ tìm thấy một bối cảnh thuận lợi hơn. Điều này là do chu kỳ giao dịch doanh nghiệp kéo dài hơn và các vấn đề (cô lập dữ liệu, bảo mật, bản thể luận công ty) không thể được giải quyết bằng bản cập nhật mô hình hoặc ý tưởng nghiên cứu mới nhất.

Các lớp bộ nhớ nên hoạt động trong không gian trọng số (weight) hay không gian token?

• Không gian token có nhiều lợi thế. Nó có thể giải thích được. Nó không phụ thuộc vào mô hình. Nó rẻ. Chúng ta đã có nhiều thập kỷ hạ tầng được xây dựng để xử lý lưu trữ, cô lập dữ liệu, tính mô-đun, v.v.
• Tuy nhiên, trọng số dường như có khả năng biểu đạt cao hơn và có thể có một lớp vấn đề mà chúng ta không thể giải quyết hoàn toàn trong không gian token. Đặc biệt, bộ nhớ thủ tục liên quan đến các ranh giới mờ và các nhánh phức tạp dường như không phù hợp với không gian token (ví dụ: hãy nghĩ về việc cố đọc luật chơi của một board game so với việc được chỉ dẫn cách chơi nó).
• Dự đoán: Hầu hết bộ nhớ sẽ hoạt động trong không gian token (ví dụ: dấu vết tác nhân, thông tin ngữ nghĩa, v.v.) nhưng sẽ có một số vấn đề nhất định (ví dụ: phong cách viết, gu thẩm mỹ, kỹ năng thủ tục, v.v.) mà sẽ có các bộ điều hợp có thể được tích hợp vào các mô hình. Các kỹ thuật giải thích cơ chế (mech interp) sẽ cho phép chúng ta giải thích chúng.

Liệu bộ nhớ chỉ đơn thuần là một vấn đề về tìm kiếm và truy xuất?

• Hầu hết các hệ thống bộ nhớ hiện tại đều tập trung vào việc truy xuất. Chúng tập trung vào việc tìm đúng thông tin vào đúng thời điểm để các tác nhân thực hiện công việc (ví dụ: benchmark LoCoMo tập trung vào việc tìm kim trong đống cỏ khô).
• Câu hỏi đặt ra là liệu điều này có đủ để giải quyết vấn đề bộ nhớ hay không. Nói cách khác, nếu bạn kết nối một công cụ tìm kiếm SOTA (ví dụ: Google, Exa hoặc Perplexity) với một kho dữ liệu riêng tư, liệu đó có đủ để coi vấn đề bộ nhớ đã được giải quyết không?
• Dự đoán: Ngày càng có sự đồng thuận gia tăng giữa các nhà nghiên cứu và nhà phát triển đang làm việc ở tuyến đầu rằng bộ nhớ không chỉ đơn thuần là lưu trữ thông tin và truy xuất thông tin đó. Chúng tôi gọi vấn đề này nội bộ là "bán kính vụ nổ" (blast radius). Tính hữu ích của thông tin bị giới hạn bởi phạm vi (thời gian hoặc ngữ cảnh). Con người không gặp vấn đề gì khi đọc một lượng lớn văn bản không liên quan và chỉ áp dụng trọng số phù hợp cho thông tin hữu ích nhất. Một hệ thống truy xuất thuần túy (ngay cả với việc sắp xếp lại thông minh) vẫn không đạt được điều đó.

Chúng ta có nên tự động đưa thông tin vào ngữ cảnh không?

• Lập luận phản đối là sự suy thoái ngữ cảnh (context rot) hoặc ô nhiễm. Việc đưa thông tin vào một tác nhân, đặc biệt nếu đó không phải là thông tin phù hợp, có thể gây suy giảm hiệu suất. Nó cũng khiến tác nhân quá tập trung vào các mối liên kết giữa các phiên của bạn, những mối liên kết này có thể không thực sự tồn tại. Đây là lý do tại sao nhiều người tắt các tính năng bộ nhớ cho ChatGPT hoặc Claude Code.
• Dự đoán: Việc đưa thông tin vào ngữ cảnh là rất quan trọng vì nó cho phép tác nhân xử lý những "điều không biết mình không biết" (unknown unknowns). Bạn có thể có một công cụ bộ nhớ hoàn hảo nhưng nếu tác nhân không biết cách sử dụng nó, bạn vẫn chưa giải quyết được vấn đề. Đối với con người, kiểu "đưa vào" này xảy ra mọi lúc. Những ký ức trong quá khứ hiện lên trong ý thức của bạn mà không có sự lựa chọn chủ động. Các vấn đề hiện tại với điều này có thể là hệ quả từ vấn đề bán kính vụ nổ đã nêu ở trên.

Các benchmark phù hợp cho bộ nhớ là gì?

• Có một cảm giác chung rằng các benchmark hiện có như LoCoMo và LongMemEval là chưa đủ. Chúng tôi đã đạt khoảng 85% hiệu suất trên chúng và bộ nhớ vẫn có cảm giác chưa được giải quyết như một năm trước. Hơn nữa, hiệu suất tốt hơn trên các benchmark dường như không tương quan với cảm nhận "tốt hơn" về bộ nhớ từ góc nhìn của người dùng.
• Hơn nữa, việc xây dựng benchmark trong lĩnh vực này rất khó khăn vì khung thời gian vốn dĩ dài mà bộ nhớ hoạt động tạo ra các vấn đề về tính khả dụng của dữ liệu và chi phí/mở rộng quy mô.
• Dự đoán: Công ty hoặc phòng thí nghiệm giải quyết được vấn đề này có thể sẽ không làm điều đó bằng cách leo đồi (hill climbing) trên một benchmark mà bằng cách đặt cược vào một số hiểu biết sâu sắc về khách hàng/người dùng mà các benchmark hiện tại không đo lường được. Điều này tương tự như Wisprflow, nơi họ đã loại bỏ chỉ số tỷ lệ lỗi từ (word-error-rate) mà các công cụ phiên âm khác dựa vào.

Liệu các cửa sổ ngữ cảnh dài hơn sẽ giải quyết được mọi thứ?

• Chúng tôi đã đưa ra dự đoán vào tháng 1 rằng các cửa sổ ngữ cảnh sẽ không thực sự giải quyết được vấn đề và cho đến nay điều này đã đúng.

Các mô hình mạnh kết hợp với tích hợp dữ liệu làm cho hệ thống bộ nhớ trở nên vô dụng

• Lập luận ủng hộ là bạn có thể truy xuất bất kỳ thông tin nào bạn muốn nếu bạn có một mô hình tiên tiến + hệ thống điều phối tác nhân + các bộ kết nối dữ liệu MCP. Và hóa ra chất lượng truy xuất không thay đổi nhiều so với các hệ thống khác (ví dụ: LLM wiki, truy xuất kết hợp, v.v.).
• Dự đoán: Trong ngắn hạn, các hệ thống bộ nhớ vẫn hữu ích vì chúng giảm độ trễ và chi phí so với việc để các mô hình tiên tiến tìm kiếm mọi thứ mọi lúc. Trong trung và dài hạn, các hệ thống bộ nhớ cho phép tính nhất quán trong các lần truy xuất, từ đó cho phép sự tăng trưởng kép. Nói cách khác, chúng ta vẫn có các tác nhân viết mã và cải thiện nó theo thời gian thay vì yêu cầu chúng tạo ra trực tiếp một ứng dụng chẳng hạn.

Tìm kiếm tác nhân (Agentic search) trên hệ thống tệp tin là tất cả những gì bạn cần

• Letta đã dự đoán điều này vào năm ngoái và hóa ra nó khá có tính tiên tri. Trong ngắn hạn và trung hạn, các tác nhân rất giỏi trong việc thao tác trên hệ thống tệp tin nhờ vào quá trình huấn luyện sau (post-training) nhằm vào hiệu suất lập trình. Việc tận dụng quá trình huấn luyện sau đó mang lại hiệu quả ngay hôm nay.
• Dự đoán: Về lâu dài, thật khó để không tưởng tượng ra một loại chỉ mục kết hợp (hybrid index) bên cạnh hệ thống tệp tin. Trực giác chính đằng sau sự cần thiết này là hệ thống tệp tin hoạt động kém hơn khi có khối lượng dữ liệu lớn hơn hoặc trong các trường hợp sử dụng liên kết (federated). Các "đoạn độc thoại" (monologues) của tác nhân trên dữ liệu thô cũng sẽ ngày càng trở nên quan trọng và chúng ta sẽ cần những cách có cấu trúc và nguyên tắc để hỗ trợ điều đó.