關於 AI 記憶的犀利觀點

在一個新領域中進行建構的美好之處，在於目前還沒有正確答案。這也意味著，任何建構本質上都包含對生態系統演進方向的賭注。以下我們整理了一份（非詳盡）的常見問題清單，這些問題是我們經常與業界人士討論的，同時也附上我們對答案的預測。我們很樂意聽聽你的想法、預測，甚至是反對意見！

在大型實驗室之外，記憶與知識庫公司還有發展空間嗎？

• 預測： 專注於垂直記憶擴展（即協助 Agent 運行更長時間）的公司，將難以在競爭中生存，並會被大型實驗室及其他 Agent 框架所擠壓。而專注於水平擴展（即跨團隊或整個組織）的公司，則會找到更佳的發展空間。這是因為企業的交易週期較長，且其問題（資料隔離、安全性、企業本體論）無法透過最新的模型更新或研究想法來解決。

記憶層應該在權重空間還是 Token 空間中運作？

• Token 空間有許多優勢。它可被解讀、與模型無關、成本低廉。我們已有數十年的基礎設施來處理儲存、資料隔離、模組化等問題。
• 然而，權重空間似乎更具表達能力，而且可能有一類問題是我們無法純粹在 Token 空間中解決的。特別是涉及模糊邊界和複雜分支路徑的程序性記憶，似乎不太適合 Token 空間（例如，試著閱讀桌遊的規則，與看著別人實際玩遊戲相比）。
• 預測： 大多數記憶將在 Token 空間中運作（例如 Agent 軌跡、語義資訊等），但某些問題（例如寫作風格、品味、程序性技能等）將會有適配器1可以嵌入模型中。機械可解釋性技術將使我們能夠解讀它們。

記憶僅僅是搜尋與檢索的問題嗎？

• 目前大多數記憶系統都專注於檢索。它們專注於在正確的時間為 Agent 找到正確的資訊來完成工作（例如 LoCoMo 基準測試專注於大海撈針式的檢索）。
• 問題是，這是否足以解決記憶問題？換句話說，如果你將最先進的搜尋引擎（例如 Google、Exa 或 Perplexity）連接到私人資料儲存庫，這就足以稱之為記憶問題被解決了嗎？
• 預測： 處於前沿的研究人員和建構者之間越來越多的共識2是，記憶不僅僅是資訊的儲存和檢索。我們內部將這個問題稱為「爆炸半徑」。資訊的效用受到範圍（時間或語境）的限制。人類可以毫不費力地閱讀大量不相關的文字，並且只對最有用的資訊給予適當的重視。純粹的檢索系統（即使有智慧的重排序）也無法達到這個目標。

我們應該自動將資訊注入上下文嗎？

• 反對的理由是上下文腐爛或污染。將資訊注入 Agent，尤其是如果它不是正確的資訊，可能會導致效能下降。它還會導致 Agent 過度依賴你各個會話之間的連結，而這些連結可能並非真實存在。這也是為什麼許多人關閉 ChatGPT 或 Claude Code 的記憶功能。
• 預測： 將資訊注入上下文至關重要，因為它使 Agent 能夠處理「未知的未知」。你可以擁有一個完美的記憶工具，但如果 Agent 不知道如何使用它，你就沒有解決問題。對人類而言，這種「注入」時時刻刻都在發生。過去的記憶會在你未主動選擇的情況下浮現在你的意識中。目前這方面的問題，很可能源於上述的「爆炸半徑」問題。

記憶的正確基準測試是什麼？

• 普遍認為現有的基準測試，如 LoCoMo 和 LongMemEval，還不夠充分。我們在這些基準測試上已經達到了大約 85% 的效能，但記憶問題至今仍像一年前一樣未解決。此外，基準測試效能的提升，似乎並未與使用者感知到的「更好的記憶」相關聯。
• 此外，這個領域的基準測試很難建立，因為記憶運作的時間範圍本質上很長，這造成了資料可用性與成本/擴展性的問題。
• 預測： 能夠解決這個問題的公司或實驗室，可能不會透過在基準測試上逐步優化來達成，而是會押注於某些當前基準測試未能衡量的客戶/使用者洞察。這類似於 Wisprflow，他們拋棄了其他轉錄工具所依賴的字錯誤率指標。

更長的上下文視窗會解決一切問題嗎？

• 我們在一月份做了一個預測[3]，認為上下文視窗實際上不會解決問題，而到目前為止，這個預測大致上是正確的。

強大的模型結合資料整合，使得記憶系統變得無用

• 支持的理由是，如果你擁有前沿模型 + Agent 框架 + MCP 資料連接器，你可以檢索任何你想要的資訊。而且事實證明，檢索品質與其他系統（例如 LLM wiki、混合檢索等）相比並沒有太大差異。
• 預測： 短期內，記憶系統仍然有用，因為與讓前沿模型隨時搜尋所有資料相比，它們可以降低延遲和成本。中長期來看，記憶系統能夠實現檢索的一致性，從而實現複合效應。換句話說，我們仍然讓 Agent 編寫程式碼，並隨著時間推移進行改進，而不是讓它們直接生成一個應用程式。

基於檔案系統的 Agent 搜尋就是一切

• Letta 去年預測了這一點[4]，而事實證明這極具預言性。在短期到中期內，由於針對編碼效能的後期訓練，Agent 非常擅長在檔案系統上運作。利用這種後期訓練，今天就能獲得回報。
• 預測： 長遠來看，很難想像除了檔案系統之外，不會出現一種混合索引。之所以需要這種索引，主要直覺在於，當資料量較大或處於聯邦式使用案例時，檔案系統的表現會較差。Agent 對原始資料的「獨白」也將變得越來越重要，我們需要原則性且結構化的方式來支援這一點。