새로운 공간에서 무언가를 구축하는 것의 아름다운 점 중 하나는 아직 정답이 없다는 것입니다. 이는 또한 무언가를 구축하려면 생태계가 어떻게 진화할지에 대한 베팅을 해야 한다는 것을 의미합니다. 우리는 이 공간에 있는 사람들과 자주 논의하는 질문들과 그에 대한 우리의 예측을 아래에 (완전하진 않지만) 정리했습니다. 여러분의 생각, 예측, 그리고 반대 의견을 듣고 싶습니다!
연구소 외부의 메모리 및 지식 베이스 기업을 위한 공간이 있을까?
- 예측: 수직적 메모리 확장을 하는 기업 (즉, 에이전트가 더 오래 실행되도록 돕는 기업)은 경쟁에서 어려움을 겪고 연구소 및 다른 에이전트 하네스에 의해 압박받을 것입니다. 수평적 확장을 하는 기업 (즉, 팀 또는 조직 전체)은 더 나은 환경을 찾을 것입니다. 이는 엔터프라이즈 거래 주기가 더 길고 문제(데이터 격리, 보안, 회사 온톨로지)가 최신 모델 업데이트나 연구 아이디어로 해결될 수 없기 때문입니다.
메모리 레이어는 가중치 공간과 토큰 공간 중 어디에서 작동해야 할까?
- 토큰 공간은 많은 장점이 있습니다. 해석 가능하고, 모델에 의존하지 않으며, 저렴합니다. 수십 년간 스토리지, 데이터 격리, 모듈성 등을 처리하기 위한 인프라가 구축되어 있습니다.
- 그러나 가중치는 더 표현력이 풍부해 보이며, 토큰 공간만으로는 해결할 수 없는 문제 유형이 있을 수 있습니다. 특히, 모호한 경계와 복잡한 분기 경로를 포함하는 절차적 메모리는 토큰 공간에 적합하지 않습니다 (예: 보드 게임 규칙을 읽으려고 하는 것과 플레이 방법을 보여주는 것의 차이를 생각해 보세요).
- 예측: 대부분의 메모리는 토큰 공간에서 작동할 것입니다 (예: 에이전트 트레이스, 의미 정보 등). 그러나 특정 문제 (예: 글쓰기 스타일, 취향, 절차적 기술 등)는 모델에 맞출 수 있는 가질 어댑터를 것입니다. 메커니즘 해석 기법을 통해 이를 해석할 수 있을 것입니다.
메모리는 단순히 검색 및 인출 문제일까?
- 대부분의 현재 메모리 시스템은 검색에 초점을 맞추고 있습니다. 적시에 에이전트가 작업을 수행할 수 있도록 올바른 정보를 찾는 데 중점을 둡니다 (예: LoCoMo 벤치마크는 건초더미에서 바늘 찾기 검색에 초점을 맞춤).
- 문제는 이것이 메모리 문제를 해결하기에 충분한지입니다. 다른 말로 하면, 최첨단 검색(예: Google, Exa, Perplexity)을 개인 데이터 저장소에 연결한다면, 그것으로 메모리 문제가 해결되었다고 할 수 있을까요?
- 예측: 최첨단에서 작업하는 연구자와 빌더들 사이에서 메모리가 단순히 정보 저장 및 그 정보에 대한 검색이 아니라는 늘어나고 합의가 있습니다. 우리는 내부적으로 이 문제를 '폭발 반경(blast radius)'이라고 부릅니다. 정보의 유용성은 범위(시간 또는 맥락)에 의해 제한됩니다. 인간은 방대한 양의 관련 없는 텍스트를 읽고 가장 유용한 정보에만 적절한 가중치를 적용하는 데 아무런 문제가 없습니다. 순수 검색 시스템(심지어 스마트한 재순위화를 포함하더라도)은 그에 미치지 못합니다.
정보를 자동으로 컨텍스트에 주입해야 할까?
- 반대 의견은 컨텍스트 부패 또는 오염입니다. 에이전트에 정보를 주입하는 것은, 특히 올바른 정보가 아닐 경우, 성능 저하를 초래할 수 있습니다. 또한 에이전트가 실제로 존재하지 않을 수 있는 세션 간의 연결에 과도하게 의존하게 만듭니다. 이것이 많은 사람들이 ChatGPT나 Claude Code의 메모리 기능을 끄는 이유입니다.
- 예측: 정보를 컨텍스트에 주입하는 것은 에이전트가 '알려지지 않은 미지의 것'을 처리할 수 있게 해주기 때문에 중요합니다. 완벽한 메모리 도구가 있더라도 에이전트가 그것을 사용해야 한다는 것을 모르면 문제를 해결한 것이 아닙니다. 인간의 경우, 이러한 유형의 '주입'은 항상 일어납니다. 과거의 기억이 당신의 의식적인 선택 없이 의식에 떠오릅니다. 오늘날 이러한 문제는 아마도 위에서 설명한 폭발 반경 문제의 하위 문제일 것입니다.
메모리에 적합한 벤치마크는 무엇일까?
- LoCoMo 및 LongMemEval과 같은 기존 벤치마크가 충분하지 않다는 일반적인 인식이 있습니다. 우리는 이들에서 약 85%의 성능을 달성했지만, 메모리는 여전히 1년 전과 마찬가지로 해결되지 않은 상태로 느껴집니다. 더욱이, 벤치마크에서 더 나은 성능이 사용자 관점에서 '더 나은 느낌'의 메모리와 상관관계가 있는 것 같지 않습니다.
- 또한, 이 공간의 벤치마크는 메모리가 작동하는 본질적으로 긴 시간 범위로 인해 데이터 가용성 및 비용/확장 문제를 야기하기 때문에 구축하기 어렵습니다.
- 예측: 이 문제를 해결하는 기업이나 연구소는 벤치마크에서 언덕 오르기(hill climbing)를 하는 것이 아니라, 현재 벤치마크가 측정하지 않는 고객/사용자 인사이트에 베팅함으로써 해결할 것입니다. 이는 Wisprflow가 다른 전사 도구가 고정한 단어 오류율 지표를 버린 것과 유사합니다.
더 긴 컨텍스트 윈도우가 모든 것을 해결할까?
- 우리는 1월에 한 예측에서 컨텍스트 윈도우가 실제로 문제를 해결하지 못할 것이라고 했으며, 지금까지 대체로 맞았습니다.
강력한 모델과 데이터 통합의 결합은 메모리 시스템을 쓸모없게 만든다
- 찬성 의견은 프론티어 모델 + 에이전트 하네스 + MCP 데이터 커넥터가 있으면 원하는 정보를 모두 검색할 수 있다는 것입니다. 그리고 검색 품질이 다른 시스템(예: LLM Wiki, 하이브리드 검색 등)과 비교해 크게 다르지 않다는 것이 밝혀졌습니다.
- 예측: 단기적으로는 메모리 시스템이 여전히 유용합니다. 프론티어 모델이 항상 모든 것을 검색하게 하는 것보다 지연 시간과 비용을 줄여주기 때문입니다. 중장기적으로는 메모리 시스템이 검색에 걸친 일관성을 가능하게 하여 복합 효과를 창출합니다. 다시 말해, 우리는 여전히 에이전트가 코드를 작성하고 시간이 지남에 따라 이를 개선하도록 하며, 앱을 직접 생성하도록 하지 않습니다.
파일 시스템에 대한 에이전틱 검색이 전부다
- Letta는 작년에 이를 예측했으며, 상당히 예언적이었던 것으로 밝혀졌습니다. 단기-중기적으로 에이전트는 코딩 성능을 목표로 한 사후 훈련 덕분에 파일 시스템을 통해 작업하는 데 매우 뛰어납니다. 그 사후 훈련을 활용하면 오늘날에도 보상을 얻을 수 있습니다.
- 예측: 장기적으로는 파일 시스템 외에도 하이브리드 인덱스 유형을 상상하지 않기 어렵습니다. 이것이 필요한 이유에 대한 주요 직관은 파일 시스템이 데이터 양이 많거나 연합 사용 사례에서 성능이 떨어진다는 것입니다. 원시 데이터에 대한 에이전트의 '독백'도 점점 중요해질 것이며, 이를 지원하기 위한 원칙적이고 구조화된 방법이 필요할 것입니다.
