Steile Thesen zum KI-Gedächtnis

Eines der schönen Dinge daran, in einem neuen Bereich zu arbeiten, ist, dass es noch keine richtigen Antworten gibt. Das bedeutet auch, dass das Bauen in diesem Bereich zwangsläufig Wetten darauf beinhaltet, wohin sich das Ökosystem entwickeln wird. Wir haben unten eine (nicht vollständige) Liste von Fragen zusammengestellt, die wir oft mit Leuten in diesem Bereich diskutieren, zusammen mit unseren Vorhersagen, was die Antwort ist. Wir würden uns freuen, Ihre Gedanken, Vorhersagen und Meinungsverschiedenheiten zu hören!

Gibt es Platz für Unternehmen für Gedächtnis- und Wissensdatenbanken jenseits der Labore?

• Vorhersage: Unternehmen, die vertikale Speicher-Skalierung betreiben (d.h. Agenten helfen, länger zu laufen), werden es schwer haben, sich zu behaupten, und werden von den Laboren und anderen agentischen Steuerungen unter Druck gesetzt werden. Unternehmen, die horizontale Skalierung betreiben (d.h. über Teams oder ganze Organisationen hinweg), werden eine bessere Landschaft vorfinden. Dies liegt daran, dass Unternehmensentscheidungszyklen länger dauern und die Probleme (Datenisolation, Sicherheit, Unternehmensontologie) nicht durch das neueste Modell-Update oder die neueste Forschungsidee gelöst werden können.

Sollten Gedächtnisschichten im Gewichts- oder im Token-Raum operieren?

• Der Token-Raum hat viele Vorteile. Er ist interpretierbar, modellunabhängig und günstig. Wir haben jahrzehntelange Infrastruktur für Speicherung, Datenisolation, Modularität usw. aufgebaut.
• Der Gewichtsraum scheint jedoch ausdrucksstärker zu sein, und es könnte eine Klasse von Problemen geben, die wir nicht rein im Token-Raum lösen können. Insbesondere prozedurales Gedächtnis mit verschwommenen Grenzen und komplexen Verzweigungspfaden scheint nicht gut für den Token-Raum geeignet (z.B. denken Sie daran, die Regeln eines Brettspiels zu lesen, im Vergleich zu gezeigt zu bekommen, wie man es spielt).
• Vorhersage: Die meisten Gedächtnisse werden im Token-Raum operieren (z.B. Agentenspuren, semantische Informationen usw.), aber es wird bestimmte Probleme geben (z.B. Schreibstil, Geschmack, prozedurale Fähigkeiten usw.), die Adapter haben, die in Modelle eingepasst werden können. Techniken der mechanistischen Interpretierbarkeit werden es uns ermöglichen, sie zu interpretieren.

Ist Gedächtnis einfach ein Such- und Retrieval-Problem?

• Die meisten heutigen Gedächtnissysteme konzentrieren sich auf das Retrieval. Sie sind darauf ausgerichtet, die richtigen Informationen zur richtigen Zeit für Agenten zu finden, um Arbeit zu erledigen (z.B. der LoCoMo-Benchmark fokussiert auf die Nadel-im-Heuhaufen-Suche).
• Die Frage ist, ob dies ausreicht, um das Gedächtnisproblem zu lösen. Anders ausgedrückt: Wenn Sie eine hochmoderne Suche (z.B. Google, Exa oder Perplexity) an einen privaten Datenspeicher anbinden, reicht das dann aus, um das Gedächtnis als gelöst zu betrachten?
• Vorhersage: Es gibt einen wachsenden Konsens unter Forschern und Entwicklern an der Spitze, dass Gedächtnis nicht nur Speicherung von Informationen und Abruf über diese Informationen ist. Wir nennen dieses Problem intern „Blast Radius“. Die Nützlichkeit von Informationen wird durch den Umfang (Zeit oder Kontext) begrenzt. Menschen haben kein Problem damit, große Mengen irrelevanten Textes zu lesen und nur das richtige Gewicht auf die nützlichsten Informationen zu legen. Ein reines Retrieval-System (selbst mit intelligentem Reranking) bleibt dahinter zurück.

Sollten wir Informationen automatisch in den Kontext einfügen?

• Das Argument dagegen ist Context Rot oder Verschmutzung. Das Einfügen von Informationen in einen Agenten, insbesondere wenn es nicht die richtigen Informationen sind, könnte zu einer verschlechterten Leistung führen. Es führt auch dazu, dass der Agent übermäßig auf Verbindungen zwischen Ihren Sitzungen fokussiert, die möglicherweise gar nicht real sind. Aus diesem Grund schalten viele Leute die Gedächtnisfunktionen für ChatGPT oder Claude Code aus.
• Vorhersage: Das Einfügen von Informationen in den Kontext ist entscheidend, da es dem Agenten ermöglicht, mit „unbekannten Unbekannten“ umzugehen. Man kann ein perfektes Gedächtniswerkzeug haben, aber wenn der Agent nicht weiß, dass er es verwenden soll, hat man das Problem nicht gelöst. Bei Menschen geschieht diese Art von „Injektion“ ständig. Vergangene Erinnerungen tauchen in Ihrem Bewusstsein auf, ohne dass Sie aktiv wählen. Die Probleme damit heute sind wahrscheinlich nachgelagert zum oben beschriebenen Blast-Radius-Problem.

Was sind die richtigen Benchmarks für Gedächtnis?

• Es herrscht allgemein die Meinung, dass bestehende Benchmarks wie LoCoMo und LongMemEval nicht ausreichen. Wir haben etwa 85 % Leistung auf ihnen erreicht, und das Gedächtnis fühlt sich heute noch genauso ungelöst an wie vor einem Jahr. Darüber hinaus scheint eine bessere Leistung in den Benchmarks nicht mit einem „besseren Gefühl“ für das Gedächtnis aus Benutzersicht zu korrelieren.
• Zudem sind Benchmarks in diesem Bereich schwierig zu erstellen, da die inhärent langen Zeithorizonte, über die Gedächtnis operiert, Probleme mit Datenverfügbarkeit und Kosten/Skalierung verursachen.
• Vorhersage: Das Unternehmen oder Labor, das dieses Problem löst, wird dies wahrscheinlich nicht durch Bergsteigen auf einem Benchmark tun, sondern durch Wetten auf eine Kunden-/Benutzereinsicht, die aktuelle Benchmarks nicht messen. Dies ist ähnlich wie bei Wisprflow, wo sie die Word-Error-Rate-Metrik verworfen haben, an der andere Transkriptionswerkzeuge festhielten.

Werden längere Kontextfenster alles lösen?

• Wir haben im Januar eine Vorhersage gemacht, dass Kontextfenster das Problem nicht wirklich lösen werden, und es hat sich bisher als größtenteils richtig erwiesen.

Starke Modelle in Kombination mit Datenintegrationen machen Gedächtnissysteme überflüssig

• Das Argument dafür ist, dass man alle gewünschten Informationen abrufen kann, wenn man ein Frontier-Modell + eine agentische Steuerung + MCP-Datenverbinder hat. Und es stellt sich heraus, dass die Retrieval-Qualität sich im Vergleich zu anderen Systemen (z.B. LLM-Wiki, hybrides Retrieval usw.) nicht wesentlich ändert.
• Vorhersage: Kurzfristig sind Gedächtnissysteme immer noch nützlich, da sie Latenz und Kosten im Vergleich zu Frontier-Modellen reduzieren, die ständig alles durchsuchen müssen. Mittel- bis langfristig ermöglichen Gedächtnissysteme Konsistenz bei Abrufen, was eine Kumulierung ermöglicht. Anders ausgedrückt: Wir lassen Agenten immer noch Code schreiben, den sie im Laufe der Zeit verbessern, anstatt sie direkt eine App generieren zu lassen.

Agentisches Durchsuchen von Dateisystemen ist alles, was man braucht

• Letta hat dies letztes Jahr vorhergesagt und es hat sich als ziemlich prophetisch erwiesen. Kurz- bis mittelfristig sind Agenten aufgrund des Post-Trainings zur Verbesserung der Codierleistung extrem gut darin, mit Dateisystemen zu operieren. Die Nutzung dieses Post-Trainings zahlt sich heute aus.
• Vorhersage: Langfristig ist es schwer, sich nicht eine Art Hybridindex zusätzlich zu einem Dateisystem vorzustellen. Die Hauptintuition dafür, warum dies notwendig ist, ist, dass Dateisysteme bei größeren Datenmengen oder in föderierten Anwendungsfällen schlechter abschneiden. Agenten-„Monologe“ über Rohdaten werden ebenfalls zunehmend wichtiger, und wir werden prinzipielle und strukturierte Wege benötigen, um dies zu unterstützen.