Opiniones audaces sobre la memoria de la IA

Una de las cosas hermosas de construir en un nuevo espacio es que aún no hay respuestas correctas. Esto también significa que construir algo implica inherentemente hacer apuestas sobre hacia dónde evolucionará el ecosistema. Hemos recopilado una lista (no exhaustiva) a continuación de preguntas que discutimos a menudo con quienes están en este espacio, junto con nuestras predicciones sobre cuál es la respuesta. ¡Nos encantaría escuchar tus pensamientos, predicciones y desacuerdos!

¿Hay espacio para empresas de memoria y bases de conocimiento más allá de los laboratorios?

• Predicción: Las empresas que hacen escalamiento vertical de memoria (es decir, ayudar a los agentes a funcionar por más tiempo) tendrán dificultades para competir y serán presionadas por los laboratorios y otros arneses agentivos. Las empresas que hacen escalamiento horizontal (es decir, entre equipos u organizaciones enteras) encontrarán un panorama mejor. Esto se debe a que los ciclos de negociación empresarial son más largos y los problemas (aislamiento de datos, seguridad, ontología de la empresa) no pueden resolverse con la actualización de modelo o idea de investigación más reciente.

¿Deberían las capas de memoria operar en el espacio de pesos o tokens?

• El espacio de tokens tiene muchas ventajas. Es interpretable. Es independiente del modelo. Es barato. Tenemos décadas de infraestructura construida para manejar almacenamiento, aislamiento de datos, modularidad, etc.
• Sin embargo, el espacio de pesos parece ser más expresivo y puede haber una clase de problemas que no podemos resolver puramente en el espacio de tokens. En particular, la memoria procedural que involucra líneas difusas y caminos de ramificación complejos no parece adecuada para el espacio de tokens (por ejemplo, piensa en intentar leer las reglas de un juego de mesa versus que te muestren cómo se juega).
• Predicción: La mayoría de la memoria operará en el espacio de tokens (por ejemplo, trazas de agentes, información semántica, etc.), pero habrá ciertos problemas (por ejemplo, estilo de escritura, gusto, habilidades procedurales, etc.) que tendrán adaptadores que se pueden ajustar en los modelos. Las técnicas de interpretación mecánica nos permitirán interpretarlos.

¿Es la memoria simplemente un problema de búsqueda y recuperación?

• La mayoría de los sistemas de memoria actuales se centran en la recuperación. Se centran en encontrar la información correcta en el momento adecuado para que los agentes trabajen (por ejemplo, el benchmark LoCoMo se centra en la recuperación de una aguja en un pajar).
• La pregunta es si esto es suficiente para resolver el problema de la memoria. Dicho de otra manera, si conectas un motor de búsqueda de última generación (por ejemplo, Google, Exa o Perplexity) a un almacén de datos privado, ¿es suficiente para considerar la memoria resuelta?
• Predicción: Hay un creciente consenso entre investigadores y desarrolladores que trabajan en la vanguardia de que la memoria no es meramente almacenamiento de información y recuperación sobre esa información. Internamente llamamos a este problema "radio de explosión". La utilidad de la información está limitada por el alcance (tiempo o contexto). Los humanos no tienen problema en leer toneladas de texto irrelevante y solo aplicar el peso adecuado a la información más útil. Un sistema de recuperación puro (incluso con reordenamiento inteligente) se queda corto.

¿Deberíamos inyectar información en el contexto automáticamente?

• El argumento en contra es la putrefacción del contexto o contaminación. Inyectar información en un agente, especialmente si no es la información correcta, podría causar un rendimiento degradado. También hace que el agente sobreestime las conexiones entre tus sesiones que pueden no ser reales. Por eso mucha gente desactiva las funciones de memoria en ChatGPT o Claude Code.
• Predicción: Inyectar información en el contexto es crítico porque permite al agente manejar "incógnitas desconocidas". Puedes tener una herramienta de memoria perfecta, pero si el agente no sabe usarla, no has resuelto el problema. Para los humanos, este tipo de "inyección" ocurre todo el tiempo. Los recuerdos pasados aparecen en tu conciencia sin tu elección activa. Los problemas con esto hoy en día probablemente sean consecuencia del problema de radio de explosión descrito anteriormente.

¿Cuáles son los benchmarks adecuados para la memoria?

• Existe la sensación general de que los benchmarks existentes como LoCoMo y LongMemEval no son suficientes. Hemos alcanzado aproximadamente un 85% de rendimiento en ellos y la memoria aún se siente tan no resuelta hoy como hace un año. Además, un mejor rendimiento en los benchmarks no parece correlacionarse con una memoria que "se sienta mejor" desde la perspectiva del usuario.
• Además, los benchmarks en este espacio son difíciles de construir ya que los horizontes de tiempo inherentemente largos sobre los que opera la memoria crean problemas de disponibilidad de datos y costo/escalamiento.
• Predicción: La empresa o laboratorio que resuelva este problema probablemente no lo hará escalando una colina en un benchmark, sino apostando por algún conocimiento del cliente/usuario que los benchmarks actuales no están midiendo. Esto es similar a Wisprflow, donde descartaron la métrica de tasa de error de palabras en la que se anclaban otras herramientas de transcripción.

¿Las ventanas de contexto más largas lo resolverán todo?

• Hicimos una predicción en enero de que las ventanas de contexto no resolverían el problema y hasta ahora ha resultado ser mayormente correcta.

Los modelos fuertes combinados con integraciones de datos hacen que los sistemas de memoria sean inútiles

• El argumento a favor es que puedes recuperar cualquier información que quieras si tienes un modelo de frontera + arnés de agente + conectores de datos MCP. Y resulta que la calidad de recuperación no cambia mucho en comparación con otros sistemas (por ejemplo, LLM wiki, recuperación híbrida, etc.)
• Predicción: A corto plazo, los sistemas de memoria siguen siendo útiles porque reducen la latencia y el costo en comparación con hacer que los modelos de frontera busquen sobre todo todo el tiempo. A mediano y largo plazo, los sistemas de memoria permiten consistencia en las recuperaciones, lo que permite la acumulación. Dicho de otra manera, todavía hacemos que los agentes escriban código que mejoran con el tiempo en lugar de hacer que manifiesten, digamos, una aplicación directamente.

La búsqueda agentiva sobre sistemas de archivos es todo lo que necesitas

• Letta predijo esto el año pasado y ha resultado ser bastante profético. A corto-mediano plazo, los agentes son extremadamente buenos operando sobre sistemas de archivos debido al post-entrenamiento orientado al rendimiento de codificación. Aprovechar ese post-entrenamiento da frutos hoy.
• Predicción: A largo plazo, es difícil no imaginar un tipo de índice híbrido además de un sistema de archivos. La intuición principal detrás de por qué esto es necesario es que los sistemas de archivos tienen peor rendimiento cuando hay mayores volúmenes de datos o en casos de uso federados. Los "monólogos" de los agentes sobre datos sin procesar también se volverán cada vez más importantes y necesitaremos formas estructuradas y con principios para respaldarlos.