Opiniones polémicas sobre la memoria de la IA

Una de las cosas hermosas de construir en un nuevo espacio es que aún no hay respuestas correctas. Esto también significa que construir algo implica hacer apuestas sobre hacia dónde evolucionará el ecosistema. Hemos recopilado una lista (no exhaustiva) a continuación de preguntas que discutimos a menudo con quienes están en este espacio, junto con nuestras predicciones sobre cuál es la respuesta. ¡Nos encantaría escuchar tus opiniones, predicciones y desacuerdos!

¿Hay espacio para empresas de memoria y bases de conocimiento más allá de los laboratorios?

• Predicción: Las empresas que escalan la memoria verticalmente (es decir, ayudando a los agentes a funcionar por más tiempo) tendrán dificultades para competir y serán presionadas por los laboratorios y otros arneses agentivos. Las empresas que escalan horizontalmente (es decir, entre equipos u organizaciones enteras) encontrarán un mejor panorama. Esto se debe a que los ciclos de venta empresarial toman más tiempo y los problemas (aislamiento de datos, seguridad, ontología de la empresa) no pueden resolverse con la actualización de modelo más reciente o una idea de investigación.

¿Deberían las capas de memoria operar en el espacio de pesos o de tokens?

• El espacio de tokens tiene muchas ventajas. Es interpretable. Es independiente del modelo. Es barato. Tenemos décadas de infraestructura construida para manejar almacenamiento, aislamiento de datos, modularidad, etc.
• El peso, sin embargo, parece ser más expresivo y puede haber una clase de problemas que no podemos resolver puramente en el espacio de tokens. En particular, la memoria procedimental que involucra líneas difusas y caminos de ramificación complejos no parece adecuada para el espacio de tokens (por ejemplo, piensa en intentar leer las reglas de un juego de mesa versus que te muestren cómo jugarlo).
• Predicción: La mayoría de la memoria operará en el espacio de tokens (por ejemplo, trazas de agentes, información semántica, etc.), pero habrá ciertos problemas (por ejemplo, estilo de escritura, gusto, habilidades procedimentales, etc.) que tendrán adaptadores que se pueden ajustar en los modelos. Las técnicas de interpretabilidad mecánica nos permitirán interpretarlos.

¿Es la memoria simplemente un problema de búsqueda y recuperación?

• La mayoría de los sistemas de memoria actuales se centran en la recuperación. Se centran en encontrar la información correcta en el momento adecuado para que los agentes trabajen (por ejemplo, el benchmark LoCoMo se centra en la recuperación de una aguja en un pajar).
• La pregunta es si esto es suficiente para resolver el problema de la memoria. Dicho de otra manera, si conectas una búsqueda de última generación (por ejemplo, Google, Exa o Perplexity) a un almacén de datos privado, ¿es suficiente para considerar la memoria resuelta?
• Predicción: Existe un creciente consenso de investigadores y desarrolladores que trabajan en la vanguardia de que la memoria no es simplemente almacenamiento de información y recuperación sobre esa información. Internamente llamamos a este problema "radio de explosión". La utilidad de la información está limitada por el alcance (tiempo o contexto). Los humanos no tienen problema en leer toneladas de texto irrelevante y solo aplicar el peso adecuado a la información más útil. Un sistema de recuperación puro (incluso con reranking inteligente) no alcanza ese nivel.

¿Deberíamos inyectar información en el contexto automáticamente?

• El argumento en contra es la putrefacción del contexto o la contaminación. Inyectar información en un agente, especialmente si no es la información correcta, podría causar un rendimiento degradado. También hace que el agente sobrestime las conexiones entre tus sesiones que pueden no ser reales. Por eso muchas personas desactivan las funciones de memoria en ChatGPT o Claude Code.
• Predicción: Inyectar información en el contexto es crítico porque permite al agente lidiar con "incógnitas desconocidas". Puedes tener una herramienta de memoria perfecta, pero si el agente no sabe usarla, no has resuelto el problema. Para los humanos, este tipo de "inyección" ocurre todo el tiempo. Los recuerdos pasados aparecen en tu conciencia sin tu elección activa. Los problemas con esto hoy probablemente sean consecuencias del problema de radio de explosión descrito anteriormente.

¿Cuáles son los benchmarks correctos para la memoria?

• Existe la sensación general de que los benchmarks existentes como LoCoMo y LongMemEval no son suficientes. Hemos alcanzado aproximadamente un 85% de rendimiento en ellos y la memoria sigue sintiéndose tan no resuelta hoy como hace un año. Además, un mejor rendimiento en los benchmarks no parece correlacionarse con una memoria de "mejor sensación" desde la perspectiva del usuario.
• Además, los benchmarks en este espacio son difíciles de construir porque los horizontes de tiempo inherentemente largos sobre los que opera la memoria crean problemas de disponibilidad de datos y costo/escalabilidad.
• Predicción: La empresa o laboratorio que resuelva este problema probablemente no lo hará escalando en un benchmark, sino apostando por algún conocimiento del cliente/usuario que los benchmarks actuales no están midiendo. Esto es similar a Wisprflow, donde descartaron la métrica de tasa de error de palabras en la que se basaban otras herramientas de transcripción.

¿Las ventanas de contexto más largas lo resolverán todo?

• Hicimos una predicción en enero de que las ventanas de contexto no resolverían el problema y hasta ahora ha resultado ser mayormente correcta.

Modelos fuertes combinados con integraciones de datos hacen que los sistemas de memoria sean inútiles

• El argumento a favor es que puedes recuperar cualquier información si tienes un modelo frontera + arnés de agente + conectores de datos MCP. Y resulta que la calidad de recuperación no cambia mucho en comparación con otros sistemas (por ejemplo, LLM wiki, recuperación híbrida, etc.)
• Predicción: A corto plazo, los sistemas de memoria siguen siendo útiles porque reducen la latencia y el costo en comparación con tener modelos frontera buscando sobre todo todo el tiempo. A medio y largo plazo, los sistemas de memoria permiten consistencia en las recuperaciones, lo que permite la acumulación. Dicho de otra manera, todavía hacemos que los agentes escriban código que mejoran con el tiempo en lugar de hacer que manifiesten, por ejemplo, una aplicación directamente.

La búsqueda agéntica sobre sistemas de archivos es todo lo que necesitas

• Letta predijo esto el año pasado y ha resultado ser bastante profético. A corto-medio plazo, los agentes son extremadamente buenos operando sobre sistemas de archivos debido al post-entrenamiento centrado en el rendimiento de codificación. Aprovechar ese post-entrenamiento produce recompensas hoy.
• Predicción: A largo plazo, es difícil no imaginar un tipo de índice híbrido además de un sistema de archivos. La intuición principal detrás de por qué esto es necesario es que los sistemas de archivos rinden peor cuando hay volúmenes más altos de datos o en casos de uso federados. Los "monólogos" de agentes sobre datos sin procesar también se volverán cada vez más importantes y necesitaremos formas estructuradas y con principios para respaldar eso.