Opiniões polêmicas sobre a memória de IA

Uma das coisas bonitas de construir em um novo espaço é que ainda não existem respostas certas. Isso também significa que construir qualquer coisa envolve inerentemente fazer apostas sobre para onde o ecossistema evoluirá. Compilamos uma lista (não exaustiva) abaixo de perguntas que discutimos frequentemente com pessoas neste espaço, junto com nossas previsões sobre qual é a resposta. Adoraríamos ouvir seus pensamentos, previsões e discordâncias!

Há espaço para empresas de memória e base de conhecimento além dos laboratórios?

• Previsão: Empresas que fazem escalonamento vertical de memória (ou seja, ajudar agentes a funcionar por mais tempo) terão dificuldade em competir e serão espremidas pelos laboratórios e outros harnesses agênticos. Empresas que fazem escalonamento horizontal (ou seja, entre equipes ou organizações inteiras) encontrarão um cenário melhor. Isso porque os ciclos de negócios empresariais demoram mais e os problemas (isolamento de dados, segurança, ontologia da empresa) não podem ser resolvidos pela atualização de modelo mais recente ou ideia de pesquisa.

As camadas de memória devem operar no espaço de pesos ou de tokens?

• O espaço de tokens tem muitas vantagens. É interpretável. É independente de modelo. É barato. Temos décadas de infraestrutura construída para lidar com armazenamento, isolamento de dados, modularidade, etc.
• No entanto, o espaço de pesos parece ser mais expressivo e pode haver uma classe de problemas que não podemos resolver puramente no espaço de tokens. Em particular, a memória procedural envolvendo linhas difusas e caminhos de ramificação complexos não parecem bem adequados para o espaço de tokens (por exemplo, pense em tentar ler as regras de um jogo de tabuleiro versus ser mostrado como jogá-lo).
• Previsão: A maioria da memória operará no espaço de tokens (por exemplo, rastros de agentes, informações semânticas, etc.), mas haverá certos problemas (por exemplo, estilo de escrita, gosto, habilidades processuais, etc.) que terão adaptadores que podem ser encaixados em modelos. As técnicas de Mech interp nos permitirão interpretá-los.

A memória é simplesmente um problema de busca e recuperação?

• A maioria dos sistemas de memória atualmente está focada na recuperação. Eles estão focados em encontrar a informação certa no momento certo para que agentes realizem trabalho (por exemplo, o benchmark LoCoMo foca na recuperação de agulha no palheiro).
• A questão é se isso é suficiente para resolver o problema da memória. Dito de outra forma, se você conectar uma busca de ponta (SOTA) (por exemplo, Google ou Exa ou Perplexity) a um armazenamento de dados privado, isso é suficiente para considerar a memória resolvida?
• Previsão: Há um crescente consenso entre pesquisadores e construtores que trabalham na vanguarda de que a memória não é meramente armazenamento de informações e recuperação sobre essas informações. Chamamos esse problema internamente de "blast radius". A utilidade da informação é limitada pelo escopo (tempo ou contexto). Os humanos não têm problemas em ler toneladas de texto irrelevante e aplicar apenas o peso adequado às informações mais úteis. Um sistema de recuperação puro (mesmo com reclassificação inteligente) fica aquém disso.

Devemos injetar informações no contexto automaticamente?

• O argumento contra é a deterioração do contexto ou poluição. Injetar informações em um agente, especialmente se não for a informação correta, pode causar degradação no desempenho. Também faz com que o agente supervalorize conexões entre suas sessões que podem não ser reais. É por isso que muitas pessoas desativam os recursos de memória do chatGPT ou claude code.
• Previsão: Injetar informações no contexto é crítico porque permite que o agente lide com "desconhecidos desconhecidos". Você pode ter uma ferramenta de memória perfeita, mas se o agente não souber usá-la, você não resolveu o problema. Para os humanos, esse tipo de "injeção" acontece o tempo todo. Memórias passadas aparecem em sua consciência sem sua escolha ativa. Os problemas com isso hoje são provavelmente consequências do problema de blast radius delineado acima.

Quais são os benchmarks certos para memória?

• Há um sentimento geral de que os benchmarks existentes como LoCoMo e LongMemEval não são suficientes. Alcançamos cerca de 85% de desempenho neles e a memória ainda parece tão não resolvida hoje quanto há um ano. Além disso, um melhor desempenho nos benchmarks não parece se correlacionar com uma memória de "melhor sensação" do ponto de vista do usuário.
• Além disso, benchmarks neste espaço são difíceis de construir, pois os horizontes de tempo inerentemente longos sobre os quais a memória opera criam problemas de disponibilidade de dados e custo/escala.
• Previsão: A empresa ou laboratório que resolver esse problema provavelmente não o fará escalando uma colina em um benchmark, mas apostando em algum insight de cliente/usuário que os benchmarks atuais não estão medindo. Isso é semelhante ao Wisprflow, onde eles descartaram a métrica de taxa de erro de palavra (word-error-rate) na qual outras ferramentas de transcrição se baseavam.

Janelas de contexto mais longas resolverão tudo?

• Fizemos uma previsão em janeiro de que as janelas de contexto não resolveriam o problema e isso tem se mostrado principalmente correto até agora.

Modelos fortes combinados com integrações de dados tornam os sistemas de memória inúteis

• O argumento a favor é que você pode recuperar qualquer informação que desejar se tiver um modelo de fronteira + harness de agente + conectores de dados MCP. E acontece que a qualidade da recuperação não muda muito em comparação com outros sistemas (por exemplo, LLM wiki, recuperação híbrida, etc.)
• Previsão: No curto prazo, os sistemas de memória ainda são úteis porque reduzem a latência e o custo em comparação com ter modelos de fronteira pesquisando tudo o tempo todo. No médio a longo prazo, os sistemas de memória permitem consistência nas recuperações, o que possibilita a composição (compounding). Dito de outra forma, ainda fazemos com que agentes escrevam código que eles melhoram ao longo do tempo, em vez de fazê-los manifestar, digamos, um aplicativo diretamente.

Busca agêntica sobre sistemas de arquivos é tudo que você precisa

• A Letta previu isso no ano passado e isso se mostrou bastante profético. No curto-médio prazo, os agentes são extremamente bons em operar sobre sistemas de arquivos devido ao pós-treinamento voltado para o desempenho em codificação. Aproveitar esse pós-treinamento traz recompensas hoje.
• Previsão: No longo prazo, é difícil não imaginar um tipo de índice híbrido além de um sistema de arquivos. A principal intuição por trás de por que isso é necessário é que os sistemas de arquivos têm pior desempenho quando há volumes maiores de dados ou em casos de uso federados. Os "monólogos" de agentes sobre dados brutos também se tornarão cada vez mais importantes e precisaremos de maneiras fundamentadas e estruturadas para apoiar isso.