Yapay zeka belleği üzerine çarpıcı görüşler

Yeni bir alanda inşa etmenin güzel yanlarından biri, henüz doğru cevapların olmamasıdır. Bu aynı zamanda, herhangi bir şey inşa etmenin, ekosistemin nereye evrileceğine dair bahisler oynamayı gerektirdiği anlamına gelir. Aşağıda, bu alandakilerle sık sık tartıştığımız soruların ve cevaplarına dair tahminlerimizin (kapsamlı olmayan) bir listesini derledik. Düşüncelerinizi, tahminlerinizi ve katılmadığınız noktaları duymayı çok isteriz!

Laboratuvarların ötesinde bellek ve bilgi tabanı şirketlerine yer var mı?

• Tahmin: Dikey bellek ölçeklemesi (yani ajanların daha uzun süre çalışmasına yardımcı olmak) yapan şirketler rekabet etmekte zorlanacak ve laboratuvarlar ile diğer ajanik kıskaçlar tarafından sıkıştırılacak. Yatay ölçekleme (yani ekipler veya tüm organizasyonlar arasında) yapan şirketler daha iyi bir zemin bulacak. Bunun nedeni, kurumsal anlaşma döngülerinin daha uzun sürmesi ve sorunların (veri izolasyonu, güvenlik, şirket ontolojisi) en yeni model güncellemesi veya araştırma fikri ile çözülememesidir.

Bellek katmanları ağırlık alanına karşı token alanında mı çalışmalı?

• Token alanının birçok avantajı vardır. Yorumlanabilirdir. Modelden bağımsızdır. Ucuzdur. Depolama, veri izolasyonu, modülerlik vb. için onlarca yıllık altyapımız var.
• Bununla birlikte, ağırlık alanı daha anlamlı görünüyor ve tamamen token alanında çözemediğimiz bir sorun sınıfı olabilir. Özellikle, bulanık çizgiler ve karmaşık dallanma yolları içeren prosedürel bellek, token alanı için pek uygun görünmüyor (örneğin, bir masa oyununun kurallarını okumaya çalışmakla, nasıl oynandığının gösterilmesini düşünün).
• Tahmin: Çoğu bellek token alanında çalışacaktır (örneğin ajan izleri, anlamsal bilgiler vb.), ancak modellere uyarlanabilecek adaptörlere sahip olacak belirli sorunlar (örneğin yazma stili, zevk, prosedürel beceriler vb.) olacaktır. Mekanik yorumlama teknikleri bunları yorumlamamızı sağlayacak.

Bellek sadece bir arama ve getirme sorunu mu?

• Günümüzdeki bellek sistemlerinin çoğu getirmeye odaklanmıştır. Ajanların iş yapması için doğru bilgiyi doğru zamanda bulmaya odaklanırlar (örneğin LoCoMo kıyaslaması, samanlıkta iğne aramaya odaklanır).
• Soru şu: Bu, bellek sorununu çözmek için yeterli mi? Başka bir deyişle, özel bir veri deposuna en son teknoloji arama motorunu (örneğin Google, Exa veya Perplexity) bağlarsanız, bu bellek sorununu çözmek için yeterli midir?
• Tahmin: En ileri düzeyde çalışan araştırmacılar ve geliştiriciler arasında, belleğin yalnızca bilgi depolama ve bu bilgi üzerinde getirme olmadığına dair büyüyen bir fikir birliği var. Biz buna dahili olarak "patlama yarıçapı" sorunu diyoruz. Bilginin kullanışlılığı, kapsamla (zaman veya bağlam) sınırlıdır. İnsanlar, tonlarca alakasız metni okumakta ve yalnızca en kullanışlı bilgiye doğru ağırlığı uygulamakta hiçbir sorun yaşamaz. Saf bir getirme sistemi (akıllı yeniden sıralama ile bile) bunun gerisinde kalır.

Bilgiyi bağlama otomatik olarak enjekte etmeli miyiz?

• Buna karşı argüman, bağlam çürümesi veya kirliliktir. Bir ajana, özellikle de doğru bilgi değilse, bilgi enjekte etmek performansın düşmesine neden olabilir. Ayrıca, ajanın oturumlarınız arasındaki gerçek olmayabilecek bağlantılara aşırı odaklanmasına neden olur. Bu nedenle birçok kişi ChatGPT veya Claude Code için bellek özelliklerini kapatır.
• Tahmin: Bilgiyi bağlama enjekte etmek kritiktir çünkü ajanın "bilinmeyen bilinmeyenlerle" başa çıkmasını sağlar. Mükemmel bir bellek aracınız olabilir, ancak ajan onu kullanmayı bilmiyorsa sorunu çözmemiş olursunuz. İnsanlar için bu tür bir "enjeksiyon" her zaman olur. Geçmiş anılar, sizin aktif seçiminiz olmadan bilincinizde belirir. Bugün bununla ilgili sorunlar, büyük olasılıkla yukarıda özetlenen patlama yarıçapı sorununun bir sonucudur.

Bellek için doğru kıyaslamalar nelerdir?

• LoCoMo ve LongMemEval gibi mevcut kıyaslamaların yeterli olmadığına dair genel bir kanı var. Bu kıyaslamalarda ~%85 performansa ulaştık ve bellek hala bir yıl önceki kadar çözülmemiş hissediyor. Dahası, kıyaslamalarda daha iyi performans, kullanıcı perspektifinden "daha iyi hissettiren" bellek ile ilişkili görünmüyor.
• Ayrıca, bu alandaki kıyaslamaları oluşturmak zordur çünkü belleğin doğası gereği çalıştığı uzun zaman ufukları, veri bulunabilirliği ve maliyet/ölçekleme sorunları yaratır.
• Tahmin: Bu sorunu çözecek şirket veya laboratuvar, bunu büyük olasılıkla bir kıyaslamada tepe tırmanışı yaparak değil, mevcut kıyaslamaların ölçmediği bazı müşteri/kullanıcı içgörülerine bahis oynayarak yapacaktır. Bu, diğer transkripsiyon araçlarının odaklandığı kelime hata oranı metriğini bir kenara atan Wisprflow'a benzer.

Daha uzun bağlam pencereleri her şeyi çözecek mi?

• Ocak ayında yaptığımız bir tahminde bağlam pencerelerinin sorunu aslında çözmeyeceğini söylemiştik ve şu ana kadar çoğunlukla doğru çıktı.

Güçlü modellerin veri entegrasyonlarıyla birleşmesi bellek sistemlerini gereksiz kılıyor

• Lehte olan argüman, bir sınır modeli + ajan kıskacı + MCP veri bağlayıcılarınız varsa istediğiniz her bilgiyi alabileceğinizdir. Ve getirme kalitesinin diğer sistemlere (örneğin LLM wiki, hibrit getirme vb.) kıyasla pek değişmediği ortaya çıkıyor.
• Tahmin: Kısa vadede bellek sistemleri, sınır modellerinin her şeyi sürekli aramasına kıyasla gecikme ve maliyeti azalttıkları için hala kullanışlıdır. Orta ve uzun vadede bellek sistemleri, getirmeler üzerinde tutarlılık sağlayarak birikime olanak tanır. Başka bir deyişle, ajanların bir uygulamayı doğrudan tezahür ettirmesini sağlamak yerine, zamanla iyileştirdikleri kod yazmalarını sağlıyoruz.

Dosya sistemleri üzerinde ajanik arama yeterlidir

• Letta geçen yıl bunu tahmin etmişti ve oldukça kehanet gibi çıktı. Kısa-orta vadede ajanlar, kodlama performansını hedefleyen eğitim sonrası sayesinde dosya sistemleri üzerinde çalışmakta son derece iyidir. Bu eğitim sonrasından yararlanmak bugün getiri sağlıyor.
• Tahmin: Uzun vadede, bir dosya sistemine ek olarak bir tür hibrit indeks hayal etmemek zor. Bunun gerekli olmasının ardındaki ana sezgi, dosya sistemlerinin daha yüksek hacimli verilerde veya birleşik kullanım senaryolarında daha kötü performans göstermesidir. Ajanların ham veriler üzerindeki "monologları" da giderek daha önemli hale gelecek ve bunu desteklemek için ilkeli ve yapılandırılmış yollara ihtiyacımız olacak.