Ajan Hafızası için 8 Gelişen Model ve Yapay Zeka Güvenliğinin Anahtarı

@S_BatMan
İNGILIZCE3 gün önce · 06 Tem 2026
131K
13
1
0
12

TL;DR

Steven Batchelor-Manning, ajan hafızasındaki sekiz gelişen modeli analiz ederek, depolama katmanı yetkilendirmesinin yapay zeka ajanlarını güvence altına almanın tek güvenilir yolu olduğunu vurguluyor.

Bu 19 sistem serisinin son bölümünde biraz gecikme oldu ama geç olsun güç olmasın.

Üzerinde çalıştığım 19 sistemdeki altı evrensel desen, bu serinin omurgasını oluşturuyor. Yazma zamanında kalite yatırımı. Kaynağın bilgiyle birlikte seyahat etmesi. RRF-füzyonlu hibrit erişim. Isıya dayalı promosyonlu katmanlı depolama. Açık bağlam bütçeleri. Ajan yüzeyinde araç-enjeksiyonları değil. Her biri kendi makalesini hak etti çünkü üç veya daha fazla sistem aynı disipline bağımsız olarak ulaştı.

Evrensel desenler burada bitiyor. Oradan itibaren, ortaya çıkanlar başlıyor.

Bu makale, eşiğin altında kalan, bir veya iki sistemde yaşayan ve uygulamasının gerçek bir sorunu o kadar açık bir şekilde ele aldığı ki nadir kalacaklarına inanmanın zor olduğu sekiz desen hakkında. Yedisi tam olarak bir sistemde görünüyor. Biri iki sistemde görünüyor ve mezun olmaya bir benimseme uzaklıkta. İlki en derin işlemi alıyor çünkü en önemlisi.

Erken olmak, bunlardan bazılarının evrenselleşmeyeceği anlamına geliyor. Geç olmak daha kötü: 2026'da, bir sentezin tek seferlik bir tuhaflık olarak adlandırdığı depolama katmanı yetkilendirmesi olmadan gönderilen bir sistem kuruyorsunuz ve 2027'de Hacker News'te bir prompt-enjeksiyon demosu alıyorsunuz.

Depolama motoru, tutan tek otoritedir

Önceki makale, ajanın araçları tutması gerektiğini savundu. Ona bir SQL aracı verin ve soru hemen gündeme gelir: sorgulamaması gereken tabloyu sorgulamasını ne engeller?

Saf yaklaşımlar çok iyi bilinir ve hepsi yanlıştır.

Prompt düzeyinde talimat: "Konuşmalar tablosunu okumanıza izin verilmiyor." İşbirlikçi bir modele karşı çalışır. Talimatı yanlış okuyan, yasağın mevcut görevi için geçerli olmadığına karar veren veya bir jailbreak altında çalışan herhangi bir modele karşı başarısız olur.

Uygulama düzeyinde filtre: \sql_query` aracı, modelin SQL'ini sarar, yasaklanmış tablo referansları için ayrıştırır, sorguyu veritabanına iletmeden önce reddeder. Saf bir modele karşı çalışır. Tablo adlarını alıntılayan, \ATTACH\` kullanan, sarmalayıcı ile veritabanı arasında bir ayrıştırma uyumsuzluğundan yararlanan veya başka bir yerde tanımlanmış bir görünüm aracılığıyla yönlendiren herhangi bir modele karşı başarısız olur.

Yalnızca ORM aracılı erişim: ajan asla ham SQL'e dokunmaz, yazılmış yöntemleri çağırır. Sistem bir hata ayıklama aracı, bir analitik araç, bir geçiş aracı veya "ajanın iki tabloyu birleştirmesine izin ver" özelliği geliştirene kadar çalışır, bu noktada kural bozulur ve bozulma fark edilmez.

Açıkça söylemek gerekirse: bunların hiçbiri zorlama değil. Bunlar ipucu. Gerçek alt-ajan izolasyonu isteyen bir sistem, depolama motorunun kendisinden okumayı reddetmesini istemelidir, onun üzerindeki katmandan değil. Bu, yetenek tabanlı güvenliğin işletim sistemi kaynaklarına dayattığı disiplindir: çekirdek hayır der, uygulama değil. Aynı zamanda PostgreSQL'in satır düzeyinde güvenliğinin çok kiracılı SaaS'e dayattığı disiplindir: politika, ORM'de değil, veritabanında yaşar, çünkü "yeni mikroservisi inşa eden mühendis kiracı filtresini uygulamayı unuttu" yalnızca bir depolama motoru politikasının ortadan kaldırabileceği bir hata sınıfıdır.

second-brain, külliyatın ilk çalışılmış örneğidir. Kapsamlı veritabanının üç katmanı vardır, her biri gereklidir, hiçbiri tek başına yeterli değildir.

Kapsamlı ajan başına yeni bir bellek içi SQLite bağlantısı. Yapıcı \:memory:`` açar ve gerçek veritabanını salt okunur modda ekler. Ajanın bağlantısının gerçek bir ana şeması yoktur, bir sonraki katmanın oraya koyduğu dışında okunacak hiçbir şey yoktur.

Kaynaktaki izin verilen tablolara yönlendiren ana şemadaki GEÇİCİ GÖRÜNÜMLER. Görünüm tanımları ajanın profilinden gelir ve sütun düzeyinde redaksiyon veya satır düzeyinde filtreler kodlayabilir. Bir görünüm adı doğrulayıcı, profil aracılığıyla kötü amaçlı tablo adlarının enjekte edilmesini önler.

Bir SQLite C-API yetkilendirici kancası, bir görünümden geçmeyen kaynak şemasının herhangi bir okumasını reddeder. Kanca, SQLite'ın gerçekleştirmek üzere olduğu her okuma için, optimize edici tablo adını çözümlemeden önce ateşlenir. Bir görünüm gövdesi içindeki bir okumaya izin verilir, görünüm kapsam filtresidir. Bir üst düzey okuma, kapsamın oluşturduğu görünüm adları kümesine karşı kontrol edilir. Kaynak şemasına karşı doğrudan herhangi bir okuma istisnasız reddedilir.

LLM istediği herhangi bir SQL yazabilir. Tablo adlarını alıntılayabilir, \UNION` kullanabilir, \ATTACH\` kullanabilir, SQLite'ın tam dilbilgisini kullanabilir. İzin listesinde olmayan bir tablodan bir satır okumayı başaramaz, çünkü yetkilendirici, tablo adı çözülmeden önce okumayı C katmanında durdurur. Uygulama düzeyindeki filtre atlanabilir. Depolama motoru yetkilendirmesi atlanamaz.

Yaklaşık 50 satır stdlib Python. Ek bağımlılık yok, ek süreç yok, şema geçişi yok. Sorgu başına ek yük, sorgunun kendisinin maliyetine karşı görünmez olan, okuma başına bir C geri çağırmasıdır. Desen, diğer her şeyle temiz bir şekilde birleşir: ajanın araç kaydı hala özellik geçitli olabilir, görünüm tanımları hala sütun düzeyinde redaksiyon kodlayabilir, konuşma geçmişi hala yazma zamanında redakte edilebilir. Bu katmanların hiçbiri depolama katmanı zorlamasıyla zayıflatılmaz. Güçlendirilirler.

Çerçeveleme önemlidir. 19 sistemdeki diğer her güvenlik deseni bir ipucudur. Depolama motoru otoritedir.

Adlandırmaya değer üç tane daha

Zaman uyumsuz temizleme yarışı koruması (llm-wiki)

Arka plan bellek bakımı, ön plan kullanıcı eylemleriyle temelde yarış halindedir. Proje A'ya karşı başlatılan ve Proje B'ye karşı biten bir tarama her ikisini de bozmuştur. A'nın kararlarını B'nin inceleme deposuna taşımış veya B'nin öğelerini A'nın verilerine karşı çözülmüş olarak işaretlemiştir. Bu, eklenmesi kolay, tespit edilmesi zor ve bozuk durum meşru göründüğü için temiz bir şekilde kurtarılması imkansız bir hata sınıfıdır.

llm-wiki, iki aşamalı bir arka plan inceleme döngüsü çalıştırır ve her verim noktasında, iki yarış koruma sinyalini yeniden kontrol eder: proje değiştirme işleyicisi tarafından ateşlenen bir iptal sinyali ve UI deposundaki mevcut projeye karşı bir yol karşılaştırması. Kontrollerden herhangi biri başarısız olursa, tarama kararları uygulamadan uçuş ortasında geri döner. Kuyruk tarafındaki proje değiştirme el sıkışması resmi tamamlar: belleği temizlemeden önce aktif projenin durumunu diske yazar, işlenmekte olan öğeleri beklemede durumuna döndürür, uçuştaki LLM çağrısını ve uçuştaki tarama kararını iptal eder ve ancak o zaman duraklatılmış projenin yoluna yazar.

Meta-desen, çıkarılacak ders: mümkün olduğunda deterministik, gerektiğinde LLM, her yerde iptal edilebilir. İki aşamalı yapı, LLM'yi basit varlık kontrollerinin halledebileceği durumların dışında tutar. Yarış koruması, her iki aşamayı da iptal edilebilir tutar. Kombinasyon, herhangi bir sistemdeki herhangi bir arka plan bellek bakım döngüsü için bir şablondur.

Otomatik bozulmuş no-op kurucu (graymatter)

Kütüphane API tasarımında tekrarlayan bir gerilim vardır. En basit "merhaba dünya", kütüphanenin sadece çalışmasını, kurmak için bir satır, çağırmak için bir satır istemesini ister. En savunulabilir üretim duruşu, kurulumda, arayanın görmezden gelemeyeceği yapılandırılmış bir hatayla yüksek sesle başarısız olmasını ister.

graymatter, sessiz-başarısız'ı seçer, ancak ticareti üretken hale getiren bir disiplinle. Kurucu asla bir hata döndürmez. Başlatma başarısız olursa, bbolt kilitlenir, veri dizini yazılamaz, vektör deposu açılamaz, stderr'e günlük kaydeder ve yöntemlerinin tümü no-op olan bozulmuş bir Bellek döndürür. Üretim arayanlar, tanıtıcıya güvenmeden önce \Healthy()` ile doğrular. Kütüphane \go get\ yapılabilir, üç satırda içe aktarılabilir ve demoda çalışır. \Healthy()\` üretim disiplini vergisidir.

Desen, kütüphaneyi kendi başlangıç töreni olan ajan koşum takımlarına gömmeyi güvenli hale getirir. Önyükleme sırasında \graymatter.New(...)`` çağıran, hata yolu olmadığı için hata yolunu yok sayan ve devam eden bir ajan koşum takımı, mutlu yolda çalışan bir bellek katmanı ve veri dizini salt okunur olduğunda bellek yedeklemesi olmayan bir geri dönüş alır. Her iki durumda da koşum takımı başlar. Bu, başarısız-sesli kurucuların her gömme sitesinde açık hata işleme olmadan sunamayacağı belirli bir tür savunma amaçlı kompozisyondur.

Gölge modu yinelenen algılama (mem9)

Yinelenen bastırma gönderen her sistem, bir kosinüs benzerlik eşiği seçmek zorundadır. 0.95'in üzeri neredeyse kesinlikle bir yinelenendir. 0.7'nin altı neredeyse kesinlikle değildir. Aradaki alan tartışmalıdır ve doğru kesim, gömme modeline, alana, sorgu dağılımına ve bu belirli sistemdeki yanlış pozitiflerin yanlış negatiflere karşı maliyetine bağlıdır.

Sezgiye dayalı olarak bir tane seçip gönderme cazibesi ezicidir. mem9 yapmaz. Her gerçek için yinelenen algılama sorgusunu çalıştırır, kosinüs puanını bir Prometheus histogramında kaydeder ve hiçbir işlem yapmaz. Eşik, üretim verileri onu haklı çıkarana kadar ertelenir. "Sezgisel olanı değil, gözlemi gönderin."

Aynı mantık, her bellek sistemindeki her eşikli karar için geçerlidir. Yeniden sıralama eşiği. Hatırlama güven kesme noktası. Katman-promosyon ısı kapısı. İçgörü-birleştirme benzerlik kapısı. 19 sistemin çoğu bu değerleri tahmin edilmiş olarak gönderir. mem9, değer ertelenmiş olarak gönderir. Disiplin nadirdir ve sonuç daha iyidir.

Dört tane daha, daha sıkı

Kiracı başına fiziksel veritabanı izolasyonu (mem9).

Paylaşılan bir depoda bir \WHERE tenant_id = ?`` filtresi yerine mem9, TiDB Zero aracılığıyla kiracı başına ayrı bir TiDB kümesi sağlar. İzolasyon, depolama motoru tarafındadır. Uygulama, kiracılar arasında yanlışlıkla sorgulama yapamaz çünkü sorgulanacak paylaşılan bir depo yoktur. Depolama katmanı yetkilendirmesiyle aynı son durumun daha kaba taneli bir versiyonudur: izolasyon, uygulamada değil, motorda zorlanır. Tarihsel olarak bunu pratik olmaktan çıkaran altyapı maliyeti artık yoktur. TiDB Zero otomatik olarak sağlar. Neon, PostgreSQL için aynısını yapar. Cloudflare D1, SQLite için aynısını yapar.

Açık bağlam bütçesiyle kaynak dönüşü dekorasyonu (mem9).

Alınan bir bellek bir dizedir. "Kullanıcı Postgres'i tercih ediyor." Doğru, kısa, bağlam olmadan temellendirmek imkansız. mem9, kaynak olan konuşma turlarını dekorasyon olarak ekler, sorguya karşı puanlanır ve bir bütçe üçlüsü ile sınırlandırılır: minimum puan, bellek başına limit, toplam limit. "Kullanıcı Postgres'i tercih ediyor" u okuyan ajan, kullanıcının "MongoDB'yi denedik ama birleştirmeler bizi öldürdü, bu yüzden geçen çeyrek Postgres'e geçtim" dediği turu alır. İkinci bir araç çağrısı gerekmez. Temellendirme sonuçtadır. Ön koşullar zaten evrenseldir: kaynak artı hibrit erişim. 19 sistemin çoğu bunu iki günde uygulayabilir.

Dördüncü dosya olarak purpose.md (llm-wiki).

Karpathy LLM Wiki deseninin üç kanonik dosyası vardır: ham kaynaklar, wiki çalışma kümesi ve yapısal kurallar için schema.md. llm-wiki dördüncü bir dosya ekler: purpose.md, kullanıcı tarafından doldurulur, sistemin yaptığı her LLM çağrısına satır içi olarak eklenir. Her alma istemi, her oluşturma istemi, her sohbet okuması onu okur. Etki, aşağı akıştaki her davranışı koşullandıran istikrarlı bir yönlü önceliktir. LLM zaten sistem istemini okuyacaktır. Kullanıcının niyetini eklemek hiçbir şeye mal olmaz ve her şeyi yükseltir. Diğer çoğu sistemde olmaması, llm-wiki'deki varlığından daha zor açıklanır.

Yetkili ajan sözleşmesi olarak AGENTS.md (Tolaria, OpenContext). Çoğu depo, \AGENTS.md` veya \CLAUDE.md\` dosyasını bir ipucu dosyası olarak ele alır. Tolaria ve OpenContext onu bir sözleşme olarak ele alır ve her bağlayıcı maddeyi, ajanın ihlal etmesi durumunda derlemeyi başarısız kılan mekanik bir kontrole dayandırır. "Commit öncesi kancaları atlamayın" kibar bir istek değildir, CI'nın uyguladığı bir kuraldır. "Test kapsamı eşiğin üzerinde kalmalıdır" bir kılavuz değildir, test çalıştırıcısının durdurduğu bir çubuktur. Bir ipucu yok sayılabilir. Bir kontrole dayanan bir sözleşme yok sayılamaz. İki sistem zaten yapıyor. Bir tane daha ve mezun olur.

Hangileri daha sonra evrenselleşir

Depolama katmanı yetkilendirmesi ilk önce evrenselleşecek. Bu, kaynak analizindeki en güvenli tahmindir. Bir alt ajana SQL erişimi veren her bellek sistemi, depolama katmanı zorlaması olmadan bir prompt enjeksiyonundan bir gizlilik ihlaline uzaktır. Altyapı zaten yerinde. SQLite, 2000'lerin başından beri \set_authorizer``'a sahiptir. PostgreSQL RLS ana akımdır. LanceDB ve ClickHouse'un kendi politika kancaları vardır. Engel teknik değil, farkındalıktır. second-brain, çalışılmış örneği sağlamıştır. Yönetilen API'lerin bir sonraki nesli, alternatifi savunulamaz olduğu için disiplini kopyalayacaktır.

Kaynak dönüşü dekorasyonu ikinci sırada evrenselleşecek. Ön koşullar zaten evrenseldir. Uygulama, iki sorgu artı bir bütçedir. Ajan tarafındaki bilgi kazancı, onu yönetilen bir API'de ilk gönderenin, cevapları kaynak diyalogunda temellendirmede ikinci gönderenden belirgin şekilde daha iyi olacağı kadar büyüktür. Kopyalama baskısı yüksektir. graymatter, gerçek başına kaynağa sahiptir. supermemory, soyağacına sahiptir. Hindsight, tam konuşma geçmişine sahiptir. Bunlardan herhangi biri, desenden bir PR uzaklıktadır.

Otomatik bozulmuş no-op kurucu üçüncü sırada ve farklı bir dilde evrenselleşecek. Go'nun kültürel koşulları deseni güvenli kılar. Bir sonraki benimseyenin Python olması pek olası değildir, kültür istisnalar konusunda çok isteklidir, ancak Rust olabilir. Bu bir bellek seçimi değil, bir kütüphane-API tasarım seçimidir ve "demo estetiği artı üretim disiplini"nin doğru ticaret olduğu her yere yayılacaktır.

Gölge modu dağıtımı karanlık attır. Teknik olarak önemsiz, kültürel olarak zor. İkinci bir sistem, kapılamadan önce bir eşiği enstrümente ederse, desen hemen mezun olur ve üçüncü ve dördüncü, mühendislik ergonomisi bir kez gösterildiğinde yanıtlanamaz olduğu için bir sürüm döngüsü içinde takip eder.

Kalan dördü, her biri belirli bir dağıtım şeklinin daha yaygın hale gelmesine bağlıdır. Yarış koruması, daha fazla sistem çoklu konuşma paralelliği geliştirdiğinde evrenselleşir. Kiracı başına fiziksel izolasyon, düzenlenmiş kurumsal müşteriler bunu istemeye başladığında evrenselleşir. purpose.md, Karpathy LLM Wiki paradigması üçüncü veya dördüncü uygulamasını aldığında evrenselleşir. Sözleşme olarak AGENTS.md, "ajanlar iş arkadaşıdır" çerçevesi baskın koşum metaforu haline geldiğinde evrenselleşir. Hiçbiri mantıksız değil. Hiçbiri kesin değil.

Bir Sonuç

Sekizinin tamamındaki birleştirici iplik aynı konumdur: uygulama katmanı güvenilir bir izolasyon sınırı değildir. Depolama katmanı yetkilendirmesi, ajan başına ifadedir. Kiracı başına fiziksel veritabanları, kiracı başına ifadedir. Sözleşme olarak AGENTS.md, ajan-davranışı başına ifadedir. Bu külliyatın bir sonraki yinelemesi, bu tahmine göre, bu adla yeni bir evrensel desen içerecektir.

Önceki makale, ajanın araçları tutması ve neyi alacağına karar vermesi gerektiğini savundu. Bu makale, ajan bu araçları beklemediğiniz bir yere çevirdiğinde neyin tuttuğu hakkındadır. Altı evrensel desen fikir birliğidir. Buradaki sekiz, fikir birliğinin bundan sonra nereye hareket edeceğinin öncü göstergeleridir. Depolama katmanı yetkilendirmesi, öncünün öncü kenarıdır ve onu kaçırmanın maliyeti, Hacker News'te görünen türden bir maliyettir.

YouMind’da yeniden üret

Turn one viral article into a full content workflow

Collect the source, decode the pattern, create assets, draft the story, and distribute from one AI workspace.

Explore YouMind
Üreticiler için

Markdown'ınızı temiz bir 𝕏 makalesine dönüştürün

Kendi uzun yazılarınızı yayımlarken görselleri, tabloları ve kod bloklarını 𝕏 için biçimlendirmek zahmetlidir. YouMind, eksiksiz bir Markdown taslağını temiz ve hemen paylaşılabilir bir 𝕏 makalesine dönüştürür.

Markdown'dan 𝕏'e deneyin

Çözülecek daha fazla kalıp

Son viral makaleler

Daha fazla viral makale keşfet