Geçtiğimiz ay, inşa ettiğim kodlama ajanları giriş ve çıkış arasında 13 milyar token işledi, %97,24 önbellek isabet oranı ve milyon token başına yaklaşık R$ 0,04 efektif maliyetle.
Bu rakamları paylaştığımda ilk tepki genellikle güvensizlik oluyor—ve bu sağlıklı. Şirketlerin otonom ajanlardan vazgeçmesinin bir numaralı nedeni maliyet: pilot çalışır, fatura gelir, proje ölür. Bu yazı, bu rakamların nasıl ortaya çıktığıyla ilgili. Tek bir hile yok; giren ve çıkan her tokenin sıkıştırıldığı, yönlendirildiği ve ölçüldüğü bir mimari var.
Bu, Velua Code; yeni kurduğum bir startup olan Velua AI'da (https://velua.aihttps://velua.ai/)) inşa ettiğimiz ajan. Mimariden önce, tez.
Tez: Birlikte Çözülen Üç Problem
Kodlama ajanları üç yerde kırılır ve yalnızca birini çözmek yeterli değildir.
Maliyet. Otonom bir ajan, herhangi bir CFO'yu korkutacak ölçekte token tüketir. Her yineleme pahalıysa, kimse ajanın yineleme yapmasına izin vermez—ve yineleme yapmayan bir ajan gerçekten hiçbir şeyi çözmez.
Bağlam. Bağlam penceresi sınırlı ve pahalıdır. Tipik uygulama, istemi tüm dosyalar ve grep sonuçlarıyla doldurur ve her çağrıda binlerce ilgisiz token için ödeme yapar.
Hafıza. Her oturum sıfırdan başlar. Ajan, Pazartesi günü öğrendiğini Salı günü yeniden keşfeder—ve bunu yeniden keşfetmek için (token ve hata olarak) ödeme yapar.
Bu üçü birbirini besler: şişirilmiş bağlam maliyeti artırır, hafıza eksikliği bağlamı şişirir. Bu yüzden Velua Code üçüne aynı anda saldırır.
Maliyet: Kaynak Sıkıştırma + Aktif Yönlendirme
İlk mimari karar: bağlamı kaynakta sıkıştır, sonda değil. Her araç çıktısı—dosya okuma, arama sonuçları, derleme günlükleri—oturum geçmişine girmeden önce bir sıkıştırma hattından geçer. Çekirdek, geliştiricinin makinesinde veya ajanın konteynerinde, yerel olarak ONNX'te çalışan tescilli bir sıkıştırma modelidir. Sıkıştırmak için ağ çağrısı yoktur: tasarruflar token maliyeti çıkarmaz.
Etrafında, daha basit katmanlar ağır işi yapar: okumaların tekilleştirilmesi (ajan aynı dosyayı tekrar okudu mu? eski sürüm bağlamdan çıkar), yapısal JSON sıkıştırma, imzaları korurken kod gövdesinin atlanması ve bağlam büyüdükçe sıkıştırmayı sıkılaştıran uyarlanabilir bir eşik. Her şey hedef modelin gerçek tokenizer'ı ile ölçülür—tasarruflar tahmin değil, gerçek token olarak sayılır.
Ayrıca ne yapılmaması gerektiğine dair bir karar var: çalışma zamanında sistem istemine asla dokunmayız. Kararlı bir istem, %97,24 önbellek isabet oranını sürdüren şeydir—ve önbellek isabeti, var olan en ucuz maliyet kaldıracıdır, çünkü önbelleğe alınmış bir token, tam bir tokenin çok küçük bir kısmına mal olur.
İkinci karar: ajan modeli seçmez. Yerel bir sınıflandırıcı, her görevi kategori ve karmaşıklığa göre önceden sınıflandırır ve 50'den fazla modeli gerçek zamanlı fiyat ve performansla gören Velua Gateway—gerekli olanın içinde en yetenekli modele yönlendirir, ayrıca güvenlik önlemleri uygular ve RAG ile zenginleştirir. Bir değişkeni yeniden adlandırmak için bir sınır modeline gerek yoktur; bir şema geçişi tasarlamak için gereklidir. Aktif yönlendirme ile çoğu çağrı daha küçük modellere gider ve pahalı olan yalnızca karmaşıklık gerektirdiğinde devreye girer.
Gateway ayrıca her isteğin gerçek maliyetini ölçer. Bu, üretimdeki ajanlar için tartışılmaz olduğunu düşündüğüm bir şeye olanak tanır: durdurma koşulu olarak bütçe. Otonom döngü, umutla değil, para birimi cinsinden bir maliyet tavanı ile çalışır.
Milyon başına R$ 0,04'ü üreten şey, kaynak sıkıştırma, yüksek önbellek ve daha küçük modeller arasında yönlendirmenin birleşimidir. Bu üç parçadan hiçbiri tek başına yaklaşamaz.
Bağlam: Grep Yerine Bir Graf
Bir ajanın bir kod tabanını "anlaması" için standart yöntem grep ve dosya okumadır—pahalı ve kördür. Velua Code bir kod bilgi grafiği tutar: fonksiyonlar, sınıflar, rotalar ve aralarındaki ilişkiler (kimi kim çağırır, kim neyi uygular).
Bu, döngünün her iki ucunu da değiştirir. Girişte ajan, dosyaları isteme boşaltmak yerine grafiğe danışarak—projenin mimari görünümü ve görevle ilgili düğümler—sade bir bağlam paketi oluşturur. Çıkışta ise doğrulamayı değiştirir: ajan bir fonksiyonu değiştirdiğinde, graf tam olarak etkilenen çağrı noktalarını listeler ve temiz bağlamlı, kodu yazanın önyargısı olmayan bir inceleyici ajan, testleri, lint'i ve derlemeyi çalıştırmanın yanı sıra bunların her birini kontrol eder. "processOrder'ın imzasını değiştirdin; yedi yer onu çağırıyor" grep'in sunamayacağı bir doğrulama türüdür.
Hafıza: Öğrenen Döngü
Sistemi kapatan parça. Doğrulanmış her yinelemenin sonunda ajan mühendislik kararlarını kaydeder: neye karar verildi, neden, hangi alternatifler değerlendirildi, ne başarısız oldu. Ve her karar, grafiğin içinde açıkladığı kod düğümlerine bağlanır.
Bir sonraki yinelemede, bağlam toplama aşaması bu kararları—başarısız olan yaklaşımlar da dahil olmak üzere, tekrarlanmaması için—geri alır. Döngü, görevleri tekrarlayan bir yürütücü olmaktan çıkar ve kod tabanı hakkında bilgi biriktiren bir sistem haline gelir. Aynı zamanda var olan en iyi maliyet amorti edicidir: ucuz hafıza, pahalı yeniden keşfin yerini alır.
Tam döngü şudur: bağlamı topla (graf + hafıza + RAG), problem boyutuna uygun modelle plan yap, alt ajanlarla hareket et, temiz bağlamlı bir inceleyici ve graf farkındalığı ile doğrula, kararları kaydederek öğren—ve bir maliyet tavanı ile tekrarla. Bu, her genel aşamanın kendi yeteneğiyle değiştirildiği kanonik ajan döngüsüdür.
Neden İlk Müşteri Biziz?
Ürün stratejisi kasıtlı olarak tersine: herhangi bir müşteriye satmadan önce, Velua Code dahili olarak SIGE Cloud'da çalışıyor. Gerçek dogfooding—üretimde bir ERP, gerçek ekipler her gün gerçek kod üzerinde ajanları çalıştırıyor.
13 milyar tokeni üreten bu dahili kullanımdı ve ürünü şekillendiren de bu. Üretimdeki otonom ajanlar, hiçbir kıyaslamanın ortaya çıkarmadığı sorunları ortaya çıkarır: izinler, birikmiş maliyet, takılıp kalan görevler, bozulan bağlam. Acının bize ait olduğu yerde olgunlaşmasını tercih ederim.
Sırada Ne Var: Şirketler için Birleşik Hafıza
Bugün, karar hafızası proje bazında yaşıyor. Sonraki adım, beni en çok heyecanlandıran şey: bunu şirketler için birleşik bir mühendislik hafıza katmanına yükseltmek.
A takımının ajanının kaydettiği kararı hayal edin—"Y nedeniyle X'e geçtik; W'yi bozduğu için Z'den kaçındık"—B takımının ajanı ve bu ajanları kullanan insan geliştiriciler tarafından, erişim kontrolü, kaynak ve denetim ile erişilebilir. "Bu kod neden böyle?" sorusu, kuruluştaki herkes veya herhangi bir ajan için, koda bağlı orijinal kararla yanıtlanır. Daha hızlı işe alışma, ekipler arasında tutarlılık ve şirketin mühendislik bilgisinin artık yalnızca insanların kafasında yaşamaması.
Gateway tarafından sunulan bu hafıza, altyapı haline gelir: şirketteki herhangi bir ajan, herhangi bir araçta, birikmiş öğrenmeyi devralır.
Otonom ajanlar bir meta haline gelecek. Sizin sisteminiz hakkında biriktirdikleri bilgi ise gelmeyecek.
Bahis budur.
Üretimde ajanlarla bir şeyler inşa ediyorsanız—ya da bağlam maliyetleri yüzünden kafanızı duvarlara vuruyorsanız—DM'im açık.
