Ajanlar, gerçek dünyada eylemler yaparak işleri otomatikleştirmemize yardımcı oldukları için kullanışlıdır. Ancak ajanların güvenilir bir şekilde değerli işler yapmasını sağlamak, iyi bir modelden daha fazlasını gerektirir: bir dizi göreve uygun, dikkatlice tasarlanmış bir donanım gerekir.
Temel ajan algoritması basittir: LLM'e bağlam verin ve iş bitene kadar bir döngü içinde araçları çağırmasına izin verin. Bu en temel döngüdür. Ancak ajanları güçlendiren tek döngü bu değildir. @swyx geçtiğimiz günlerde "loopcraft: the art of stacking loops" başlıklı harika bir yazı yazdı; bu yazıda döngüleri üst üste yığarak ve genişleterek daha etkili ajanlar oluşturma fikrini anlatıyor.
Bu yığını nasıl düşündüğümüz ve her seviyeyi LangChain ilkelleriyle nasıl donattığımız aşağıda açıklanmıştır.
Döngü 1: Ajan
Özünde bir ajan, bir görev tamamlanana kadar bir döngü içinde araçları çağıran bir modeldir.
LangChain'in create_agent işlevi size bunu sağlar. Herhangi bir model seçin, araçları ekleyin ve çalışan bir ajan döngünüz olsun. Araçlar, ajana gerçek dünyada eylem yapma gücü veren şeylerdir.
Örnek olarak dahili dokümantasyon ajanımızı ele alalım (bu yazının geri kalanında motive edici bir örnek olarak kullanacağız). İlk döngü seviyesinde, bir dokümantasyon iyileştirme talebi alır, model planlar ve taslak değişiklikler yapar, depoları klonlamak, dosyaları okumak, dokümantasyon yazmak, bir çekme talebi açmak vb. işlemler için araçları kullanır.
Seviye 2: Doğrulama döngüsü
Ajan döngüsü işi halleder ancak ilk seferde her zaman doğru veya tutarlı sonuçlar üretmez. Tutarlılık önemli olduğunda, çıktıyı kontrol eden ve yetersiz kaldığında modele geri bildirim gönderen bir doğrulama döngüsü ile sarmalamak genellikle faydalıdır.
Doğrulama döngüsü bir derecelendirici ekler: ajanın çıktısını bir rubriğe göre kontrol eden ve başarısız olursa sonucu geri bildirimle birlikte geri gönderen bir bileşen. Derecelendiriciler deterministik veya ajan tabanlı olabilir (burada klasik bir örnek olarak LLM'nin yargıç olarak kullanılması verilebilir).
RubricMiddleware bu deseni halleder veya create_agent üzerinde after_agent hook'u ile bağlayabilirsiniz.
Doküman yazarı örneğimizde, derecelendirici her denemeden sonra testler çalıştırır, tüm bağlantıların çözüldüğünü, tüm CI kontrollerinin geçtiğini ve diff'in gerçekten istenen kapsamda olduğunu kontrol eder. Bu tür hataları yakalamak için manuel inceleme gerekmez.
Bir takas: doğrulama eklemek, çalışma başına gecikmeyi ve maliyeti artırır. Kalitenin hızdan daha önemli olduğu durumlarda buna değer; bu da çoğu üretim kullanım senaryosu için geçerlidir.
Seviye 3: Olay odaklı döngü
Ajan geliştirmenin en önemli kısımlarından biri entegrasyon katmanıdır: ajanınızı ekosisteminize bağlayarak arka planda çalışmasını sağlamak.
Olay odaklı döngü, ajanınızı ekosisteminize bağlar. Bir olay tetiklenir — yeni bir belge gelir, bir zamanlayıcı devreye girer, bir webhook alınır — ve ajan çalışır. Ajan manuel olarak çağırdığınız bir şey değildir; daha büyük bir sistem içinde sürekli çalışan bir bileşendir.
LangSmith Deployment, cron zamanlamaları ve webhooklar için destek dahil olmak üzere tetikleyici altyapısını destekler. Cron'ların eylem halindeki popüler bir örneği, openclaw'daki "heartbeat"lardır ve bu, ajanınızı her zaman açık, proaktif bir asistana dönüştürür.
Doküman ajanımız, kod gerektirmeyen ajan oluşturucumuz Fleet tarafından desteklenmektedir. Fleet'in kanalları ve zamanlamaları, olay odaklı ve cron tarzı tetikleyicileri yönetir. #docs-plz Slack kanalımıza bir mesaj gönderildiğinde doküman ajanını tetiklemek için bir kanal kullanıyoruz.
Seviye 4: Tepe tırmanma döngüsü
İlk üç döngü işleri otomatikleştirir. Dördüncü (ve muhtemelen en önemli) döngü ise iyileştirmeyi otomatikleştirir!
Her ajan çalışması bir iz üretir: modelin ne yaptığının, çağırdığı araçların, derecelendirici geri bildirimlerinin vb. bir kaydı. Bu izler, neyin işe yarayıp neyin yaramadığına dair yüksek değerli sinyaller içerir. Tepe tırmanma döngüsü, bu izler üzerinde bir analiz ajanı çalıştırır ve bulguları kullanarak donanımı iyileştirilmiş yapılandırmayla yeniden yazar. Buna prompt/araç ince ayarları veya derecelendirici ince ayarları dahil olabilir.
LangSmith'te, bu dördüncü döngüyü donatmak için iz analiz ajanımız Engine'i kullanabilirsiniz.
Doküman ajanı benzetmesini tamamlarken, herhangi bir sorunu tespit etmek için doküman ajanı izleri üzerinde Engine çalıştırıyoruz. Birden çok iz olası bir soruna işaret ettiğinde, sorunlu prompt veya araçta değişiklik talep eden bir sorun kaydı oluşturulur.
Buradaki kilit hamle, geri dönüş okunun sadece en tepeye döngü yapmaması, aynı zamanda içeri girip ajan döngüsünü doğrudan güncellemesidir. Dış döngünün her döngüsü, iç döngüleri daha etkili hale getirir.
Geleceğe bakış:
prompt ve araç yapılandırması iyileştirilebilecek en basit şeylerdir ancak tek seçenek bunlar değildir. Açık ağırlıklı modeller kullanan ekipler için tepe tırmanma döngüsü, iz veya değerlendirme sonuçlarını eğitim sinyali olarak kullanarak modelin kendisini iyileştirmek için RL ince ayarına beslenebilir. Bellek ve alınan beceriler gibi yardımcı bağlam da aynı şekilde iyileştirilebilir. Döngü desendir; neyi optimize ettiği size kalmış.
İnsan denetimi ve uzmanlığı
Otomasyon, insanları döngüden çıkarmak anlamına gelmez. Her seviyede, insan denetiminin değer kattığı doğal noktalar vardır. Otomatik bir derecelendirici bağlantıların çözülüp çözülmediğini kontrol edebilir; çerçevenin hedef kitle için yanlış olduğunu fark etmek bir insan gerektirir. Bağlam, deneyim ve zevkten kazanılan bu tür bir muhakeme, insan incelemesinin yerini tam olarak burada bulur.
Bazı uzmanlıklar prompt/araçların kendisinde kodlanmalıdır, ancak hassas eylemler için canlı insan incelemesi şarttır (finansal işlemler, veritabanı işlemleri vb. düşünün). LangChain, bu temas noktalarını her döngüde donatmayı kolaylaştırır:
- Ajan döngüsünde, hassas eylemler/araç çağrılarından önce insan girdisi gerektirin.
- Doğrulama döngüsünde, hassas iş akışları için bir insan derecelendirici olarak görev yapabilir.
- Uygulama döngüsünde, bir insan çıktıları son kullanıcıya döndürülmeden önce onaylayabilir.
- Tepe tırmanma döngüsünde, donanım iyileştirmeleri dağıtımdan önce insan incelemesinden geçebilir.
LangChain'in tüm açık kaynak çerçeveleri, "döngüde insan" eklemeyi birinci sınıf bir ilkel haline getirir.
Hepsini bir araya getirmek
Daha tablo halinde bir görünüm tercih ederseniz, bu dört döngünün nasıl bir araya geldiği aşağıda açıklanmıştır:
Döngü
Ne yapar
Etkisi
LangChain ilkeli
1: Ajan döngüsü
(model + araçlar)
Model, bir görev tamamlanana kadar araçları tekrar tekrar çağırır
İşleri otomatikleştirir
create_agent, LangChain destekli herhangi bir model
2: Doğrulama döngüsü
(ajan + derecelendirici)
Ajan çalışır, çıktı bir rubriğe göre puanlanır, başarısız olursa geri bildirimle yeniden denenir
Kaliteyi sağlar
RubricMiddleware
3: Olay döngüsü
(doğrulama + sistem)
Olaylar, gerçek bir sistemi güncelleyen ajan çalışmalarını tetikler
Ölçekte çalışma
LangSmith Deployment / Fleet kanalları
4: Tepe tırmanma döngüsü
(sistem + engine)
Üretim izleri, donanım yapılandırmasını iyileştiren bir analiz ajanını besler
Sürekli iyileştirme
LangSmith Engine
Döngü mühendisliği — veya @swyx'in deyimiyle loopcraft — pratikte tam olarak böyle görünür. Steipete, Boris ve Andrej gibi yapay zeka liderlerinin tümü aynı sonuca varmıştır: ajanlardaki potansiyel, onların etrafına inşa ettiğiniz döngülerde yatar.
Bir süredir döngü 1 ve 2'yi düşünüyorduk. Ancak odak, ajanları ekosisteminize yerleştirerek ve bunların kriterlerinize yanıt olarak sürekli iyileşmesini sağlayarak değerin katlandığı döngü 3 ve 4'e kaydırılmalıdır.
Satya kurumsal riskleri şöyle çerçeveliyor: İnsan yargısı ve token sermayesinin birlikte birleştiği öğrenme döngülerini erken kuran şirketler, kopyalanması zor bir avantaj elde edeceklerdir.
Teşekkürler
@Vtrivedy10, @masondrxy, @hwchase17 ve @huntlovell'e düşünceli incelemeleri için teşekkürler.
