Ajanlar bir döngü içinde çalışır: Bir LLM ne yapılacağına karar verir, bir araç çalıştırılır, bir model sonuçları değerlendirir ve görev tamamlanana kadar bu döngü devam eder.
Ajanlar ve LLM'ler başlangıçta, yapılandırılmış verilere ve öngörülebilir arayüzlere dayanan yazılım uygulamalarına entegre edilmesi zor olan teknolojilerdi. Bu süreci çok daha kolay hale getiren iki temel bileşen ortaya çıktı:
- Araç çağırma (Tool calling) modellerin yapılandırılmış istekler oluşturmasını ve yapılandırılmış sonuçlar almasını sağladı.
- Yapılandırılmış çıktılar (Structured outputs) modellerin yapılandırılmış sonuçlar döndürmesine izin verdi.
Ancak bunlar mevcut olsa bile, ajan döngüsü hâlâ yavaş ve maliyetli: Her karar için başka bir model çağrısı gerekiyor.
Karşınızda Jev. Jev, TypeSafe AI tarafından yayınlanan yeni bir model. Şirket, sınıflandırma görevlerinde karşılaştırılabilir LLM'lere kıyasla 200 kat daha hızlı çıkarım ve 400 kat daha düşük maliyet bildirdi.
https://x.com/CompleteSkeptic/status/2099925682726002904
Bu gönderi, Jev'in nasıl çalıştığını, ajan döngüsündeki yerini ve LangChain ile nasıl kullanılacağını kapsıyor.
Jev Hakkında Her Şey
Jev aslında geleneksel bir LLM değil, metin üretmiyor. TypeSafe AI ekibinin "System One" modeli olarak adlandırdığı şey bu:
📖 System One modelleri, yazılımın doğrudan kullanabileceği hızlı ve yapılandırılmış kararlar vermek üzere tasarlanmış bir yapay zeka modeli sınıfıdır. Bir System One modeli bir
durumu (state) değerlendirir ve tipli yanıtlar ile olasılıklar döndürür.
Kalibre edilmiş kararlar için pekiştirmeli öğrenme (RLCD) kullanılarak eğitilir. Kodunuz, her karar için tam bir sohbet LLM çağrısı yapmadan, ajanın sıradaki adımını yönlendirmek için bu sonuçları kullanır.
Bir Jev modelini çağırmak için ona bir durum (state) (bağlam) ve bu durum hakkındaki soruları gönderirsiniz. İşte dokümanlarındaki destek talebi örneğinin tek soruluk versiyonu:
1{2 "model": "jev-latest",3 "state": "Merhaba, Stripe hesabımı bağlamaya çalışıyorum ama 3 gündür sürekli başarısız oluyor. Satış kaybediyorum. Lütfen acil yardım edin.",4 "questions": {5 "is_urgent": {6 "type": "noul",7 "instructions": "Mesaj aciliyet veya zaman hassasiyeti içeriyor"8 }9 }10}
Dokümandaki örnek, yanıtın geri kalanı gösterilmeden şu aciliyet cevabını veriyor:
1{2 "is_urgent": {3 "type": "noul",4 "noul": 0.9995 }6}
Bu, mesajın acil olduğuna dair %99,9'luk bir olasılıktır; uygulamanız bunu talebi önceliklendirmek için kullanabilir.
Desteklenen üç tür soru vardır:
- Seçim (Choice): Bir seçenek kümesinden seçim yapar. Her seçenek için bir olasılık ve genel bir güven skoru döndürür.
- Skor (Score): Bir girdiyi düşük, orta ve yüksek gibi sıralı seviyelere göre puanlar. Sürekli bir skor, altta yatan dağılım ve bir güven değeri döndürür.
- Noul: Evet-hayır sorusunu yanıtlar. Bir ifadenin doğru olma olasılığını döndürür.
Buradaki kilit özelliklerden biri, aynı durum hakkında tek bir istekte birden fazla soru sorabilmenizdir.
💡 System One modelleri, bir istekteki tüm soruları paralel olarak değerlendirir. Soru eklemek yanıt süresini neredeyse hiç değiştirmez ve yalnızca ek sorular için token maliyeti yaratır; bu da oldukça ucuzdur.
Bir destek talebi hakkında birden fazla soru sormaya dair örnek için TypeSafe Hızlı Başlangıç Rehberine bakın.
Özetle, geleneksel LLM'lerin aksine, Jev ne metin üretimine ne de ardışık karar vermeye bağlıdır!
Jev'i LangChain ile Nasıl Kullanırsınız?
LangChain'in sağlayıcıdan bağımsız modeli, binlerce diğer entegrasyon ve model sağlayıcısının yanında Jev'i desteklemek için uygundur.
LangChain entegrasyonu, Jev'i TypeSafeClassifier aracılığıyla sunar. Durumunuzu ve sorularınızı .invoke() metoduna geçirirsiniz ve bir sohbet yanıtı yerine sınıflandırma sonuçları alırsınız.
langchain-typesafe paketini kurun ve TYPESAFE_API_KEY değerinizi ayarlayın, ardından bir çağrı yapın:
1from langchain_typesafe import Noul, TypeSafeClassifier23classifier = TypeSafeClassifier()45response = classifier.invoke(6 state=(7 "Dağıtım iki kez başarısız oldu ve müşteriler 500 hataları görüyor. "8 "Biri şimdi bakabilir mi?"9 ),10 questions={11 "urgent": Noul(12 instructions="Bu duruma hemen müdahale edilmeli mi?"13 ),14 },15)1617urgency = response.nouls["urgent"].noul
Durum; metin, yapılandırılmış veri veya LangChain mesajları olabilir. Bu sayede, ajanınızın zaten sahip olduğu bağlamı kullanarak bir düğüm veya ara yazılım kanca noktasından Jev'i çağırmak oldukça basittir.
Bunu özel ara yazılımlara veya araçlara dahil edebilirsiniz!
Kullanım Alanları
Jev, bir LLM'nin doğrudan ikamesi değildir. Metin üretmez ancak bugün sıklıkla LLM'ler için kullandığımız sınıflandırma görevlerini aynı gecikme ve maliyet olmadan ele alabilir. Bu, ajanınızı sürdüren modele umut vadeden bir tamamlayıcı haline getirir: Açık uçlu akıl yürütme ve üretim için bir LLM kullanın, süreç boyunca hızlı ve yapılandırılmış kararlar için ise Jev'i tercih edin.
Model Yönlendirme
Basit bir arama, zorlu bir hata ayıklama göreviyle aynı modele ihtiyaç duymaz. Model yönlendirme ara yazılımı, Jev'in isteği değerlendirmesine ve sizin tanımladığınız kriterlere göre bir model seçmesine olanak tanır; böylece basit görevler için hızlı ve ucuz, karmaşık görevler için daha yetenekli modeller kullanılır.
1from langchain.agents import create_agent2from langchain_typesafe.experimental.middleware import (3 ModelChoice,4 ModelRouterMiddleware,5)67router = ModelRouterMiddleware(8 choices={9 "fast": ModelChoice(10 model="openai:luna",11 criteria="Doğrudan aramalar, veri çıkarma ve yerel değişiklikler.",12 ),13 "powerful": ModelChoice(14 model="openai:sol",15 criteria="Mimari ve yüksek riskli kararlar.",16 ),17 },18 instructions="Görevi tamamlayabilecek en az maliyetli modeli seç.",19)2021agent = create_agent("openai:gpt-5.6-luna", middleware=[router])
Yönlendirici, son kullanıcı mesajından bir model seçer ve çalışma boyunca onu kullanır. Olasılıklar ve güven düzeyleri ayrıca ajan durumunda da mevcuttur.
Otomatik Mod (Auto Mode)
Ajanlar hâlâ doğası gereği güvenilir değildir. Bir ajan, kötü niyetli talimatlar alabilir (doğal olarak veya yeterince motive olmuş bir saldırgan tarafından) ve bu durum, onun istemediğimiz eylemleri gerçekleştirmesine neden olabilir.
claude, codex, cursor gibi kodlama ortamları, eylemler gerçekleştirilmeden önce tehlikeli eylemleri sınıflandırmak için bir yöntem sunmuş ve bu durum ajanlara duyulan güvenin yavaş yavaş artmasına yardımcı olmuştur. Şimdiye kadar, bu sınıflandırıcı adımı, ortamın kapalı kaynak bölümlerinde gizliydi.
Artık ucuz ve performanslı bir sınıflandırıcı model mevcut olduğundan, aynı deseni alıp tüm ajanlara uyarlayabiliriz!
1from langchain.agents import create_agent2from langchain_typesafe.experimental.middleware import (3 AutoModeMiddleware,4)56guardrail = AutoModeMiddleware(tools=["bash"])78agent = create_agent("openai:gpt-5.6-luna", middleware=[guardrail])
AutoModeMiddleware, araçların çalıştırılmasından önce riskli kararları kontrol etmek ve engellemek için Jev'i kullanır.
Başlayın!
Jev ve sunduğu olasılıklar konusunda oldukça heyecanlıyız. Şimdiden gördüğümüz birkaç harika proje: Browserbase'den Kyle Jeong, tarayıcı kullanım ajanlarını sentin kesirleriyle çalıştırıyor, Jarrod Watts canlı bir işlem ajanı geliştirdi ve Ryan Vogel büyük ölçekte e-posta triyajı yapıyor.
Şu an itibarıyla her hafta yeni modeller çıkıyor, ancak bu model oldukça büyük bir tepki aldı. LangChain ve Jev ile ne inşa ettiğinizi görmeyi sabırsızlıkla bekliyoruz.
Forum üzerinden düşüncelerinizi bizimle paylaşın, X üzerinde bizi etiketleyerek neler inşa ettiğinizi gösterin veya LangChain sorunlarına katkıda bulunun!
Teşekkürler
Düşünceli incelemeleri ve katkıları için @huntlovell, @hwchase, @ccurme, @veryboldbagel ve Nathan Drenzer'a teşekkür ederiz.
