Siyah Giyen Adamlar II'de Ajan J, K'yı sıradan görünümlü bir postane binasında ziyaret eder. Bir posta ayırma makinesini açtığında içinde mektupları hızla sınıflandıran bir uzaylı ortaya çıkar.
Bu absürt küçük sahne, aynı zamanda yapay zekâ hakkında düşünmek için bize faydalı bir bakış açısı sunar.
Bir şeyi almakla onunla bir işlem yapmak arasında genellikle daha küçük bir karar verilir: Bu nereye ait?
Bu kararı baştan doğru verirseniz, sistemin geri kalanı uygun yolu izleyebilir.
Yapay zekâ yazılımı geliştirirken o küçük uzaylıyı sık sık düşünüyorum.
Bir uygulama; fatura sorusu, hata bildirimi, ürün fotoğrafı ve demo randevu talebi alır. Her biri farklı bir işlem gerektirir. Ancak yine de her şeyi incelemesi ve ne yapılacağına karar vermesi için aynı büyük dil modelinden medet umabiliyoruz. Ne verimli ne de maliyet açısından mantıklı.
İşte bu yüzden uzmanlaşmış modellerin yapay zekânın geleceğinde çok daha büyük bir rol oynayacağını düşünüyorum. Örneğin; Jev, yazılımların harekete geçebileceği yapılandırılmış kararlar için tasarlandı. Coinbase, Onramp hizmetindeki dolandırıcılık tespiti için Qwen3.5-9B'yi özel olarak uyarladı. Her biri belirli bir işe odaklanıyor ve sonuçları ölçülebiliyor.
https://x.com/brian_armstrong/status/2109412046244913643
Ben ayırma katmanını inşa ediyorum
Tanıdık istekler doğrudan belirlenmiş bir iş akışına yönlendirilebilir. Daha fazla akıl yürütme gerektiren istekler başka bir modele aktarılır. Belirsiz olanlar ise açıklama veya inceleme için işaretlenir.
Potansiyel tasarruf, her isteğe tam da ihtiyacı olduğu kadar işlem gücü ayırmaktan gelir. Ardından, ayırıcının varlığını haklı çıkarmak için yeterli sayıda doğru karar verip vermediğini ölçmemiz gerekir.
Başlangıç noktamız CludeMem oldu. Bir yapay zekânın neyi hatırlaması, neyi geri çağırması ve neyin gereksiz yere token tükettiğine karar vermeye çalışıyorduk. Kalıcı bir tercih, geçici bir talimat ve çözülmemiş bir soru farklı muamele görmeyi hak eder. Bu kararları vermeden önce bilgiyi sınıflandırmamız gerekiyordu.
Bu fikir, daha geniş bir sınıflandırma katmanının temelini oluşturdu. Aynı adım; bir destek talebini sıralamaya, bir belgeyi yönlendirmeye veya bir görevi hangi uzman modelin üstleneceğini seçmeye yardımcı olabilirdi.
GIF
Daha fazla uzmanlaşmış model ortaya çıktıkça, uygulamalar hangi girdilerin dikkatlerini hak ettiğine karar vermek zorunda kalacak. İşte bizim inşa ettiğimiz kısım burası: Geleni sınıflandır, tanıdık durumları yerel olarak işle, zor olanları ise uygun modele veya inceleme sürecine aktar.
Karşınızda Clude Cat (Cat, yani kategorizasyon 😉)
Bir anıyı kaydetmeden, bir belgeyi geri çağırmadan, bir aracı çağırmadan veya yanıt üretmeden önce, genellikle ne tür bir bilgiyle uğraştığımıza dair bir karar verme aşaması vardır.
Bu kararlar her yerdedir.
Birinin bir yazılım şirketine şu mesajı attığını hayal edin:
"Faturamı nereden indirebilirim?"
Bir yapay zekâ ajanı mesajı okuyabilir, araçlarını inceleyebilir, müşterinin niyetini değerlendirebilir ve faturayı aramaya karar verebilir.
Daha doğrudan bir iş akışı şöyle görünebilir:
Mesaj → fatura-belge talebi → hesap doğrulama → fatura geri çağırma.
Yanıtı yine bir dil modeli yazabilir. İlk yönlendirme kararı ise yerel olarak işlenebilir.
Şimdi mesajı değiştirelim:
"Benden iki kez ücret kesildi, hesabım kilitlendi ve iptal etmek istiyorum."
Bunu kendinden emin bir şekilde tek bir fatura iş akışına göndermek daha fazla iş yaratacaktır. Çözülmesi gereken birkaç sorun var ve doğru yanıt bir açıklama ya da insan müdahalesi gerektirebilir.
Ayırıcının "Bunu güvenilir bir şekilde sınıflandıramıyorum" deme yetkisine sahip olması gerekir.
Bu, ürünün vazgeçilmez bir parçasıdır. İstekleri yanlış hedeflere güvenle gönderen bir sistem, hatalarını düzeltmek için harcanan emekle hız avantajını tamamen yok edebilir.
Müşteri için beklenen fayda, daha az bekleme ve daha az tekrardır.
Geliştirici için ise inceleyebileceği, test edebileceği ve değiştirebileceği açık bir karardır. Seçilen kategoriyi, model sürümünü, işlem süresini ve sistemin karar vermekten kaçınıp kaçınmadığını görebilirler.
Arka planda metin uygulaması, kodlayıcı (encoder) adı verilen küçük, önceden eğitilmiş bir modelle başlar.
Bu model, bir mesajı anlamının yönlerini temsil eden bir sayı listesine dönüştürür. Geliştiriciler bu temsile embedding (gömme) adını verir.
"Faturam nerede?" ve "Hesabımın bir kopyasına ihtiyacım var" farklı kelimeler kullanır. Ancak sayısal temsilleri, sistemin bunların aynı türde bir talep olduğunu anlayabileceği kadar benzer olabilir.
Bir sınıflandırma katmanı, bu temsilleri kullanarak geliştiricinin tanımladığı kategorileri puanlar.
İki yaklaşım uyguladık. Biri gelen mesajı her kategorinin örnekleriyle karşılaştırır. Diğeri ise etiketlenmiş örneklerden kategoriler arasındaki sınırları öğrenir.
Uyarlanmış (fitted) yaklaşımda kodlayıcıyı sabit tutar ve onun üzerinde daha küçük bir karar katmanını eğitiriz. Her uygulama için yeni bir temel model eğitmemize gerek kalmaz.
Geliştiricinin yine de kategorilerin ne anlama geldiğini tanımlaması ve bunları faydalı eylemlerle ilişkilendirmesi gerekir. Sınıflandırıcı, şirketin departmanlarını, iade politikasını veya hesap izinlerini kendi başına icat edemez.
Ayrıca bir kabul politikasına da ihtiyaç duyar.
En yüksek puanı alan kategori bile zayıf bir eşleşme olabilir. İki kategori neredeyse berabere kalabilir. Tanıdık olmayan bir istek, tanıdık bir şeye benzeyebilir.
Mevcut yerel puanlarımız kalibre edilmiş olasılıklar değildir. 0.92'lik bir puan otomatik olarak "%92 doğru olma ihtimali" anlamına gelmez.
Bu puanlar kararları kontrol ettiğinde ne olacağını test etmeliyiz.
Bu nedenle çıktı; kabul edilen bir kategori, inceleme gerektiren bir istek ve teknik bir arıza arasında ayrım yapar. Zaman aşımları, iptaller ve model hataları da öngörülebilir bir şekilde ele alınmalıdır.
İşte ayırıcının etrafındaki mühendislik budur. Başka bir uygulamanın sonucu güvenli ve tutarlı bir şekilde kullanıp kullanamayacağını belirleyen şey budur.
Bu yaklaşımın üretken model iş yükünü azaltıp azaltamayacağını görmek için 770 bankacılık talebi üzerinde bir deney yaptık.
İlk konfigürasyon, sınıflandırma için her isteği yerel olarak çalışan bir Qwen2.5 7B modeline gönderdi.
İkincisi ise önce yerel sınıflandırıcımızı kullandı ve çözülemeyen istekleri Qwen'e iletti.
Sonuçlar şöyleydi:
- Qwen çağrıları 770'ten 227'ye düştü.
- Doğru sınıflandırmalar 535'ten 642'ye çıktı.
- Tüm girdilerdeki doğruluk oranı %69.5'ten %83.4'e yükseldi.
- Ölçülen sorgu sürelerinin toplamı 299.7 saniyeden 87.7 saniyeye indi.
Yerel aşama 543 Qwen çağrısını önledi, bu da %70.5'lik bir düşüş demek.
Önbellekleme açık kaldı ve doğrudan yaklaşım, birleşik yaklaşımdan önce çalıştırıldı. Zamanlama rakamları kurulum ve ısınma sürelerini hariç tutar. Nihai müşteri yanıtları üretmeden veya bir model sağlayıcısına ödeme yapmadan yalnızca sınıflandırmayı ölçtük.
Bu rakamlar sadece bu konfigürasyonu tanımlar. Her LLM'e karşı bir üstünlük kanıtlamaz veya müşteri tasarrufunu garanti etmez.
Daha sonra yapılan ayrı bir deneyde, uyarlanmış yerel sınıflandırıcı 24 seyahat ve iş yeri niyeti üzerinde test edildi.
720 isteğin 688'ini yerel olarak kabul etti. Bunlardan 681'i doğruydu, yedisi yanlıştı. 32'sini ise inceleme için bıraktı.
Bu bize iki farklı ölçüm verdi:
- Kapsama: İsteklerin %95.6'sını yerel olarak işledi.
- Kabul hassasiyeti: Kabul ettiği kararların %99.0'ında doğruydu.
Her ikisi de sonucun bir parçasıdır. Bir sınıflandırıcı, yalnızca bir avuç kolay isteği kabul ederek etkileyici bir hassasiyet elde edebilir.
Ayrıca desteklenen kategorilerinin dışında kalması gereken 100.000 tanıdık olmayan girdiyi de test ettik. %94'ün üzerinde doğruluk sağladı.
Sistemin neyi bilmediğini fark etmesi, işin önemli bir parçası olmaya devam ediyor.
Hız da aynı özeni gerektirir. Ayrı bir sıcak CPU testinde, eksiksiz bankacılık sınıflandırıcısı M4 Max üzerinde medyan değerde istek başına yaklaşık 1.8 milisaniye sürdü. Buna tokenizasyon, embedding ve puanlama dahildi.
Modelin indirilmesi ve başlatılması buna dahil değildi. Bu bir sınıflandırma ölçümüdür, kullanıcının tüm talebini çözmek için gereken süre değildir. Ayrıca bir telefonda veya sıradan bir dizüstü bilgisayarda aynı performansı garanti etmez.
Jev'in bu tartışmaya uymasının nedeni, zaten benzer bir karar sınıfına hitap etmesidir.
TypeSafe, Jev'i sunulan seçenekler arasında seçim yapma ve istekleri sıradan koda, uzman modellere veya insanlara yönlendirme gibi sınırlı yargılar için bir model olarak belgeler. \Jev'in niyet yönlendirme dokümantasyonu\
Jev için gördüğüm rol, yerel sınıflandırıcının güvenilir bir şekilde çözemediği istekler için isteğe bağlı bir eskalasyon yoludur.
Ulaşmaya çalıştığımız mimari oldukça basit:
Gelen istek → yerel sınıflandırma → tanıdık istekler belirlenen yolu izler; belirsiz istekler Jev'e, başka bir modele veya insan incelemesine aktarılır.
Jev olmadan, aynı yerel sınıflandırma aşaması çözülemeyen istekleri uygulamanın mevcut LLM'sine, açıklama adımına veya inceleme sürecine geri gönderebilir.
Kategorileri, kabul eşiklerini ve yedek planı geliştirici kontrol eder. Yerel sınıflandırıcıyı mevcut bir iş akışına entegre edebilir ve hangi kararları devralabileceğini ölçebilir.
Bugün Jev entegrasyonu gölge modda çalışıyor; uygulamanın davranışını değiştirmeden beş geniş konu genelindeki kararları karşılaştırıyor. Bir sonraki adım, seçici eskalasyonun tüm iş akışını iyileştirip iyileştirmediğini test etmek. Yukarıdaki Qwen sonuçları bir Jev kıyaslaması değildir.
Ölçmemiz gereken şey tam olarak bu: Gereksiz model çağrılarının azalması, tanıdık isteklerin daha hızlı işlenmesi ve daha fazla ilgi gerektiren durumlar için net bir yol.
Aynı yaklaşımı görüntülere de genişletmeye başladık.
Fiş, hata ekran görüntüsü ve ürün fotoğrafı alan bir işletmeyi hayal edin. Her biri farklı bir işleme yolu gerektirir.
Bir fiş, fiş çıkarma işlemine gidebilir. Bir ekran görüntüsü destek iş akışına dahil olabilir. Bir ürün fotoğrafı katalog iş akışına girebilir. Belirsiz bir görüntü ise incelemeye gönderilebilir.
Sınıflandırıcı hedefi seçer. Satın alma toplamını okumak, hatayı teşhis etmek ve ürün detaylarını belirlemek ayrı görevler olarak kalır.
Deneysel görüntü uygulamamız, görüntünün sayısal bir temsilini üretmek için önceden eğitilmiş bir CLIP kodlayıcı kullanıyor.
Uyarlanmış bir araştırma adayı, küçük bir teşhis testinde 20 gıda ürünü fotoğrafından 19'unu doğru sınıflandırdı. Ayrıca 30 fasulye yaprağı görüntüsünün tamamını incelemeye gönderdi.
Yapılan hata, bir şişenin besin değerleri tablosunun ve barkodunun fiş olarak sınıflandırılmasıydı.
Sorunu görebiliyorsunuz. Her ikisi de yoğun metin, sayılar ve dikdörtgen düzenler içerebilir. Uygulamamızın önemsediği sınırı öğretecek örneklere ihtiyacımız var.
Bu örneklem, üretim ortamı için bir iddiada bulunmak adına çok dar. Etiketler bağımsız olarak değerlendirilmek yerine veri setinden türetilmişti ve testte yeni fiş veya ekran görüntüsü örnekleri yoktu. Genel demo ayrı bir temel çizgi kullandığından, uyarlanmış adayın sonucu ona atfedilmemelidir.
Görüntü işleme de metin sınıflandırmadan daha ağırdı. M4 Max üzerinde sıcak medyan işleme Node'da yaklaşık 36 milisaniye, Chromium'da ise 197 milisaniye sürdü. Tarayıcının önce çalışma zamanına ek olarak yaklaşık 85 MiB model varlığına ihtiyacı var.
Yerel yürütmenin de maliyetleri vardır. İndirme boyutu, bellek, başlatma süresi ve cihaz performansı değerlendirmenin bir parçası olmalıdır.
Aklımdaki ürün, bundan sonra ne olacağına karar verdiği mevcut bir uygulamaya entegre oluyor.
Geliştirici kategorileri tanımlar, temsili örnekler sağlar, hedefleri bağlar ve sınıflandırmanın belirsiz olduğu durumlarda ne olması gerektiğini seçer.
İlk dağıtım, sonucunu değiştirmeden mevcut iş akışını gözlemlemelidir. Ardından, sınıflandırıcının yönlendirmeyi kontrol etmesine izin vermeden önce önerilen kararları doğrulanmış sonuçlarla karşılaştırabiliriz.
Kabul edilen hataları da reddedilen istekler kadar dikkatli incelememiz gerekiyor. Aksi takdirde, özgüvenli ama yanlış bir karar, güven veren bir puanın arkasında kaybolabilir.
Eğitim, kalibrasyon ve test için de ayrı verilere ihtiyaç vardır. Eğitim kategorileri öğretir. Kalibrasyon kabul kurallarını seçer. Korunan bir test ise dondurulmuş sonucu kontrol eder.
Bir test hatası bir sonraki modeli etkilediğinde, o örnek geliştirme verisi haline gelir. Bir sonraki değerlendirme yeni bir test gerektirir.
Posta ayırma makinesindeki küçük uzaylı, insanlara işi somutlaştırma imkânı tanıyor. Faydalı bir versiyonunu inşa etmek ise tam olarak hangi girdileri işleyebildiğini, ne zaman yardım istemesi gerektiğini ve hatalarının neye mal olduğunu bulmak anlamına geliyor.
Bir sonraki adım, bağımsız etiketlere ve her sonucun kaydına sahip temsili bir iş akışıdır. Kaç isteğin yerel rotayı izlediğini, kaçının başka bir modele ulaştığını, kaçının yanlış gittiğini ve bu hatalar hesaba katıldığında uygulamanın tamamının daha hızlı veya daha ucuz hale gelip gelmediğini ölçmemiz gerekiyor.
Artık ölçeği büyütmenin ve bu yerel modele biraz güç katmanın zamanı geldi.
