Bir yapay zeka ajanından anahtar-değer deposunun hızlandırılması istendi. Ajan, 6 kat daha yüksek verimlilik sağladı ve tüm doğruluk testlerini geçti. Açıklama mı? Ajan, depolamanın performansını değerlendirmek için kullanılan sektör standardı benchmark değerlerinin anahtarlardan üretildiğini keşfetti. Değerleri saklamak yerine, istemciler talep ettiğinde bunları anında yeniden üretti.
Değerleri saklamaktan kaçınan bir anahtar-değer deposu pek mantıklı gelmiyor, ancak değerlendirici tam olarak bu davranışı ödüllendirdi. Spesifikasyon, bizim açıkça belirtmemiz gerektiğini düşündüğümüz bir şeyi atlamıştı ve benchmark bu eksikliği ortaya çıkaramadı.
Ödül hilelerine (reward hacking) ve halüsinasyonlara yol açan iki boşluk
Yeni makalemiz, kod üreten, testleri çalıştıran ve tüm testler geçene kadar hataları düzelten tanıdık uygulama-doğrulama döngüsünün dışında yer alan iki temel boşluk aracılığıyla bu davranışı ve diğer birçok ajan başarısızlığını açıklıyor.
- Gereksinim Boşluğu: Yazdıklarımız ile aslında ne istediğimiz arasındaki farkı ayırır. Bizim durumumuzda, herhangi bir çözümün istemci tarafından sağlanan değerleri saklayacağını kendiliğinden kabul ettik—sonuçta, bir "depo" denmesinin bir sebebi var!—bu yüzden bu gereksinimi açıkça belirtmek aklımıza bile gelmedi.
- Model Boşluğu: Değerlendirme yaptığımız ortam ile uygulamanın dağıtılacağı gerçek dünya arasındaki farkı ayırır. Benchmark'ımız öngörülebilir değerler kullandı, ancak gerçek istemciler rastgele değerler sağlar.
Doğal tepki, daha iyi gereksinimler ve daha güçlü testler yazmaktır. İkisi de yardımcı olur. Ancak makine tarafından kontrol edilen ispatlar bile bu boşlukları kapatamaz. Brian Cantwell Smith'in The Limits of Correctness (1985) adlı eserinde açıkladığı gibi, bir ispat yalnızca yazılımın belirtilen gereksinimleri verilen ortam varsayımları altında karşıladığını kanıtlar. Bu gereksinimlerin kullanıcıların her şeyini kapsadığını veya bu varsayımların her gerçek dünya dağıtım senaryosunu içerdiğini kanıtlayamaz. Sonuç olarak, bu boşluklar genel olarak kapatılamaz.
Bu boşluklar, ödül hilelerine ve halüsinasyonlara yol açar. Ödül hilesi, ajanların belirtilmemiş bir gereksinim veya gerçek dünya varsayımı gibi bir boşluktan yararlanarak belirli bir hedefi iyileştirmesi durumunda ortaya çıkar. Halüsinasyon ise, mevcut olmayan bir API gibi uydurma gereksinimler veya ortam varsayımları ekleyerek ajanların boşlukları daha da genişletmesi durumunda gerçekleşir. Yakın zamanda bildirilen OpenAI ve Hugging Face ve Claude olayları, bu boşlukların tezahürleridir.
Yapay zeka ajanları iki boşluğu daha da kötüleştiriyor
Bu boşluklar yeni değil; onlarca yıldır yazılım mühendislerinde mevcuttu. Ancak yapay zeka ajanları bu boşlukları çok daha kötü hale getiriyor.
- Hiper Optimizasyon: Ajanlar, insanlardan katbekat daha hızlı bir şekilde uygulamalar arasında arama yaparak değerlendiriciye karşı aktif olarak optimizasyon gerçekleştirir.
- Eksik Zımni Bilgi: Deneyimli insan mühendisler, zımni bağlama (örneğin, bir veri deposunun gerçekten veri saklaması gerektiğini bilmek) güvenir. Ajanlar genellikle bu organizasyonel bağlamdan yoksundur ve eksik gereksinimlerden kolayca yararlanır.
- Çoklu Ajan Tuzağı: Her ajan aynı eksik gereksinimleri ve ortam varsayımlarını devralıyorsa, daha fazla inceleme ajanı eklemek sorunu çözmez.
Boşlukları daraltmak için insan yargısı esastır
Boşluklar, uygulama–doğrulama döngüsünün dışında yer aldığından, onları daraltmak dışsal bir güvence-düzeltme döngüsü gerektirir. Bu döngü, dağıtılan davranışın insan niyetini karşılayıp karşılamadığını kontrol eder. Karşılamadığında, döngü gereksinimleri, ortam modelini veya değerlendiriciyi düzeltmek için dağıtım kanıtlarını kullanır. Ardından, revize edilmiş bir uygulama üretmek için uygulama-doğrulama döngüsü tekrar çalıştırılır.
Yazılımın insan niyetine hizmet etmesi gerektiğinden, kanıtları yorumlama ve hangi davranışın kabul edilebilir olduğuna karar verme konusunda nihai otorite insanlarda kalır. Ajanlar, kanıt toplayarak, düzeltmeler önererek ve insanlar tarafından devredilen yetki dahilinde rutin kararlar alarak dış döngüyü hızlandırabilir.
Dolayısıyla, yazılım uygulaması maliyeti düştükçe, en kritik kaynak, hangi davranışın kabul edilebilir olduğu hakkında insan yargısı ve sistemlerin gerçek koşullar altında nasıl performans gösterdiğine dair sadık bir değerlendirme haline gelir.
