6 Temmuz 2026'da ITmedia'da bir makale yayınlandı.
"Yapay zeka kullanımının önündeki darboğaz, model performansından 'değerlendirme', 'yönetişim' ve 'maliyet verimliliği'ne kayıyor," diyor Databricks Baş Yapay Zeka Bilimcisi ve MosaicML'in kurucu ortağı Jonathan Frankle.
Argümanı basit:
- Yapay zeka zaten yeterince akıllı. Mevcut modelleri nasıl kullanacağını düşünmek bile "onlarca yıllık iş" bırakıyor.
- Daha iyi yapay zeka uygulaması için gereken, daha akıllı modeller geliştirmek değil, değerlendirme ve yönetişime yatırım yapmaktır.
- Yapay zeka "%70 veya %90 doğrulukta yeterli değil"; katbekat daha titiz bir değerlendirmeye ihtiyaç duyuyor.
- Ve en büyük zorluk, insanın "iyi iş nedir" standardını bir kontrol listesine dönüştürmek. Bu, "bir sonraki dev modeli geliştirmekten çok daha zor ve 10 yıldan fazla sürebilir."
Bunu okurken keskin bir farkındalık sancısı hissettim.
Son zamanlarda, yapay zeka "kullanım hacmini" ölçmeyi deniyorum. OpenTelemetry aracılığıyla "Databricks" x "Claude Code/Codex/Cowork" kullanım telemetrisini Databricks'e çeken, her sabah "kimin hangi aracı ne kadar ve hangi maliyetle kullandığını" güncelleyen bir kontrol panelim var.
Ama makalenin işaret ettiği nokta bu değildi. "Bu iş iyi miydi?" — Ajan kalitesinin değerlendirilmesi büyük bir boşluktu.
Makaleyi Fable'a verdim ve "Neyi değerlendirmemiz gerektiğini düşün" diye sordum
Bu yüzden, düzenli olarak kullandığım Claude'a (Fable 5) makalenin URL'sini verdim ve sordum:
Bu makaleyi oku ve neyi değerlendirmemiz gerektiğini düşün.
İç log altyapımızı ve kontrol paneli yapılandırmamızı inceledikten sonra Fable, "değerlendirilecek üç katman"dan oluşan bir tasarımla geldi.
Fable'ın Cevabı: "Değerlendirilecek Şeyler"in Üç Katmanı
Aşağıdaki tavsiye """""""""""""""""""""""""""""""""
Katman 1: Sürtünme Sinyalleri (Günlük, Herkes, Mekanik Yargı)
Bir LLM'e bile sormadan, loglardan mekanik olarak tespit edilebilen "düşük kalite belirtileri" vardır.
- Şüpheli Döngüler: Aynı araca art arda 5 defadan fazla vurmak.
- Maliyet Aykırı Değerleri: Tek bir oturumda 5 dolardan fazla harcamak.
- Blok Sıklığı: İnsan onayı beklerken çok sayıda durma.
- Önbellek Verimliliği: Bağlamın zayıf yeniden kullanımı (yani her seferinde yeniden okuma).
- Araç Bağlantı Hataları: MCP sunucularına bağlanmada sürekli başarısızlık.
Katman 2: İş Kalitesi (Haftalık, LLM Hakemi)
AI ajan iş günlüklerini (izleri) bir LLM Hakemine ileten ve 8 eksende puanlayan bir sistem oluşturun.
- Hedefe Ulaşma / Doğruluk / Araç Seçimi / Kanıta Bağlılık / Adımların Geçerliliği / Hatadan Kurtarma / Güvenlik / Verimlilik
- Ortalama 3,5 veya daha yüksekse geçer. Ancak, "Hedefe Ulaşma" veya "Güvenlik" 2 veya daha düşükse, diğer her şey mükemmel olsa bile anında başarısızlık (sert başarısızlık) olur.
Her Pazar gecesi en son oturumları otomatik olarak puanlayın, böylece "haftanın geçme oranı" Pazartesi düzenli incelemesinde görünsün. Yalnızca güvenlikle ilgili sert başarısızlıklar, ertesi sabah bir e-posta uyarısı tetikler.
Katman 3: Değerlendirmenin Kendisini Bir Ürüne Dönüştürmek
Makalenin "10 yıl sürer" dediği iş — "iyi iş için kriterleri bir kontrol listesine çevirmek" — tam olarak AI danışmanları ve kurumsal eğitmenler olarak müşterilerimize sağlamamız gereken şeydir. Dahili olarak çalışan kontrol paneli, olduğu gibi bir satış demosu haline gelir.
"""""""""""""""""""""""""""""""""
Ve aynı gün uygulandı
Ajan çağının harika yanı şu: üç katman da o gün çalışmaya başladı.
- Katman 1 için bir SQL görünümü, kurumsal kontrol paneline bir "Kalite" sekmesi olarak eklendi ve yayınlandı.
- Katman 2 için haftalık yürütme planlandı ve güvenlik uyarıları izleme sistemine entegre edildi.
- Katman 3 için bir teklif tasarım belgesi hazırlandı.
Tek yaptığım politikayı seçmek, birkaç onay düğmesine tıklamak ve zamanlayıcı kayıt komutunu bir kez çalıştırmaktı.
İlk günde "keşfedilenler"
Ve operasyonun ilk gününde, iki anında keşif oldu.
Birincisi: Ölçüldüğünde kötü durumdaydık.
8 dahili ajan oturumunu 8 eksenli Hakem ile puanladığımızda sonuç — 1 geçti, 7 başarısız oldu. "AI'ya çok iş yaptırmak" ile "AI'ın iyi iş yapması" arasında, ancak ölçüldüğünde görülebilen bir mesafe vardı.
İkincisi: "Öğretilirse düzeltilebilecek sürtünme" bulundu.
Bir üyenin Cowork'unda (Claude'un ajan çalışma alanı), kontrol paneli MCP sunucu bağlantı hatalarının önceki gün 4'ten o gün 12'ye yükseldiğini tespit etti. Eklenti kimlik doğrulaması iki gündür bozuktu ve üye kullanmaya devam ediyordu.
Kişi muhtemelen sadece "Biraz tuhaf davranıyor" diye düşündü ve çalışmaya devam etti. Konuşup kimlik doğrulamayı düzelterek 5 dakikada çözülebilir. "Öğretilirse düzeltilebilecek sürtünme" kimseye bildirilmeden birikir — işte bu, kullanım kontrol panelinde asla görünmeyen şeydi.
Deneyerek öğrendiğim üç şey
1. Değerlendirme bir operasyondur, bir araç değil
Sadece puanlama mekanizmasını oluşturup durursanız, hiç yokmuş gibidir. Ancak haftalık düzenli yürütmeye ve uyarılara bağladığınızda ve sayılar Pazartesi toplantısında göründüğünde "değerlendirme yapıyorsunuz" diyebilirsiniz. Frankle'ın bahsettiği "değerlendirmeye yatırım" muhtemelen araçlarla değil, operasyonlarla ilgilidir.
2. LLM Hakeminden önce mekanik bir yargı katmanı yerleştirin
8 eksenli Hakem değerlendirmesi güçlüdür, ancak bir LLM çalıştırdığı için zaman ve para maliyeti vardır. Döngüler, maliyet aykırı değerleri ve bağlantı hataları gibi deterministik sinyalleri tam hacimde günlük olarak çalıştırmak ve Hakemi haftalık örnekleme için kullanmak gerçekçiydi.
3. "%90'ın yeterli olmadığını" uygulamak, sert başarısızlıklar anlamına gelir
Ortalama puanlara bakıldığında, güvenlik sorunları diğer noktalarda gömülü kalır. Ancak "güvenlik 2 veya daha düşükse, diğerleri mükemmel olsa bile başarısızlıktır" şeklinde tasarlayarak, makalede bahsedilen "katbekat daha titiz değerlendirmeye" bir adım daha yaklaşırız. 1/8 geçme oranı acı verici, ancak bu acı, iyileştirme için başlangıç noktasıdır.
Sonuç
"Yapay zeka zaten yeterince akıllı."
— Bu yüzden bir sonraki savaş, akıllı AI'ya emanet edilen işi kimin nasıl puanladığıdır.
Frankle bunun 10 yıllık bir iş olduğunu söyledi.
10 yıl süren şeyler, ne kadar erken başlarsanız o kadar farklılaştırıcı olur. Ve başlamanın kendisi, bir AI ajanıyla bir günde mümkün oldu.
Şirketimde (AI Brain Partners), Claude Code konusunda uzmanlaşmış kurumsal eğitim ve AI danışmanlığı yoluyla bu "AI kullanım ölçümü ve değerlendirme" sistemini oluşturmaya yardımcı oluyoruz. "AI kullanımımızla gerçekten neler oluyor?" diye merak ediyorsanız, lütfen aşağıdaki bağlantılara göz atın.
- Kurumsal AI Ajan Eğitimi: https://ai-agent.camp/ja/lab/corporate-training
- Ücretsiz Rapor "AI Şirketlere Nasıl Tanıtılır": https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(Orijinal makale: ITmedia AI+ "AI kullanımının önündeki darboğaz değerlendirme ve yönetişime kayıyor" 6 Temmuz 2026)
