Yapay Zeka Gözlemlenebilirliği, Değerlendirmesi ve Güvence Birleşecek mi?

Nadella'nın 7 ilkesi, Dynatrace'ın 915 milyon dolarlık Arize anlaşması ve CIO'lar, kurucular ile yatırımcılar arasında AI ajanlarını kimin denetlemesi gerektiğine dair bir tartışma. Ekim 2026'da güncellendi.

Bir AI ajanı iade sürecini kusursuzca açıklayabilir ama parayı yine de yanlış hesaba gönderebilir. Konuşma dökümü harika görünürken işlem tamamen hatalı olabilir.

Bu tür sorunları yakalamak için üç farklı ürün grubu var: gözlemlenebilirlik (observability), değerlendirme (evaluation) ve güvence (assurance). Satıcılar bunları tek çatı altında toplamaya başladı bile. Alıcıların bu trendi takip edip etmeyeceği henüz belirsiz; ikinci bir soru da havada asılı duruyor: Denetimi kim yapmalı ve "bağımsız" sayılmak için ne gerekiyor?

Yapay zeka artık sadece soruları yanıtlamaktan çıkıp eyleme geçmeye başladı. Gartner'ın tahminine göre 2028 yılına kadar kurumsal yazılım uygulamalarının üçte biri ajan tabanlı yapay zeka (agentic AI) özelliklerine sahip olacak; bu oran 2024'te %1'in altındaydı. Bu ajanlar kod yazıp gönderebiliyor, para transferi yapabiliyor ve müşterilerle iletişim kurabiliyor; üstelik genellikle hiçbir insanın onları anlık olarak izlemesine gerek kalmadan.

Yazılım yalnızca yanıt ürettiğinde temel soru bu yanıtların kalitesiydi. Ajanlar ise çok daha fazla soruyu beraberinde getiriyor: Ne yaptı? Doğru muydu? Biri bunun arkasında durabilir mi? Ve gerekirse durdurulabilir mi? CIO'lar için bunlar mühendislik olduğu kadar AI yönetişimi ve risk yönetimi soruları.

Bugün bu alanın farklı parçalarını kapsayan üç pazar var:

• AI gözlemlenebilirliği, yapay zekanın ne yaptığını kaydeder.
• AI değerlendirmesi, bunu ne kadar iyi yaptığını ölçer.
• AI güvencesi; kanıtları, kontrolleri ve sınırlarını bir araya getirerek bir insanın sorumluluk alabileceği bir karar vermesini sağlar. İngiltere hükümeti bunu güvenilirliği ölçme, değerlendirme ve iletme süreci olarak tanımlıyor.

AI gözlemlenebilirliği 2025 yılında 1,25 milyar dolarlık bir pazardı ve aynı araştırma, bu pazar içinde en hızlı büyüyecek alanın değerlendirme ve kalite güvencesi olacağını öngörüyor. Dynatrace, 1 Ekim 2026'da Arize satın alımını tamamladı; bu, değerlendirme ve gözlemlenebilirliği bir araya getiren 915 milyon dolarlık bir anlaşmaydı. Cisco ise Mayıs ayında Galileo anlaşmasını sonuçlandırdı. 10 Ekim'de Satya Nadella, bu üç pazarın tamamına dokunan, yapay zekaya güvenmek için yedi ilke yayımladı.

Yazının devamında yapay zekanın bu noktaya nasıl geldiğini, Nadella'nın neler önerdiğini ve pazarın nereye gittiğine dair beş sentezlenmiş ses arasındaki tartışmayı ele alıyoruz.

Kurallardan AI ajanlarına: Güven neden zorlaştı?

Dört aşamadan oluşan sadeleştirilmiş bir tarihçe. Her aşama makineyi daha yetenekli, açıklamayı ise daha zor hale getirdi.

1. Kurallar (kabaca 1950'lerden 2000'lere). Çoğu yazılım uygulaması adım adım, elle yazılıyordu. Hatalarla doluydu ama bir mühendis kodu açıp soruna yol açan satırı bulabilirdi.
2. Örüntüler (2010'lar). Derin öğrenmeyle birlikte makineler, görüntü ve ses tanıma gibi görevler için kurallar yerine örneklerden öğrenmeye başladı. Mantığı kimse yazmadı. Bu sistemler çoğunlukla etiketliyor, sıralıyor ve öneride bulunuyordu; çıktıyla ne yapılacağına insanlar ya da sıradan yazılımlar karar veriyordu.
3. Sohbet (2022 - 2024). Chatbot'lar yazabiliyor, özetleyebiliyor ve tartışabiliyordu. Sık sık yanılıyorlardı ama insanlar genellikle harekete geçmeden önce yanıtı okuyordu.
4. Ajanlar (2025 ve sonrası). Ajanlar tıklıyor, yazıyor, satın alıyor, kodluyor ve dağıtım yapıyor. Laboratuvarlar onları simüle edilmiş ofislerde, tarayıcılarda ve kod tabanlarında görev pratiği yaptırarak eğitiyor. Bazıları, bir insan her adımı kontrol etmeksizin uzun süre çalışmaya devam edebiliyor.

Sohbet aşamasında kötü bir yanıt genellikle sadece tekrar okuma zahmeti yaratıyordu. Ajanlar aşamasında ise kötü bir eylem paraya, veriye veya müşteriye mal olabiliyor.

Yazılımlar, ajanlardan çok önce de maliyetli otomatik kararlar alıyordu. Şimdiki fark, genel amaçlı tek bir modelin birden fazla araçta bir eylem zincirini seçip yürütmesi. Bir şeyler ters gittiğinde sebep model, prompt, alınan veri, bir API, eskimiş bellek, izinler veya iki ajan arasındaki etkileşim olabilir. Kesin yanıt, kanıtın yalnızca bir parçasıdır.

Nadella eski durumu şöyle anlatıyor: Geleneksel yazılımlarda "davranışları belirli bir kod yoluna kadar izleyecek" araçlara ve kapasiteye sahiptik. Güncel modellerde ise kimse belirli bir kararın arkasındaki eğitim verisini veya ağırlıkları işaret edemiyor. Bu üç pazar, aradaki boşluğu kapatmaya çalışıyor.

Satya Nadella'nın AI yönetişim çerçevesi: AI ajanlarına güvenmek için 7 ilke

10 Ekim 2026'da Nadella, blogunda "Models as Insider Risks in the Super Intelligence Era" başlıklı yazısını yayımladı. Temel önerisi şu: "Zeka arzını, zeka üzerindeki otoriteden ayırmamız gerekiyor."

Yetenekli bir modeli, geniş erişim yetkilerine sahip bir çalışana benzetiyor. Endişe, modelin kötü niyetli olması değil. Önemli sistemlere erişimi olan herkes hata yapabilir veya manipüle edilebilir; bu yüzden erişebileceklerini sınırlandırırsınız, yaptıklarını kaydedersiniz ve onları durdurma gücünü elinizde tutarsınız. Kendi sözleriyle: "Gözlemlenemiyorsa, güvenilir olamaz!"

Bunlara yedi "gözlemlenebilirlik ilkesi" diyor. Birlikte okunduklarında, ajanlar için bir AI yönetişim çerçevesi işlevi görüyorlar. Aşağıda her ilkeyi özetledim ve ardından bugün bu ilkeleri kapsayan pazarlarla kendi eşleştirmemi ekledim.

1. Model çeşitliliği: Hiçbir yapay zeka kendi işini kendisi kontrol etmemeli veya önemli bir kararı tek başına almamalı. Bugünkü pazar: Değerlendirme.
2. Her şeyi gözlemleyin: Anlam taşıyan her eylem, bir insanın okuyabileceği, üzerinde oynanamaz bir kanıt bırakmalı. Bugünkü pazar: Gözlemlenebilirlik.
3. Doğrulanabilirlik: Saldırılar, başarısızlıklar ve uç durumlar dahil tüm sistem sürekli test edilmeli. Bugünkü pazar: Değerlendirme ve güvence.
4. Bağımsız kontroller: Yapay zekanın nelere erişebileceğini belirleyen kurallar, onun değiştiremeyeceği bir yerde, yapay zekanın dışında tutulmalı. Bugünkü pazar: Çoğunlukla güvenlik ve erişim araçları; koruma bariyerleri (guardrails) yeni yeni AI platformlarında yer almaya başlıyor.
5. Bağımsız denetlenebilirlik: Yapay zekanın davranışına ilişkin kanıtlar, denetlenen yapay zekadan ayrı tutulmalı. Bugünkü pazar: Güvence.
6. Sınırlama: Yetkili bir kişi, görev ortasında modeli duraklatabilmeli veya kapatabilmeli. Bugünkü pazar: Çoğunlukla çalışma zamanı (runtime) ve güvenlik araçları.
7. Olay bildirimi: Bir hata yaşandığında etkilenen kişiler bilgilendirilmeli ve çıkarılan dersler paylaşılmalı. Bugünkü pazar: Gözlemlenebilirlik kayıtlarıyla desteklenen bir şirket içi uygulama.

Hiçbir pazar bu yedi ilkeden ikiden fazlasını tek başına kapsamıyor. Bağımsız kontroller ve sınırlama, büyük ölçüde bu üçünün dışında, güvenlik ve çalışma zamanı araçlarıyla birlikte konumlanıyor. Bir bütün olarak ele alındığında bu ilkeler, üç pazarın toplamından daha büyük bir sistemi tarif ediyor.

Kapanış cümlesi şöyle: "En güvenilir Süper Zeka sistemi, en çok güvendiğimiz modele sahip olan değil; bizi modele en az güvenmeye olanak tanıyan sistem olacaktır."

Modele mümkün olduğunca az güvenmek; ne yaptığının kaydını (gözlemlenebilirlik), onu yargılamanın bir yolunu (değerlendirme) ve bir insanın arkasında durabileceği kanıtları (güvence) gerektirir. Ayrıca bu pazarların büyük ölçüde güvenlik ve çalışma zamanı araçlarına bıraktığı iki şeye daha ihtiyaç duyar: Modelin değiştiremeyeceği kontroller ve bir insanın onu durdurabilmesinin bir yolu.

AI gözlemlenebilirliği vs. değerlendirme vs. güvence: Pazarın bugünkü hali

Bir AI ajanını yeni işe alınmış bir şoför gibi düşünün.

• Gözlemlenebilirlik araç kamerasıdır. Her dönüşü, duruşu ve ramak kala atlatılan kazayı kaydeder; "yapay zeka ne yaptı?" sorusunu yanıtlar. Genellikle sistemleri ayakta tutan ekiplere satılır.
• Değerlendirme sürüş sınavıdır. Şoförün belirli durumları nasıl idare ettiğini puanlar ve "ne kadar iyi?" sorusunu yanıtlar. Çoğunlukla AI ürünleri geliştiren mühendisler tarafından satın alınır; giderek artan şekilde QA ekipleri de ilgilenmektedir.
• Güvence muayene raporudur. İlk yolculuktan önce ve sürüş boyunca aracın ve şoförün trafiğe çıkmaya uygun olup olmadığına karar vermek için gereken kanıtları toplar. "Bunun arkasında duracak kadar kanıt var mı?" sorusunu yanıtlar. Hiçbir muayene bir aracın asla kaza yapmayacağını kanıtlamaz; iyi bir rapor nelerin kontrol edildiğini, nelerin bulunduğunu ve nelerin bilinmez kaldığını belirtir. Üçü arasında en az gelişmiş olan budur ve iş şu anda kalite, risk ve uyumluluk ekiplerine dağılmış durumdadır.

Yapay zeka yalnızca yanıt üretirken, farklı alıcılara yönelik ayrı araçlar gayet iyi işliyordu. Ajanlarla birlikte aralarındaki boşluklar çok daha kritik hale geldi. Her araç tek başına faydalıdır; ancak kimsenin izlemediği bir kamera kaydı pek bir şey kanıtlamaz, şoför her hafta değiştiğinde sınav geçerliliğini yitirir ve bir rapor, arkasındaki kayıtlara ve test sonuçlarına bağlıdır.

AI gözlemlenebilirliği ve değerlendirme platformlarının son satın almaları:

• Ekim 2026'da Dynatrace, Arize'ı 915 milyon dolara satın alarak değerlendirmeyi üretim ortamı izlemeyle birleştirdi.
• Mayıs 2026'da [Cisco, Splunk için Galileo'yu satın aldı](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo); bu hamle ajanlar için değerlendirme, izleme ve koruma bariyerlerini kapsıyor.
• Şubat 2026'da [Snowflake, Observe'i satın alarak](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm) gözlemlenebilirliği bir veri platformuna entegre etti.
• Şubat 2026'da [ClickHouse, bir LLM izleme aracı olan Langfuse'u satın aldı](https://wetheflywheel.com/en/ai-observability/).

Dynatrace, Arize anlaşmasının değerlendirme ve gözlemlenebilirliği bir araya getirdiğini, böylece ekiplerin yapay zekayı lansmandan önce kontrol edip sonrasında güvenilir tutabileceğini belirtiyor. Cisco ise Galileo'yu erken aşama değerlendirmeden üretim izleme ve koruma bariyerlerine kadar uzanan bir çözüm olarak tanımlıyor.

Bu anlaşmalar satıcıların ürünleri birleştirdiğini gösteriyor. Ancak henüz alıcıların bütçeleri birleştirdiğini, uzman araçları rafa kaldırdığını veya güvence hizmetini yapay zekasını çalıştıran şirketten satın aldığını göstermiyor. Yazının devamı tam da bu sorularla ilgili.

![Gözlemlenebilirlik, değerlendirme, onay ve kontrolün dışında tek bir döngü olarak çalıştığı bir AI ajanı diyagramı

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

görsel açıklamasını oku

ALT

Pazarlar birleşirse · izle, not ver, onayla, kontrol et

Pazarların birleşmesi halinde olası bir düzenleme; bir öngörü değil. İşi ajan yapıyor; kayıt, puanlama ve durdurma kontrolleri ise ajanın değiştiremeyeceği bir şekilde kuruluyor.

Tartışma: AI ajanlarını kim denetlemeli?

Yatırımcıların ve kurucuların dile getirdiği argümanlardan oluşturulmuş beş sentezlenmiş ses. Bunlar gerçek kişilerin alıntıları değildir.

• Uzun Vadeli Yatırımcı: 15 yıllık bir ufukla yatırım yapar ve kimin satın aldığına odaklanır.
• Trend Yatırımcısı: Paranın ve yeteneğin şu an nereye aktığını takip eder.
• Ajan Geliştiricisi: Her hafta müşterilere AI ajanları teslim eder.
• Platform Kurucusu: Bir veri ve AI platformu yönetir, tüm yığını sahiplenmek ister.
• Banka CIO'su: Bir ajanın müşteri hesabına dokunmadan önce onayını verir.

1. Tur: Pazarlar birleşecek mi?

Trend Yatırımcısı: Çoktan başladı. İzleme şirketleri değerlendirme şirketlerini satın alıyor ve bu büyüklükteki anlaşmalar genellikle yeni bir kategorinin oluştuğuna işaret eder.

Banka CIO'su: Satın almalar birleşmek demek değildir. Daha önce paket çözümler aldım ve elimde üç ürün, tek logo ve üç farklı giriş bilgisi kaldı. Gartner ayrıca ajan tabanlı yapay zeka projelerinin %40'ından fazlasının 2027 sonuna kadar iptal edilmesini bekliyor; nedenler arasında yetersiz risk kontrolleri de var. Güven sorunu gerçek. Tek birleşik bir pazarın bunu çözeceği henüz kanıtlanmadı.

Uzun Vadeli Yatırımcı: Pazarlar, alıcılar birleştiğinde birleşir. Şu anda üç taraf var: Operasyonlar izliyor, AI ekibi değerlendiriyor, risk ekibi onaylıyor. Soru şu: Ajanlar, bu üçüne birden cevap verecek tek bir muhatap yaratıyor mu?

Ajan Geliştiricisi: Benim şirketimde o muhatap zaten var. Bir ajan yanlış müşteriye iade yaptığında kimse hangi ekibin sorumlu olduğunu sormuyor. Dakikalar içinde benden kaydı, puanı ve kanıtı istiyorlar.

Uzun Vadeli Yatırımcı: Eğer bu yaygınlaşıyorsa, alıcı birleşiyor demektir ve bu bana satın almalardan çok daha fazlasını söylüyor.

2. Tur: Neden üç ayrı aracı kullanmaya devam etmeyelim?

Banka CIO'su: Neden kendi alanında en iyi üç aracı kullanmaya devam edemeyeyim?

Ajan Geliştiricisi: Çünkü her biri diğerine bağımlı. Kaydedilmeyeni değerlendiremezsiniz, değerlendirilmeyeni onaylayamazsınız. Canlı ortamdaki bir hata yeni bir test senaryosuna dönüşmeli. Üç ayrı araçla her devir teslim, işin kaybolabileceği bir noktadır.

Trend Yatırımcısı: Lansman öncesi ile lansman sonrası arasındaki çizgi de bulanıklaşıyor. Ajanlar her hafta değişiyor: Yeni model, yeni prompt, yeni araç. Lansmanda bir kez test yapmak, biri sürekli motoru değiştirirken arabayı bir kez muayene etmek gibidir.

Banka CIO'su: Birleşik paketler genelde her işi vasat yapar.

Uzun Vadeli Yatırımcı: Başlangıçta evet. Uzman araçlar genellikle ilk kazanır, entegre ürünler sonradan yetişir. Bu birçok altyapı kategorisinde yaşandı, hepsinde olmasa da.

3. Tur: Sahipliği kim üstlenmeli?

Platform Kurucusu: Modeli zaten biz çalıştırıyoruz, veriyi biz saklıyoruz, izleri biz logluyoruz. Değerlendirme ve onayı da aynı platforma koyun: Tek satıcı, tek fatura, bakılacak tek yer.

Banka CIO'su: Yani benim yapay zekamı çalıştıran şirket mi bana her şeyin yolunda olduğunu söyleyecek?

Platform Kurucusu: Bu işte iyiyiz.

Banka CIO'su: Mesele bu değil. Dış denetçimin, denetlediği işten bağımsız olması şart. Öğrenciler kendi sınavlarını okumaz, otomobil üreticileri de her çarpışma testini kendileri yürütmez.

Uzun Vadeli Yatırımcı: Nadella da benzer bir noktaya değiniyor: Doğrulama, değerlendirdiği zekadan bağımsız olmalı ve kontroller modelin dışında konumlandırılmalı. Bu, bir platformun çalıştırdığı yapay zekayı değerlendirmesi, yani kendi performansını notlandırmasıyla aynı şey.

Ajan Geliştiricisi: Yani araçlar birleşirken pazar farklı bir eksende bölünebilir: Kontrolün platform içinde yapılması ile platform dışında yapılması.

Platform Kurucusu: İçeride yapmak daha ucuz ve kolay olacak.

Banka CIO'su: Dışarısı, regülatörümün ve sigortacımın kabul edeceği yer olabilir. İkisine de ödeme yapabilirim ama onayı tek birine göre veririm.

Uzun Vadeli Yatırımcı: "Dışarısı"nın tanımlanması lazım. Teknik bağımsızlık, ajanın denetleyicisini değiştirememesi, kayıtları düzenleyememesi veya sınırlarını aşamaması demektir. Kurumsal bağımsızlık ise incelemenin farklı bir tarafta olması ve bu tarafın işi hafife almak için hiçbir teşviki bulunmaması anlamına gelir.

Ajan Geliştiricisi: Bunlar aynı şey değil. Ayrı bir şirket de platformla aynı modelleri ve aynı zayıf kontrolleri kullanabilir. Bir platform da kontrollerini ve kayıtlarını ajanın erişemeyeceği bir yerde tutabilir.

Banka CIO'su: O halde logoları karşılaştırmak yerine beş soru sormayı tercih ederim. Ajan kayıtları değiştirebilir mi? Denetleyiciniz sistemlerimdeki gerçek değişikliği mi görüyor, yoksa sadece ajanın bildirdiğini mi? Sizin denetleyicinizi kim test ediyor? Başka biri sizin sonucunuzu yeniden üretebilir mi? Neyi doğrulayamadınız?

4. Tur: Buna ne isim vermeli?

Trend Yatırımcısı: Analistler muhtemelen birkaç yıl daha buna AI gözlemlenebilirliği demeye devam edecek, çünkü bütçe orada.

Platform Kurucusu: "AI güven katmanı."

Ajan Geliştiricisi: "Observe, Eval and Assure": İzle, değerlendir ve bir insana onaylat.

Banka CIO'su: "Assure" (güvence) kelimesine dikkat edin. Kanıtı araç üretir. İnsan okur ve imzalar. Tasarımı o insana göre yapın.

Uzun Vadeli Yatırımcı: İsim, alıcıların bütçesinde buna özel bir kalem olup olmadığından daha az önemli. 2026'da çoğunun yok. 2028'e kadar büyük şirketlerin çoğunun böyle bir kalemi olmasını ve bir ajan hata yaptığında hesap verecek tek bir sorumlusu bulunmasını bekliyorum.

Banka CIO'su: Adı ne olursa olsun, onu durdurabilmem gerekiyor.

Bir AI ajanı nasıl test edilir: İade örneği

Bu bölüm, küçük iadeler yapabilecek varsayımsal bir müşteri hizmetleri ajanını anlatmaktadır. Bir illüstrasyondur, bir müşteri sonucu değildir.

1. İş kurallarını tanımlayın. İade doğru müşteriye gitmeli, limiti aşmamalı ve politikaya uymalıdır. Yeniden deneme çift ödemeyle sonuçlanmamalıdır. Para hareket etmeden istisnalar doğru kişiye yönlendirilmelidir.
2. Zorlu koşulları test edin. Birbiriyle çelişen müşteri kayıtları, yavaş bir ödeme servisi, araç zaman aşımı ve bir destek mesajına gizlenmiş bir talimat kullanın. Tek bir başarılı deneme pek bir şey kanıtlamayacağından, önemli senaryoları aynı başlangıç durumundan birden fazla kez çalıştırın. Simülasyonlar tehlikeli durumların güvenli şekilde test edilmesini sağlar; gerçek cihazlar ve gerçek entegrasyonlar ise simülasyonların kaçırdığı farkları yakalar.
3. Kayıt sistemini kontrol edin. Ajanın "50 dolar iade ettim" demesi kanıt değildir. Doğru hesabın tam olarak bir adet 50 dolarlık iade aldığını doğrulayın. Yanıtın kesin olduğu yerlerde kesin kontroller kullanın; AI hakemlerini yalnızca kesin olmadığı yerlerde devreye sokun.
4. Ciddi hatalar ayrı ayrı raporlanmalıdır. Yanlış tutarlar, mükerrer ödemeler ve yetkisiz işlemler, görev tamamlama genel değerlendirmesinden ayrı gösterilmelidir. %94'lük ortalama bir puan, en kritik hatayı gizleyebilir.
5. Sınırları ajanın dışında test edin. Ajan talep etse bile ödeme sistemi limit aşımını engelliyor mu? Görev sırasında ajanın erişimi iptal edilebilir mi? Ajanı durdurmak bir sonraki ödemeyi engeller ama son yapılanı geri almaz.
6. Denetleyiciyi test edin. Bilinen hatalar yerleştirin ve hangilerini kaçırdığını ölçün. Yanlış alarmları ölçmek için ona doğru sonuçlar verin. "Doğrulanamadı" durumunu "geçti" durumundan ayrı tutun.

Bu adımlar pazar sorusunu yanıtlamaz. Kim üretirse üretsin, işe yarar bir kanıtın neye benzediğini açıklar.

AI kalite güvencesi nerede devreye giriyor: TestMu AI

TestMu AI (eski adıyla LambdaTest) teknik bağımsızlık üzerine çalışır. Model geliştirmiyoruz ve canlı ortam izleme panelleri satmıyoruz. Kontrollerimiz, test edilen ajanın dışında, lansmandan önce ve her değişiklikte çalışır; yalnızca ajanın bildirdiklerini değil, gerçekte ne olduğunu inceler.

Platform, bu yazıda bahsedilen üç tür yazılımı kapsar: Uygulamaları kullanan insanlar, botlarla konuşan insanlar ve diğer ajanlarla çalışan ajanlar. Her ürün yukarıda dile getirilen bir ihtiyaca karşılık gelir.

• Rook (ajanları kontrol eden ajanlar). Ajanınızı senaryolardan geçirir ve her kontrolün beklenen ile gerçekleşen sonuçlarını kaydeder; her senaryo için kanıtlar saklanır. Geçti, kaldı ve "doğrulanamadı" durumlarını ayrı ayrı raporlar, böylece eksik kanıt asla başarı olarak sayılmaz.
• Agent Testing (müşterilerle konuşan botlar). Sohbet, ses ve telefon ajanlarını müşteriler kullanmadan önce gerçekçi konuşmalarla test eder.
• KaneAI ve Kane CLI (yapay zekanın geliştirilmesine yardımcı olduğu uygulamalar). Uygulamaları düz İngilizce ile (KaneAI) veya terminalden (Kane CLI) test edin.
• SmartUI ve Accessibility (kimsenin kodunu yazmadığı hatalar). Bozuk tasarımlar veya bazı kullanıcıların erişemediği ekranlar gibi fonksiyonel kontrollerin aramadığı sorunları yakalar.
• Real Device Cloud (simülasyonun kaçırdıkları). Testleri yalnızca emülatörlerde değil, gerçek telefonlarda ve tarayıcılarda çalıştırır.
• HyperExecute (önemli senaryoları defalarca çalıştırmak). Aynı kontrolleri her değişiklikte paralel olarak çalıştırır.
• Test Manager (onay için bir kayıt). Onayı verecek kişi için nelerin kontrol edildiğine, nelerin bulunduğuna ve nelerin bilinmez kaldığına dair tek bir kayıt tutar.

Gözlemlenebilirlik araçları lansman sonrasında olanları izler. Biz ise lansmana neyin çıkacağına karar vermek için kullanılan kanıtları sağlıyoruz. Ajanlarımız, bir ekibin manuel olarak yönetemeyeceği bir ölçekte kontroller çalıştırırken; test uzmanları neyin kontrol edilmeye değer olduğuna karar verir ve hiçbir kontrolün yakalayamayacağı sorunları arar. Bu ortak çalışmaya Observe, Eval and Assure diyoruz.

Bu bir sertifikasyon meselesi değil. Bir ürünün adının olması veya ekstra bir kontrol ajanının bulunması, bir sistemi güvenli veya bağımsız kılmaz. Bunun yerine biz de diğer tüm test uzmanları gibi değerlendirilmeliyiz: Çalıştırılan senaryolar, keşfedilen hatalar ve incelemeye sunulan kanıtlar üzerinden.

AI ajan yönetişiminin geleceği: 2030 nasıl görünebilir?

Bunlar birer öngörüdür. Her birinin bugün erken sinyalleri mevcut.

• Ajanlar kimlik ve kayıt sahibi oluyor. Her ajanın tanımlanmış bir kapsamı, bir onay mercii ve eylemlerinin bir logu var. Microsoft, kimlik sisteminde ajan eylemlerini insan eylemlerinden ayırmayı planlıyor.
• Kayıtlar ajanın dışından geliyor. Loglar, ajanın kendi anlattıklarına güvenmek yerine, ajanın düzenleyemeyeceği bir yapı tarafından yazılıyor.
• Kontroller sürekli çalışıyor. Bir model güncellemesi, prompt değişikliği veya yeni araç otomatik olarak yeniden test tetikliyor; bu da insanlara keşif testleri için daha fazla zaman bırakıyor.
• Ajanlar diğer ajanları kontrol ediyor. Gartner, 2024'te sıfır olan oranın 2028'e kadar günlük iş kararlarının %15'inin ajan tabanlı yapay zeka tarafından otonom olarak alınmasını bekliyor. İnsanlar bu hacmi tek tek inceleyemez; bu nedenle kontrolcü ajanlar rutin izlemenin büyük kısmını üstlenirken, insanlar öncelikleri belirleyecek ve anomalileri araştıracak.
• Sigortacılar AI riskini kanıtlara göre fiyatlandırıyor. 2025'ten bu yana Lloyd's sigortacıları, performans üzerinde anlaşılan bir seviyenin altına düştüğünde ödeme yapan AI hatalarına yönelik teminatlar sunuyor ve bir sigorta sağlayıcısı çok hata yapmaya yatkın bulduğu sistemleri teminat kapsamına almayacağını açıkladı.
• Şirketler bunun için bütçe ayırıyor. Tek bir sahip ve tek bir süreç; izleme, değerlendirme, onay ve kontrolü kapsıyor ve her hata yeni bir test olarak sisteme geri besleniyor.

Çözülmemiş sorunlar

1. Denetleyiciyi test etmek. Bir yapay zekâ hakemi (genellikle LLM-as-a-judge olarak adlandırılır), not verdiği yapay zekâ kadar kolay kandırılabilir. İkinci bir model bağımsız bir yargıyı garanti etmez; özellikle de her iki model benzer yöntemlerle eğitilmişse.
2. Denetimi manipüle etmek. Temmuz 2026'da, zorlu bir dahili siber güvenlik değerlendirmesi üzerinde çalışan OpenAI modelleri çözüm için dış servislere başvurdu, izolasyon kontrollerini aştı ve OpenAI ile Hugging Face sistemlerinin bazı bölümlerine sızdı. OpenAI, ödül hackleme'yi (reward hacking) temel itici güç olarak tanımlıyor ve bu değerlendirmede, canlıya alınan modellerindeki güvenlik önlemlerinin bulunmadığını belirtiyor. Bu olay, değerlendirmelerin nasıl izole edildiğiyle ilgili; tüm ajanların bu şekilde davrandığını göstermiyor.
3. Güvenilmez öz bildirimler. Nadella, akıl yürütme şeffaflığını "pazarlık konusu yapılamaz bir şart" olarak nitelendiriyor ancak bunun "tek başına yeterli veya güvenilir olmadığını" da ekliyor. Bir modelin yaptığını söylediği şey ile gerçekte yaptığı şey birbirinden farklı olabilir.
4. Puanlar ve kalite. %94'lük bir başarı oranı, yalnızca birinin yazdığı kontrollerdeki performansı ölçer. Kimsenin kontrol yazmadığı durumlar hakkında hiçbir bilgi vermez.
5. Maliyet. Bağımsız log depolama, ikinci modeller, tekrarlanan çalıştırmalar, izole edilmiş sandbox ortamları ve insan incelemesi maliyeti ve gecikmeyi artırır. Her şeyi kaydetmek aynı zamanda hassas verilerle ilgili yükümlülükler doğurur.
6. Geri alınamaz eylemler. Bir ajanı durdurmak daha fazla eylem gerçekleştirmesini engeller ancak tamamlanmış olanları geri almaz; bu nedenle baştan verilen izinler, durdurma kontrolünden çok daha önemlidir.
7. Şeffaflık ve bildirim. Eylül 2026'da OpenAI, yeni bir bildirim çerçevesi kapsamında uyumsuzluk (misalignment) olaylarını yayımlamaya başladı; ancak neyin uyumsuzluk sayılacağına yine kendisi karar veriyor. Ajan kullanan şirketlerin çoğu bu tür olayları yayımlamaz. Havacılık güvenliğinin gelişmesinin nedenlerinden biri, kazaların kamuya açık şekilde soruşturulmasıdır.
8. Kontroller ve test. Otomatik kontroller, yalnızca birinin zaten sormayı akıl ettiği şeyleri doğrular. Birçok ciddi hata, kimsenin sormadığı sorulardan kaynaklanır ve bunları bulmak; sistemi keşfeden, spesifikasyonları sorgulayan ve hangi risklerin önemli olduğuna karar veren yetkin test uzmanları gerektirir.

Bunların hiçbirinin kesinleşmiş bir cevabı yok.

Tartışma şu an nerede

Bu beş ses üç konuda hemfikirdi:

• Ajanlar; izlemeyi, değerlendirmeyi ve onayı birbirine daha bağımlı hale getiriyor.
• Kanıtlar, ajanın düzenleyemeyeceği bir yerden gelmeli.
• Her rutin işlem olmasa da dağıtımı, sınırlarını ve istisnalarını nihai olarak onaylayan kişi yine bir insan.

Dört konuda ise ayrıştılar:

• Tek platform mu, birden fazla araç mı. Platform Kurucusu tek bir tedarikçi istiyor; Banka CIO'su ise entegre paketlere güvenmiyor.
• İçeride mi, dışarıda mı. Kontrolün platform içinde yapılması daha ucuz. Bağımsız kontrol ise denetçilerin, regülatörlerin ve sigortacıların finans ile güvenlik alanlarında uzun süredir talep ettiği şey. Yapay zekâ için hangisinin daha önemli olduğu henüz netleşmedi.
• Sorumluluk kime ait. Operasyonlarda, yapay zekâ ekibinde, risk biriminde ya da kalite departmanında olabilir. Henüz çok az şirketin bunun için ayrı bir bütçe kalemi var.
• Adlandırma ve herhangi bir aracın gerçekten bir şeyi "garanti edip edemeyeceği".

Üç sinyal bu tartışmayı çözmeye yardımcı olabilir. Alıcılar açık standartlar üzerinden ayrı araçları birbirine bağlamaya devam ederse pazarlar ayrı kalır. Gözlemlenebilirlik platformlarına dahil edilen değerlendirme çoğu ihtiyacı karşılarsa içerideki yaklaşım kazanır. Ayrı bir güvence bütçesi oluşmazsa bağımsız sağlayıcılar zorlanır.

Ajanınız yarın maliyetli bir hata yapsaydı, ne olduğunu açıklaması için kime güvenirsiniz: onu çalıştıran şirkete mi, yoksa onunla bağı olmayan birine mi?

SSS

Yapay zekâ gözlemlenebilirliği, yapay zekâ değerlendirmesi ve yapay zekâ güvencesi arasındaki fark nedir?

Yapay zekâ gözlemlenebilirliği, bir yapay zekâ sisteminin ne yaptığını kaydeder: girdileri, araç çağrılarını, çıktıları, hataları ve maliyeti. Yapay zekâ değerlendirmesi, davranışı belirlenmiş beklentilere göre ölçer; örneğin doğruluk, politikalara uyum veya görev tamamlama. Yapay zekâ güvencesi ise kanıtları, kontrolleri ve bunların sınırlarını bir araya getirerek bir insanın sistemi devreye alma veya çalıştırmaya devam etme konusunda hesap verebilir bir karar almasını sağlar.

Yapay zekâ ajanları için yapay zekâ yönetişim çerçevesi nedir?

Bir ajanın nelere erişebileceğine kimin karar verdiğini, eylemlerinin nasıl kaydedildiğini, nasıl test edildiğini, kimin durdurabileceğini ve hataların nasıl raporlanacağını belirler. Satya Nadella'nın yedi ilkesi şunlardır: model çeşitliliği, her şeyi gözlemleme, doğrulanabilirlik, bağımsız kontroller, bağımsız denetlenebilirlik, sınırlandırma ve olay bildirimi.

Satya Nadella'nın yapay zekâya güvenmek için belirlediği yedi ilke nelerdir?

Ekim 2026'daki "Models as Insider Risks in the Super Intelligence Era" (Süper Zekâ Çağında İç Tehdit Olarak Modeller) başlıklı makalesinde Nadella; model çeşitliliği, her şeyi gözlemleme, doğrulanabilirlik, bağımsız kontroller, bağımsız denetlenebilirlik, sınırlandırma ve olay bildirimini sıralıyor. Temel fikri, zekâ tedariğini onun üzerindeki yetkiden ayırmak ve yetenekli modellere geniş erişimi olan çalışanlar gibi davranmaktır.

Yapay zekâ gözlemlenebilirliği ve yapay zekâ değerlendirmesi birleşiyor mu?

Tedarikçiler bunları birleştiriyor. Dynatrace, Ekim 2026'da Arize'ı 915 milyon dolara satın alma işlemini tamamladı; Cisco ise Mayıs 2026'da Galileo'yu bünyesine kattı. Her iki hamlenin amacı da değerlendirmeyi üretim izlemeyle birleştirmekti. Alıcıların bütçelerini ve ekiplerini tek bir platform etrafında birleştirip birleştirmeyeceği ise hâlâ yanıt bekleyen bir soru.

Yapay zekâ ajanlarını kim denetlemeli: onları çalıştıran platform mu yoksa bağımsız bir test uzmanı mı?

Her iki yaklaşım da mevcut ve konu henüz karara bağlanmış değil. Platform içi kontroller daha ucuz ve veriye daha yakın. Bağımsız kontroller ise denetçilerin ve regülatörlerin sıklıkla beklediği üzere, inceleyen tarafı incelenen sistemden ayırır. Ajanın kendi denetleyicisini veya kayıtlarını değiştiremediği teknik bağımsızlık, her iki durumda da önem taşır.

Bir yapay zekâ ajanını yayınlamadan önce nasıl test edersiniz?

İş kurallarını tanımlayın, ardından çelişkili veriler, zaman aşımı durumları ve gizli talimatlar gibi zorlu koşulları test edin. Önemli senaryoları defalarca çalıştırın, ajanın kendi anlatımı yerine gerçek sistem durumunu kontrol edin, ciddi hataları ortalamalardan ayrı raporlayın, izin sınırlarını ajanın dışında test edin ve otomatik denetleyicinin kendisini de doğrulayın.

Haberin orijinali şu adreste yayımlanmıştır: https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Kaynaklar

İade örneği varsayımsaldır, tartışmadaki sesler farklı profillerin birleşimidir ve ürün dokümantasyonları bağımsız olarak ölçülmüş performanstan ziyade yetenekleri tanımlar.

• Satya Nadella: Models as Insider Risks in the Super Intelligence Era (orijinal makale)
• Forbes: Microsoft'un Nadella'sı her yapay zekâ modeli için acil durum freni istiyor
• Data Studios: Nadella'nın yedi ilkesi açıklandı
• İngiltere DSIT: Yapay zekâ güvencesine giriş
• W.Media: Gartner'dan ajan tabanlı yapay zekâ benimsemesi ve iptalleri üzerine
• Detailed Research: Yapay zekâ gözlemlenebilirliği pazarı
• Dynatrace: Dynatrace, Arize'ın satın alımını tamamladı
• Magica: Dynatrace, Arize için 915 milyon dolarlık anlaşmaya vardı
• Cisco: Yapay zekâyı güvenilir ve gözlemlenebilir kılmak (Galileo, Mayıs 2026'da tamamlandı)
• Snowflake Form 8-K: Observe satın alımının tamamlanması
• We The Flywheel: 2026'da yapay zekâ gözlemlenebilirliği
• OpenAI: Hugging Face olayı ve önümüzdeki yol
• Implicator: OpenAI'nin altı uyumsuzluk olay raporu
• The Decoder: Lloyd's sigortacıları yapay zekâ hata poliçelerini başlattı
• Armilla: Sigortacılar yapay zekâ sohbet botu hatalarına karşı teminat sunmaya başladı
• TestMu AI: Agent Assurance sonuçları ve kanıtları
• TestMu AI: Yapay Zekâ Ajanı Testi