S1. Model ve Kod Arasındaki Sorumluluk Ayrımı
Yakın zamanda uyguladığınız bir yapay zeka özelliğini seçin ve hangi kısımların model tarafından, hangi kısımların ise standart kod tarafından garanti altına alındığını açıklayın.
Promptları iyileştirmenin yanı sıra, kaliteyi ve güvenilirliği artırmak için ne gibi uygulamalar hayata geçirdiniz?
S2. Sürekli Güncellenen Bilgiyi Yönetme
Sık sık güncellenen dahili belgelere dayanarak, alıntılarla birlikte soruları yanıtlayan bir sistem tasarlıyor olsaydınız, aşağıdaki unsurları nasıl ele alırdınız?
- Belge parçalama (chunking)
- Bilgi erişimi (retrieval)
- Arama sonuçlarının yeniden sıralanması (re-ranking)
- Erişim kontrolü
- Belgelerdeki güncelleme ve silme işlemlerinin yansıtılması
S3. Değişikliklerden Kaynaklanan Kalite Düşüşünü Tespit Etme Yöntemleri
Promptları, modelleri, arama yöntemlerini veya araç tanımlarını değiştirdiğinizde, mevcut işlevselliğin bozulmadığından nasıl emin oluyorsunuz?
Test senaryosu olarak neleri saklıyorsunuz ve bir sürümü yayımlamaya karar verirken hangi metrikleri kullanıyorsunuz?
S4. Yapay Zeka Tabanlı Değerlendirmeye Ne Kadar Güveniyorsunuz?
Bir değerlendirici olarak yapay zekayı kullanırken ne tür önyargılar veya yanlış değerlendirmeler ortaya çıkıyor?
Otomatik yapay zeka değerlendirmesini insan değerlendirmesiyle nasıl birleştiriyorsunuz?
S5. Yan Etkileri Olan İşlemleri Güvenle Yürütme
Yapay zekanın, para transferi yapmak, e-posta göndermek veya ticket oluşturmak gibi dış durumları değiştiren araçları çağırdığını varsayalım.
Girdi doğrulama, izin kontrolleri, kullanıcı onayı, yeniden denemeler ve mükerrer çalıştırmayı önleme adımlarını içeren bir yürütme akışı tasarlayın.
S6. Kontrolden Çıkan Bir Yapay Zekayı Durdurma
Yapay zeka, tekrarlayan aramalar veya araç çağrıları döngüsüne girdi ve işlemi tamamlayamıyor.
Bu döngüyü nasıl tespit ediyorsunuz ve hangi koşullar altında durduruyorsunuz?
Zaman, yürütme sayısı, token, maliyet ve araç kullanımı için bütçeleri nasıl belirliyorsunuz?
S7. Model Arızası Sırasında Hizmet Sürekliliği
Yüksek performanslı bir model, gecikme, hız sınırı veya kesinti nedeniyle kullanılamaz hale geliyor.
Hangi koşullar altında farklı bir modele geçiş yapıyorsunuz?
Alternatif model daha düşük kalite veya işlevsellikle sonuçlanıyorsa, kullanıcı deneyimini nasıl değiştiriyorsunuz?
S8. Tek Bir Hatayı İzleme
Bir kullanıcı "yanıt yavaştı ve içerik hatalıydı" diye bildiriyor.
Bu belirli işleme örneğini nasıl izliyorsunuz?
S9. Artan Maliyetlerin Analizi
Yapay zeka kullanım ücretleri bir önceki aya göre arttı.
Sadece hangi modelin değil, hangi belirli özelliğin, müşterinin, iş akışının veya işleme aşamasının artışa neden olduğunu nasıl tespit ediyorsunuz?
Bu maliyetin iş değerine değip değmediğine karar vermek için hangi kriterleri kullanıyorsunuz?
S10. Üretimdeki Arızalardan Ne Öğrenildi?
İşlettiğiniz bir yapay zeka özelliğinde karşılaştığınız en tehlikeli arızayı tanımlayın.
- Ne oldu?
- Nasıl keşfedildi?
- Etkiyi nasıl durdurdunuz?
- Nedeni nasıl tespit ettiniz?
- Tekrarını önlemek için neyi değiştirdiniz?
