Bu, Langfuse Academy'nin bir parçası olarak yayınladığımız bir serinin bir bölümüdür. Seride AI mühendisliği yaşam döngüsünün tamamını ele alıyoruz. Seriye yeni başlıyorsanız, başlamak için en iyi yer AI Mühendislik Döngüsü sayfasıdır.
AI Mühendislik Döngüsü'nün Kısa Bir Özeti
AI Mühendislik Döngüsü, ekiplerin AI sistemlerini sürekli olarak iyileştirme yöntemidir. Üretimde olup bitenleri (izleme, gözlemleme) geliştirme sırasındaki yapılandırılmış yinelemelere (veri kümeleri, deneyler, değerlendirme) bağlar. Gönderilen her iyileştirme yeni veri üretir ve ekipler bu süreçte sürekli olarak döngü yapar.
Bu konuda daha fazla bilgiyi burada okuyabilirsiniz.
İzleme döngüye nasıl uyuyor
Geleneksel yazılım büyük ölçüde deterministiktir, yürütmeler önceden tanımlanmış bir formatı izler. LLM uygulamaları için durum böyle değildir. Ajan yürütmeleri karmaşık olabilir; zengin ve beklenmedik girdi ve çıktılar ile yürütme sırası gibi ortaya çıkan davranışlarla uğraşırız. Ajanınızın davranışını takip etmek için başka bir şeye ihtiyacınız vardır: izler.
İzleme, tüm iyileştirme döngüsünün merkezinde yer alır. Diğer her adım (inceleme, veri kümeleri oluşturma, deneyler çalıştırma, değerlendirme) izler üzerinde çalışır.
Geleneksel gözlemlenebilirlik kavramlarına zaten aşina iseniz, aşağıdakilerin bir kısmı size tekrara gelebilir. İsterseniz göz atabilir veya atlayabilirsiniz.
Bir izin anatomisi
Bir iz, uygulamanızın gerektirdiği kadar karmaşık veya basit olabilir, ancak tüm izler aynı temel yapıyı paylaşır. Ajanınızın izlediği yolu haritalayan bir dizi gözlemden oluşur.
Bir gözlem, süreçteki tek bir adımdır. Bir girdisi, bir çıktısı, başlangıç/bitiş zamanı ve o adım sırasında ne olduğuna dair meta verileri vardır.
Hiyerarşi
Bir iz, hiyerarşik bir ağaç yapısına sahiptir. İç içe geçmiş, başka gözlemler içerebilen gözlemler bulunur ve bu, AI uygulamanızın gerçek yürütmesini yansıtan bir üst-alt yapısı oluşturur.
Hangi sırayla ne olduğunu ve hangi adımların hangi büyük adımın parçası olduğunu görebilirsiniz.
Gözlem verileri
Girdi ve çıktı. Her gözlemin bir girdisi ve bir çıktısı olabilir. Çoğu zaman ikisi de olur; bazı özel durumlarda sadece birine sahip olabilir. Yorumlanabilirlik için, o gözlemde gerçekleşen eylem türüne uygun bir girdi ve/veya çıktı belirlemeniz önemlidir.
Gözlem türleri. İşlemleri ayırt etmeyi kolaylaştırmak için farklı gözlem türleri görürsünüz. Her gözlem türü, bir ajanın farklı etkileşim türlerini yakalamak için kullanılır.
Gözlem türleri, izleri okumayı ve filtrelemeyi kolaylaştırır. 20 gözlemli bir izde, LLM çağrılarını hızlıca tespit edebilmek zaman kazandırır.
Maliyet, gecikme, token kullanımı
Girdi ve çıktının ötesinde, herhangi bir LLM uygulamasında temel gereksinimler olan birkaç gözlem özelliği vardır: maliyet, gecikme ve token kullanımı. Bunlar gözlem başına kaydedilir ve iz düzeyinde toplanır.
İzler ve oturumlar
Çoğu zaman bir ajanın tüm yaşam döngüsü yürütmesini tek bir izde görmezsiniz. İzler oturumlar halinde gruplanabilir. Peki iz ile oturum arasındaki çizgiyi nerede çekersiniz?
Genel bir kural olarak: bir iz, sisteminizin bir çağrısına, tipik olarak bir API çağrısına veya bir ajan yürütmesine karşılık gelir. Bir oturum ise birden fazla izi bir araya getirir; örneğin çok turlu bir konuşmadaki tüm turlar gibi.
Nereden başlamalı
Yeni başlıyorsanız, mümkün olan her yolu kapsamaya çalışmadan önce gerçek bir iş akışını uçtan uca izlemeye odaklanın.
- Uygulamanızdaki önemli bir istek yolu için izleme kurulumu yapın.
- Her gözlemin, temsil ettiği adım için yararlı girdi, çıktı ve meta veri yakaladığından emin olun.
- Bir avuç gerçek izi manuel olarak inceleyerek yapının takip edilmesinin kolay ve hata ayıklama için yararlı olduğunu doğrulayın.
Sırada ne var
İzleri gördükten sonra bir sonraki adıma geçebilirsiniz: izleme. İzleme, izleri ajanınızı iyileştirme ve yineleme döngüsüne bağlayan şeydir.
