Bir AI Geliştirme Ortamı Oluşturmak Bana Neler Öğretti

Aylar boyunca, kodlama ajanlarıyla gerçek yazılım işi yapmak için modelden bağımsız bir koşum sistemi (harness) kurdum. Sonunda, özellikler beklediğimden çok daha az önemliydi. Asıl önemli olan, ajanlarla çalışma şeklimi, sadece onlara komut verme şeklimden farklı düşünmemi sağlayan bir avuç fikirdi.

İşte en ağırlıklı olan fikirler bunlar. İlk üçü, zihinsel modelimi gerçekten değiştirdi. Geri kalanlar ise neredeyse hemen kullanmaya başlayabileceğiniz pratik şeyler.

1. Ajan başlamadan önce kabul kriterlerini dondurun

Ve bunu düzenleyemeyeceği bir yere koyun.

Bu benim için muhtemelen en büyük değişimdi. Geriye dönüp bakınca bariz görünüyor, ama iş başında görene kadar ne kadar önemli olduğunu tam olarak anlamamıştım.

Kabul kriterleri, iş ortaya çıktıktan sonra değişebiliyorsa, yavaş yavaş üretilene doğru kayacaktır. Ajan dürüst olmamakla suçlanamaz; sadece işi hâlâ hareket edebilen bir hedefe göre değerlendiriyordur. Kale direkleri hareketliyse, eninde sonunda hareket edeceklerdir.

Bu bir komut (prompt) sorunu değil, yapısal bir sorundur, bu yüzden çözüm de yapısal olmalıdır.

Kabul kriterlerini önce yazın. Bunları düzenlenebilir çalışma alanının dışında saklayın ve herhangi bir düzenleme girişimini otomatik olarak engelleyin. Artık ajan, yeniden müzakere edemeyeceği bir sözleşmeye doğru çalışıyor. Görev, ajan öyle dediği için bitmiş sayılmaz. Orijinal sözleşmeyi karşıladığı için bitmiştir.

2. Kimse kendi işini değerlendirmemeli

Kodu yazan model, doğru olup olmadığına karar verecek en kötü yargıçtır. İşi bitirdiğinde, çözümün mantıklı olduğuna kendini çoktan inandırmıştır.

Bu yüzden sorumlulukları bölün.

Mekanik olan her şeyi belirleyici betikler (deterministic scripts) doğrulayın. Bir betik, başarılı bir çıkış kodu uyduramaz. Kodlama modeline bir inceleyici olarak değil, bir mühendis olarak davranın. Ardından sonucu, kodun yazılışını hiç izlememiş taze bağlamlı (fresh-context) bir inceleyiciye verin; o da tasarımı, amacı ve genel kaliteyi değerlendirsin.

Bu basit ayrım, beklediğimden çok daha fazla sorunu yakalıyor ve uygulaması şaşırtıcı derecede ucuz.

3. Uygulamak kolaydır. Zor olan kalibrasyondur.

Bu farkındalık, tüm koşum sistemi hakkındaki düşüncelerimi değiştirdi.

Çoğu ajan sistemi, benim önceki versiyonlarım da dahil, her göreve kabaca aynı şekilde davranır. Tek satırlık bir yazım hatası düzeltmesi, büyük bir mimari yeniden tasarımla aynı süreçten geçer. Bu ya zaman kaybıdır ya da çok risklidir.

Anahtar, orantılı çabadır.

Önce işi sınıflandırın. Kimsenin bağlı olmadığı küçük bir değişiklik mi, yoksa her şeyin bağlı olduğu temel bir altyapı mı? İş mantığı mı, yoksa genel amaçlı yardımcı kod mu?

Ardından bu sınıflandırmanın, ne kadar inceleme alacağına, hangi modelin ele alması gerektiğine ve ne kadar özerkliğe izin verileceğine karar vermesine izin verin.

Uygulamayı (enforcement) devreye almak kolaydır. Asıl değerin katlanarak artmaya başladığı yer, çabanın eşleşmesini sağlamaktır.

Pratik Katman

Bu büyük fikirler yerine oturduktan sonra, birkaç küçük uygulama neredeyse hemen karşılığını verdi.

• Kurallarınızı komutta (prompt) değil, koşum sisteminde (harness) belirleyin. "Ana repoda düzenleme yapma" diyen bir komut sadece tavsiyedir. Aynı kural, bloke edilmiş bir araç çağrısı olarak uygulandığında göz ardı edilmesi imkansız hale gelir. Önemli kurallar, modelin iyi davranmayı seçmesine bağlı olmamalıdır.
• Durumu konuşmanın dışında tutun ve her görev için yeni bir çalışan (worker) kullanın. Görev kayıtlarını harici olarak saklayın, izole çalışma ağaçları (worktrees) kullanın ve değişiklikleri bir birleştirme kuyruğu (merge queue) aracılığıyla işleyin. Durum sohbetin dışında yaşadığında, bağlam sınırları (context limits) en büyük kısıtlamanız olmaktan çıkar. Görevler paralel, devam ettirilebilir ve üzerinde akıl yürütmesi çok daha kolay hale gelir.
• Farklı sağlayıcıdan inceleme, aynı sağlayıcıdan incelemeye baskın çıkar. Modeller kendi işlerine başkalarının işine olduğundan daha fazla hoşgörü gösterebilir. Farklı bir sağlayıcıdan bir model kullanmak, bu önyargıyı azaltmanın basit ve etkili bir yoludur.

Prensipler neden işe yarıyor

Bu fikirlerin hiçbiri belirli bir modele bağlı değil. Koşum sistemi mühendisliğiyle ilgililer. Protokoller, doğrulama, inceleme hatları ve sorumlulukların ayrılması.

Kıyaslamaların (benchmarks) tepesindeki model değişmeye devam edecek.

Ama prensipler muhtemelen değişmeyecek.

Kalıcı değer modelde değil, özelliklerde de değil. Onların etrafına inşa ettiğiniz iskelede (scaffolding).