TL;DR
Yapay zekâ odaklı bir mühendislik organizasyonunda kod üretmek artık yazılım teslim etmenin en yavaş aşaması değil. İnceleme, doğrulama, onarım ve insan kararları darboğaz hâline geliyor; organizasyonun ne kadar hızlı ilerleyebileceğini nihai olarak bunlar belirliyor. Bağımsız yapay zekâ kodlama araçları %30–40 hız artışı sağlayabilir, ancak çıktıda köklü bir sıçrama yapmak, kod yazıldıktan sonra gerçekleşen her şeyin optimize edilmesini gerektirir.
Cosmos ile kod incelemesini çözme hakkındaki önceki yazımızda, mühendislik organizasyonumuzun kod çıktısını 3 kat artırmasına, medyan birleştirme süresini düşürmesine ve kaliteyi korumasına yardımcı olan bir inceleme sistemi anlatmıştık. O zamandan beri bu sistemi incelemenin ötesine taşıyarak tüm PR-to-merge döngüsüne genişlettik: uzmanlaşmış ajanlar mekanik işleri üstleniyor, doğruluğu doğruluyor ve geri bildirimleri ele alıyor; insanlar ise yargı ve bilgi aktarımını sağlıyor ve nihai birleştirme kararı her zaman onlarda kalıyor.
Bu, loop engineering yaklaşımıdır: üretilen kodu doğrulanmış, anlaşılmış ve birleştirmeye hazır bir değişikliğe dönüştüren tüm sistemi iyileştirmek; tek bir aracı izole biçimde optimize etmek değil.
Neden bir "yapay zekâ kod inceleme aracı" yeterli değil
CodeRabbit veya Greptile gibi geleneksel bir yapay zekâ kod inceleme aracı bir diff'i analiz eder ve yorumlar bırakır. Faydalı, ancak inceleme yalnızca bir adım. Asıl yük, insan devir teslimlerinin zinciridir:
- Niyeti ve mimariyi yeniden yapılandırmak.
- Düşük riskli değişiklikleri sınıflandırmak.
- İnceleme geri bildirimlerini uygulamak.
- CI hatalarını ve birleştirme çakışmalarını düzeltmek.
- Özellik davranışını uçtan uca doğrulamak.
- Güvenle teslim etmek için yeterli kanıt toplamak.
- Her push sonrası yeniden incelemek.
PR-to-merge döngüsü, uzmanlaşmış Expert'lerin inceleme, onarım, doğrulama ve karar desteği aşamalarında, bir insan güvenle birleştirme yapabilecek duruma gelene kadar çalışmasını sağlar. Filodaki her Expert bu devir teslimlerden birini veya daha fazlasını üstlenir ve parçalı manuel görevler dizisini koordineli bir sisteme dönüştürür. Amaç tüm döngüyü optimize etmektir: insan süresi, maliyet, kalite ve birleştirme gecikmesi; ilk yoruma kadar geçen süre değil.
1. Genel bakış: tüm döngünün mühendisliği
görsel açıklamasını oku
ALT
Yapay zekâ odaklı bir kod inceleme döngüsü: ajanlar hataları bulur ve düzeltir, değişiklikleri doğrular ve politikaları değerlendirir; insanlar yargı gerektiren kararları çözer ve nihai birleştirme kararını verir.
Orijinal sistemimiz risk analizini (Risk Analyzer), satır satır doğruluk incelemesini (Deep Reviewer) ve insan güdümlü tasarım incelemesini (Pair Review) birbirinden ayırıyordu. Genişletilmiş sistem; onarım, çalışma zamanı doğrulaması ve genişletilmiş otomatik onay ekleyerek insan darboğazını daha da azaltıyor. Cosmos ve yapılandırılabilir Expert'leri hakkında genel bir bakış için Cosmos ile kod incelemesini çözme hakkındaki önceki yazımıza göz atın.
Tek genel amaçlı inceleyici değil; Expert'ler ve yetenekler
Expert veya yetenek
Sorumluluk
Risk Analyzer
Riski sınıflandırır ve otomatik onay politikasını uygular
Deep Reviewer
Nesnel doğruluk kusurları için kapsamlı, satır satır analiz gerçekleştirir
Pair Reviewer
Niyeti, mimariyi, ürün bağlamını ve ödünleşimleri yeniden yapılandırır
Memory Manager
PR ve Pair Review oturumlarındaki geri bildirimleri hatırlayarak gelecekteki çalıştırmaları iyileştirir
Verifier
<sup>
YENİ
</sup>
Etkilenen davranışı bir test ortamında uçtan uca çalıştırır (
)
PR Fixer
<sup>
YENİ
</sup>
İnceleme bulgularını, CI hatalarını ve birleştirme çakışmalarını onarır
Review Dashboard
<sup>
YENİ
</sup>
Expert durumunu gözlemler ve özetler
cosmos approve
<sup>
YENİ
</sup>
Yazar talebi üzerine yapılandırılabilir onay politikasını değerlendirir
Deep Reviewer ile Pair Reviewer arasındaki ayrım özellikle önemlidir:
- Deep Reviewer şunu sorar: "Bu uygulamada nesnel bir hata var mı?" Otonom olarak çalışır ve PR'ı AGENTS.md veya CLAUDE.md yönergelerine karşı kontrol eder.
- Pair Reviewer şunu sorar: "Bu değişiklik daha geniş sistemde mantıklı mı ve hangi kararlar insan yargısı gerektiriyor?" İnsanla etkileşimli olarak çalışır. İnsan ayrıca, inceleme yorumlarını paylaştıktan sonra PR'ı izlemesini ve yorumlar ele alındığında kendi adına onay vermesini talimat olarak verebilir.
PR Author Expert daha önce çift görev yapıyordu: PR yazmak ve inceleme yorumlarını, CI hatalarını ve diğer takip işlerini düzeltmek. Ayrıştırılmış tasarımda PR Author, taslak PR oluşturma aşamasında durur ve PR Fixer devralır. Bu, kullanıcılara düzeltmelerin nasıl çalıştığı üzerinde daha fazla kontrol sağlar ve PR Author olmadan oluşturulan PR'ları destekler.
Review Dashboard; Expert durumunu, incelenen commit'leri, kanıtları ve mevcut eylemleri tek bir görünümde toplar.
- İnsanı döngüde tutarak tasarlamak
İnsan incelemesi ve doğrulaması, yapay zekâ odaklı mühendislik organizasyonlarında kıt kaynak hâline geliyor. Amaç insanları ayrım gözetmeksizin süreçten çıkarmak değil; insan dikkatini yalnızca en yüksek kaldıraca sahip olduğu yerlere harcamaktır.
İnsanlar neden döngüde kalıyor
Ajanlar mekanik analiz ve yürütmenin büyük bir kısmını gerçekleştirebilir; ancak iş ve organizasyon bağlamının tamamına sahip değildir. İnsanlar şu nedenlerle hâlâ vazgeçilmezdir:
- Yargı gerektiren kararlar: Bu mantık frontend'te mi backend'de mi olmalı? Bu ödünleşim ürün için uygun mu? Bu risk şu an kabul edilebilir mi?
- Bilgi aktarımı: İnceleme, mühendislerin mimari ve ürün davranışı hakkında ortak bir anlayış geliştirmesinin yollarından biridir.
- Sahiplik ve hesap verebilirlik: Ajanlar yazılım teslim edildikten sonra ona sahip olmaz; insan geliştiriciler ve mühendislik organizasyonları sahip olur. Bu nedenle nihai kararı her zaman bir insan verir ve Merge düğmesine tıklar. Bu Expert'lerden hiçbiri bir PR'ı birleştirmez.
Bu nedenle tasarım hedefi şudur:
Ajanlar mekanik işleri yapar. İnsanlar sonuç doğuran kararları alır.
Yazar ve inceleyici iş akışı: öncesi ve sonrası
Geleneksel iş akışı
İnsanı döngüde tutan iş akışı
Her PR'ı manuel olarak sınıflandırın ve düşük riskli değişiklikleri belirleyin
Risk Analyzer'ın riski sınıflandırmasına ve kuruluşun otomatik onay politikasını uygulamasına izin verin
PR'ı satır satır okuyun
Kapsamlı satır satır analiz için Deep Reviewer'a güvenin
Diff'ten bağlamı, niyeti ve mimariyi yeniden yapılandırın
Değişikliği anlamak ve yargı gerektiren kararları belirlemek için Pair Reviewer'ın brifingini kullanın
Özelliği manuel olarak dağıtın ve çalıştırın
Verifier kanıtlarını inceleyin: ekran görüntüleri, günlükler, izler ve yakalanan çıktılar
Her düzeltmeyi sıfırdan yeniden inceleyin
Pair Reviewer'ın yetkili yorumların ele alınıp alınmadığını izlemesine izin verin
Geri bildirimleri sınıflandırın, düzeltmeleri uygulayın, CI'ı onarın, çakışmaları çözün ve her değişikliği açıklayın
PR Fixer'ın—veya tam yaşam döngüsünü üstlendiğinde PR Author'ın—mekanik takip işlerini üstlenmesine ve neyin değiştiğini raporlamasına izin verin
Geçerli durum için yorumlar ve kontroller arasında arama yapın
Giriş noktası olarak Review Dashboard'u kullanın
Onay istemeden önce inceleme, sahiplik ve doğrulama kanıtlarını manuel olarak toplayın
Mevcut kanıtlara karşı yapılandırılmış onay politikasını değerlendirmek için
cosmos approve
komutunu çağırın
Birleştirip birleştirmeyeceğinize karar verin
Yine de birleştirmeye karar vermek sizde
Birden fazla Expert kullanmanın ekonomik mantığı
İnceleme darboğazında insan süresini ölçülebilir şekilde azaltan token'lar yatırıma değer. Expert'ler saatlerce süren inceleme ve PR yönetimini dakikalara indirdiğinde, kıt mühendislik yargısını yalnızca insanların verebileceği sonuç doğuran kararlar için serbest bırakır; ayrıca özelliklerin müşterilere daha hızlı ulaşmasını sağlar.
Augment'ın temel taahhütlerinden biri, kuruluşların maliyetleri optimize etmesine yardımcı olmaktır. Bu, görev başına toplam maliyeti optimize etmek anlamına gelir: insan çabası artı token maliyeti. Başarılı sonuçlar pahasına token kullanımını en aza indirmek anlamına gelmez. Altı sorumlulukla yüklenmiş tek bir Expert, her birini vasat bir şekilde yerine getirir ve daha fazla insan müdahalesi gerektirir. Altı özel Expert ise her biri PR incelemesinin farklı bir bölümüne odaklanabilir, daha yüksek kaliteli inceleme çıktıları üretebilir ve sürecin daha büyük bir kısmını otonom olarak yürütebilir.
3. Maliyet ve kalite: başarılı sonuç başına maliyeti optimize edin
Token fiyatına göre en ucuz model çoğu zaman aldatıcı bir tasarruftur. Gözden kaçan bir kusur, kötü bir onarım veya yeniden deneme, görevi bir kez doğru yapmaktan daha pahalıya mal olabilir. Cosmos genelinde kullandığımız başarı başına maliyet ilkesiyle aynı şekilde, temsili işleri kıyaslıyor ve her Expert'in kalite çıtasını geçen en düşük maliyetli modeli seçiyoruz.
Bugün Risk analizi, Deep ve Pair incelemesi ve kod onarımı gibi yargı gerektiren işler için GPT-5.6 Sol kullanıyoruz. Dashboard toplama ve birleştirme çakışması izleme gibi sınırlı, mekanik olarak doğrulanabilir görevler GPT-5.6 Luna üzerinde çalışıyor. Daha uzun önbellek TTL'lerine sahip modeller, uzun süre çalışan ajanlar için de avantajlıdır çünkü önbelleğe alınmış girdi genellikle %90 indirimlidir.
4. cosmos approve ile yapılandırılabilir onay yolu
Risk Analyzer, muhafazakâr bir politika altında doğası gereği düşük riskli değişiklikleri her zaman onaylayabiliyordu. Şimdi diğer değişiklikler için varsayılan olarak devre dışı olan ikinci bir onay modu daha destekliyoruz.
PR yazarı, bir onay politikasına karşı değerlendirme talep etmek için cosmos approve yorumu yapabilir. Nihai birleştirmeyi yine de bir insan üstlenir ve gerçekleştirir.
Kuruluşlar kendi onay politikalarını tanımlar. Bizim dahili politikamız şunları kontrol eder:
- Sahiplik: Talepte bulunan kişi PR yazarıdır ve yazar, değiştirilen her dosya için etkin bir CODEOWNER'dır.
- Güncel başlık incelemesi: Çözülmemiş Deep Reviewer bulgusu, Pair Reviewer engeli veya ele alınmamış insan yorumu yoktur.
- Çelişen çalışma zamanı kanıtı yok: Verifier, mevcut commit için ele alınmamış bir kusur bildirmemiştir.
5. Özelleştirilebilirlik mimarinin bir parçasıdır
Filo tasarımını, ekiplerin döngüyü Cosmos Advisor ile özelleştirebilmesi için yaptık.
- Filo: Expert ekleyin, kaldırın veya değiştirin; her sorumluluk için modeli ve prompt'u seçin.
- Operasyon: Tetikleyicileri, araçları, entegrasyonları ve doğrulama ortamlarını yapılandırın.
- Kontrol: Eylemleri kimin çağırabileceğini ve her Expert'in hangi kimlik bilgilerine, depolara ve sistemlere erişebileceğini kısıtlayın.
- Politika: Onay kurallarını, gerekli kontrolleri, CODEOWNER gereksinimlerini ve kabul edilebilir kanıtları tanımlayın.
Yapay zekâ odaklı PR incelemesi için işletim modeli
İlk sürümümüzden çıkan ders, kod incelemesinin, insanlardan yapay zekâ üretimi kodu daha hızlı okumalarını isteyerek ölçeklenemeyeceğiydi. Bu sürümden çıkan ders daha kapsamlı: hiçbir bireysel inceleme ajanı birleştirmeye giden tüm yolu optimize edemez.
Yüksek performanslı bir PR-to-merge döngüsü şunları gerektirir:
- Ajan Uzmanlaşması: Riski, doğruluğu, tasarım yargısını, çalışma zamanı doğrulamasını ve onarımı birbirinden ayırın.
- İnsan kontrol noktalarını en aza indirin: İnsanları yalnızca sonuç doğuran yargı ve bilgi aktarımı için sürece dahil edin.
- Kanıt: İnceleyicilere desteklenmeyen kanaatler yerine incelenebilir kanıt sunun.
- Onarım döngüleri: Bulguların manuel müdahale beklenmeden uygulamaya geri akmasını sağlayın.
- Gözlemlenebilirlik: Tüm filonun durumunu tek bir yerde okunabilir kılın.
- Maliyet disiplini: Her sorumluluk için kalite çıtasını geçen en ucuz modeli kullanın.
- Yapılandırılabilirlik: Döngüyü her kuruluşun benzersiz gereksinimlerine göre özelleştirin.
- İnsan sahipliği: Nihai birleştirme kararını, yazılımdan sorumlu kişilerde tutun.
Bu, PR yaşam döngüsüne uygulanmış loop engineering yaklaşımıdır: doğrulanmış, anlaşılmış ve birleştirmeye hazır bir değişiklik üreten sistemi optimize etmek; herhangi bir ajanın ürettiği çıktı miktarını değil.
Kendi PR-to-merge döngünüzü oluşturun
Cosmos, mühendislik ekiplerine inceleme, doğrulama, onarım ve yazılım yaşam döngüsünün geri kalanında ajanları çalıştırmak için paylaşılan bağlam, çalışma zamanı kontrolleri, entegrasyonlar ve insan kontrol noktaları sunar.
