40 alt ajanlı devasa bir projeyi yönetmek için Fable nasıl kullanılır?

Geçen hafta @HelloUntangle'da tarihimizdeki en büyük ve en riskli mühendislik programını tamamladık.

• 834 dosya
• Prod veri mutasyonu
• DB şema güncellemesi
• 31 PR
• Cuma başladı -> Pazartesi tamamlandı
• Sıfır prod olayı

Tamamı tek bir Fable ana orkestratör oturumuyla.

Tek bir @DevinAI oturumu işi planladı, kırk alt oturum başlattı, aşamalar arasında regresyon kontrolleri ve yedekleme kontrolleri uyguladı ve yalnızca gerçekten bir sahip gerektiren kararları gündeme getirdi: kapsam kararları ve geri dönülemez adımlar için devam/devam etme kararları.

Bunu mümkün kılan şey, herhangi bir büyük geçişi iyileştirecek bir dizi program yönetimi deseniydi.

İşte nasıl yaptık ...

Mimari: bir orkestratör, birçok işçi

• Bir ana oturum programı uçtan uca sahiplendi. Tek işi planlamak, alt oturumlar başlatmak, çıktılarını incelemek, aşamaları sıralamak ve bir karar için insana ihtiyaç duyulduğunda bana iletmekti. Sıfır kod yazdı.
• ~40 alt oturum her bir gerçek iş parçasını yaptı: Aşama 0'da on bir paralel denetim oturumu, her dalga için yürütme oturumları ve tek işi regresyon paketlerini çalıştırmak olan özel geçit çalıştırıcı oturumlar.

Bu ayrım önemlidir çünkü uzun süreli projelerin (AI veya insan) başarısızlık modu bağlam çöküşüdür: işi yapan şey, genel programın amacını yavaş yavaş kaybeder.

Anayı saf bir orkestratör olarak tutmak, bağlamını temiz tutar; planı, kapsam kararlarını ve her dalganın durumunu elinde tutar. Her alt oturum, tam olarak tek bir işle taze ve odaklanmış bir bağlam alır.

Bunu mümkün kılan yedi desen

1. Önce denetle ve bulguları tek bir manifestoda dondur

Aşama 0, on bir paralel denetim oturumuydu ve her biri kod tabanının bir dilimini kapsıyordu: uygulama yolları, API yolları ve cron'lar, veritabanı şeması, paylaşılan kütüphaneler ve iş akışları, betikler ve dokümanlar. Bulguları tek bir dosyada sentezlendi ve depoya commit edildi.

Manifesto, her kod birimine bir karar ve bir dalga numarası atar. İki kural onu güçlü kıldı:

• Hiçbir işçi kapsamı yeniden tartışmaz. Her yürütme istemi, etkili bir şekilde şunu söyledi: manifesto, gerçeğin kaynağıdır. Bu olmadan, kırk oturumun her biri kapsamda ne olduğu konusunda kendi fikrini üretecek ve birbirleriyle çelişecekti.
• BİLİNMİYOR dur ve sor demektir.* Denetimlerin sessiz kaldığı her şey açıkça bilinmiyor olarak işaretlendi ve bir talimatla birlikte verildi: tahmin etme; bir karar al.* Sahip kararları doğrudan manifestoya kaydedildi, böylece sonraki oturumlar bunları devraldı.

2. İşi kolaylığa göre değil, riske göre sırala

Dalgalar, en güvenliden en geri dönülmeze doğru sıralandı.

Dalga

Ne

Risk

0

Denetim + manifesto + geri yükleme noktası git etiketi

yok

1

Canlı bağımlısı olmadığı doğrulanan değişiklikler

sıfıra yakın

2

Paylaşılan altyapıda dolaşıklık ameliyatı

orta

3–4

Kod değişikliklerinin büyük kısmı

orta

5

Prod veri değişiklikleri (kuru çalışma envanteri + anlık görüntü ile)

yüksek

6

Şema geçişleri

yüksek

7

Bağımlılık budaması, agents.md yeniden yazımı, ajan bilgi tabanı denetimi

düşük

Prod veri değişiklikleri (Dalga 5), şema değişikliklerinden (Dalga 6) önce gelir ve her ikisi de, etkilenen tablolara dokunan her kod yolunun doğrulanabilir şekilde güncellenmesinden sonra gelir. Geçişler çalıştırıldığında, hiçbir şey hala eski duruma bağlı olamazdı.

3. Dosya ayrık sınırları paralelliği güvenli kılar

Bir dalga içinde, alt oturumlar paralel olarak çalıştı — bir dalganın ağacın farklı bölümlerinde aynı anda çalışan dört oturumu vardı. Disiplin: her istem, açık bir dosya sınırı içeriyordu ve sınırlar ayrıktı. Birleştirme çatışması yok, aynı dosyayı düzenleyen iki ajan yok, alt oturumlar arasında hiçbir koordinasyon gerekmiyor.

Bu klasik görev ayrıştırmasıdır — mühendisler arasında iş bölerken yapacağınız şeyin aynısı — ancak ajanların bunu açıkça, istemde, her seferinde belirtmesi gerekir.

4. Dalgalar arasında güvenlik geçitleri

Bir önceki dalga bir geçitten geçene kadar hiçbir dalga başlamadı. Geçitlerin kendileri alt oturumlardı:

• Platformun temel müşteri iş akışını kapsayan, tarayıcı tabanlı, uçtan uca bir regresyon paketi, Dalga 2'den sonra ve Dalgalar 3–4'ten sonra, yeni izole edilmiş bir veritabanı dalında tekrar çalıştırıldı.
• Herhangi bir prod veri değişikliğinden önce: özel bir oturum, veritabanı yedekleme envanterimizi (sayı, tarih aralığı, saklama) denetledi ve yeni bir zaman noktası anlık görüntüsü aldık.
• Prod adımının kendisi önce kuru çalışma olarak çalıştı, sahip onayı için satır sayıları üretti ve yürütmeden sonra sayıları yeniden doğruladı.
• Bir git etiketi, değiştirilen her satır için geri yükleme noktasını işaretler.

Bir geçit başarısız olduğunda, kapsamlı bir düzeltme oturumu üretti. Regresyon paketi, örneğin, aşırı hevesli bir değişiklik tarafından bozulan müşteriye yönelik bir akışı yakaladı; bir düzeltme oturumu onu saatler içinde eski haline getirdi. Bu, sistemin çalıştığı anlamına gelir — geçit, müşteri tarafından bildirilen bir hatayı aynı gün içinde düzeltilen bir hataya dönüştürdü.

5. İnsanlar onaylar; ajanlar teklif eder

Bu projede hiç kod yazmadım, bir geçiş çalıştırmadım veya bir prod betiği yürütmedim. Ancak her geri dönülemez adım, açık onayımı gerektirdi: main'e her birleştirme, prod veri değişiklikleri, şema geçişleri ve BİLİNMİYOR kapsam öğeleriyle ilgili her karar.

Yıkıcı işler için desen: ajan bir envanter önerir, insan envanteri onaylar, ardından ajan tam olarak bu envanteri yürütür. Prod oturumu, hiçbir şeye dokunmadan önce dokunacağı satırların kesin listesini üretti. Belirsiz bir niyeti değil, belirli bir listeyi onayladım.

6. Sürprizler için bir yükseltme protokolü

Alt oturumlara, gerçeklik manifestoyla uyuşmadığında ne yapmaları gerektiği söylendi: dur, anneye rapor et, doğaçlama yapma. Gerçek örnekler:

• Denetimin güvenli dediği bir modülün başka bir yerde canlı bir bağımlısı olduğu ortaya çıktı → alt oturum bunu işaretledi ve birim, dolaşıklık notuyla birlikte daha sonraki bir dalgaya indirildi.
• İkinci bir denetim turu, beş alanın tamamında ilk tur kararlarını tersine çevirdi → tersine çevirmeler, hangi oturumun onlarla karşılaştığına bağlı olarak geçici olarak çözülmek yerine, manifestoya açık geçersiz kılmalar olarak yazıldı.

Ana, bu sürprizleri plana dahil etti. Bireysel işçiler asla kapsam kararları almadı.

7. Kamp alanını daha temiz bırak: sisteme neyin değiştiğini öğret

Dalga 7, en hafife alınan aşama olabilir. Değişiklik yayınlandıktan sonra, oturumlar AGENTS.md'mizi, repo becerilerimizi ve ajan bilgi tabanımızı yeni mimariyi tanımlayacak şekilde yeniden yazdı — böylece gelecekteki her ajan oturumu, güncel olmayan talimatlardan değil, gerçeklerden başlar. Mühendisliğiniz ajan odaklıysa, dokümantasyonunuz yük taşıyan bir altyapıdır.

Maliyeti neydi

Programdaki her oturum etiketlendi, bu nedenle hesap defteri tamamlandı: bir ana ve otuz dokuz alt oturum, tamamı Devin'in Ultra Agent'ında, Cuma öğleden sonradan Pazartesi sabahına kadar. Bunlar, kullanım panelimizden alınan gerçek ölçülen maliyetlerdir.

Aşama

Oturumlar

Maliyet

Ana orkestratör (çok günlü)

1

$115.26

Aşama 0 denetimleri (iki tur) + manifesto sentezi

12

$85.56

Dalga 1

4

$37.55

Dalga 2 (dolaşıklık ameliyatı)

4

$299.34

Dalgalar 2–4 regresyon geçitleri + düzeltmeler

4

$244.69

Dalgalar 3–4

5

$130.84

Dalga 5 (prod) + yedekleme denetimi

2

$15.20

Dalga 6 (şema geçişleri)

3

$118.83

Dalga 7 (bağımlılıklar, dokümanlar, bilgi) + son geçit

4

$96.64

Altyapı düzeltmesi

1

$11.47

Toplam

40

$1,155.38

Dökümde üç şey öne çıkıyor.

1. Manifestoyu üreten on iki oturumluk denetim aşamasının tamamı 90 doların altına mal oldu — şimdiye kadar satın aldığımız en ucuz sigorta.
2. En pahalı kalemler, tam olarak zorlu düşünmenin olduğu yerde bulunuyor: dolaşıklık ameliyatı (299 $) ve her şeyi dürüst tutan regresyon geçitleri (245 $).
3. En yüksek riskli adım — prod veri değişikliği — 15 dolara mal oldu, çünkü çalıştırıldığında tüm risk zaten ondan mühendislikle çıkarılmıştı.

Not: Devin, alt ajanlar için farklı bir model seçmeme izin verseydi, tüm bu proje çok daha uygun fiyatlı olabilirdi. Kodlama işinin çoğu, gpt 5.5 veya opus 4.8 ile başarıyla tamamlanabilirdi. Fable'a, alt ajan göreviyle eşleşecek uygun modeli seçmesini söylemek basit olurdu.

Yine de bu olmadan bile: 1.000 $, tamamladığımız iş için inanılmaz derecede ucuz - ve yapıldığı ve doğrulandığı hız - vay be.

https://x.com/ryancarson/status/2072694425365426344

Çıkarılacak ders

Manşet, AI'ın çok fazla kod yazması değil — iyi belirtilmiş değişiklikleri yürüten ajanlar artık standart bir beklenti.

Manşet şu: program yönetiminin kendisi devredildi: ayrıştırma, sıralama, paralelleştirme, geçit oluşturma ve yükseltme, tümü orkestratörün içinde çalıştı ve insan rolü, tam olarak bir sahip gerektiren kararlara sıkıştırıldı.

Bunu deneyecekseniz, araçları değil, desenleri çalın:

1. Önce denetle; bulguları, hiçbir işçinin yeniden tartışamayacağı bir manifestoda dondur.
2. Dalgaları riske göre sırala; geri dönülemez adımlar en sonda.
3. Paralel işçilere açıkça ayrık dosya sınırları ver.
4. Her dalgayı gerçek bir regresyon paketi ve gerçek yedeklemelerle geçitle.
5. Yıkıcı değişikliklerden önce önerilen envanterler iste; listeyi onayla, fikri değil.
6. Sürprizler gelmeden önce yükseltme yolunu tanımla.
7. Dokümanlarını ve ajan bilgini projenin bir parçası olarak güncelle, sonradan değil.

Mutlu orkestrasyonlar! :)