Tek seferlik üretim sonuçlarına güvenmeyi bırakın; ancak birden fazla modelin çarpışmasına izin verdikten sonra sonuçlara varın. GAN'ların çekişmeli yapısını çıkarım aşamasına taşıyan Claude Code becerisinin tasarım açıklaması.
- Yazar: Ryousuke Wayama (@wayama_ryousuke
- Tarih: 2026-07-09
- Arka Plan: GAN'lardan ilham alan konsept (2023 tahmin tweeti) / Claude Fable 5 ile tasarım beyin fırtınası
- Depo: https://github.com/makinux/adversarial-panel
Arka Plan: Tek Seferlik Cevaplar Neden Yeterli Değil
LLM cevapları en tehlikeli olduğu zaman yanlış olduklarında değil, yanlış ama kendinden emin olduklarında. Tek bir modelin tek bir geçişi, yapısal olarak bunu tespit edecek bir mekanizmadan yoksundur. Öz eleştiride bile, üretim ve eleştiri sırasındaki kör noktalar aynı ağırlıklardan geldikleri için ilişkilidir; ayrıca modellerin kendi çıktılarını yüksek puanlayan bir öz-ön yargıya (self-preference bias) sahip olduğu kanıtlanmıştır. Kısacası, "kişinin kendi yazıp kendi incelemesi" herhangi bir denetim için baştan bir çıkar çatışmasıdır.
Bu becerinin ilham kaynağı GAN'lardır. Bir GAN'ın özü, sadece rakip üretici ve ayırt edicilerin yapısı değil, aynı zamanda temel prensiptir: tespit etmenin, yaratmaktan daha kolay olduğu asimetri. Üreticinin kendi doğruluğunu garanti etmesindense, bağımsız rakiplerin saldırmasına izin vererek ve sadece hayatta kalanı geçirerek aynı hesaplama maliyetiyle daha yüksek kalite güvencesi elde edilir. GAN'lar bu döngüyü gradyanlar aracılığıyla yürütürken, adversarial-panel bunu doğal dil eleştirisi aracılığıyla yürütür. Değişen sadece sinyalin ortamıdır; oyunun yapısı aynı kalır.
Ancak, birden fazla modeli basitçe sıralamanın bir değeri yoktur. İşe yarayan şeyler, becerinin kasıtlı olarak yaratmak üzere tasarlandığı aşağıdaki iki tasarım özelliğidir:
- Hataların Korelasyonsuzlaştırılması (Decorrelation of Errors) — Bir denetçi, ancak başarısızlık modları farklıysa üreticinin gözünden kaçan bir şeyi yakalayabilir. Aynı modelden oluşan paneller aynı kör noktaları paylaştığından, "oybirliği" göründüğü kadar güçlü bir kanıt değildir. Model ailelerini çaprazlamak temel noktadır.
- Doğrulama Avantajı (Verification Advantage) — Verilen bir cevabı çürütmek, cevabı oluşturmaktan daha kolaydır. Bu nedenle eleştirmenler, doğrulanabilir iddiaları hedeflemeye yönlendirilir. "Bence şüpheli" değil, "X girdisinde başarısız oluyor" — sadece iddia ederek değil, tekrar üreterek çürütme.
Mimari: Kolaylaştırıcı ve Panelistler
Sadece iki tür bileşen vardır. Ana oturum (Claude Code'un kendisi) kolaylaştırıcı (facilitator) olarak hareket eder; ilerlemeyi, doğrulamayı ve entegrasyonu yönetirken, 2 ila 4 panelist yanıtları ve karşılıklı eleştiriyi halleder. Kolaylaştırıcı, kendi fikirlerini panelin ağzından söylememelidir (kolaylaştırıcı ele geçirme yasağı); eğer bir fikir ekleyecekse, bunu "Kolaylaştırıcının Görüşü" olarak etiketlemelidir.
Şekil 1 — adversarial-panel konfigürasyonu. Kolaylaştırıcı, kendi kendine yeten bir brifing dağıtır (düz çizgi) ve panelistler cevaplar ile eleştirileri kolaylaştırıcıya döndürmeden (kesik çizgi) önce birbirlerinin cevaplarına saldırır (Çapraz eleştiri). Bu döngü her tur için tekrarlanır.
Panelistler, heterojenliği en üst düzeye çıkarma önceliğiyle seçilir:
- Farklı Model Aileleri — Bash aracılığıyla Codex gibi harici CLI'ler. Bu, hataların en güçlü korelasyonsuzlaştırmasını sağlar.
- Farklı Claude Modelleri — Aracın model parametresi (Opus/Sonnet/Haiku) aracılığıyla.
- Aynı Model + Zorunlu Metodolojik Dallanma — Biri ilk prensiplerden, biri taban oranlardan (dış görüş), biri sadece karşıt kanıt arayarak, biri doğrulanabilir iddiaları yeniden yürüterek argüman sunar. Sadece kişilikle değil, yöntemle farklılaşma.
Varsayılan 2 panelist × 3 turdur. Maliyet panelist sayısı ve tur sayısıyla arttığından, 3-4 paneliste genişletme sadece kullanıcının titizlik talep ettiği durumlar içindir.
Protokol: 4 Tur + Sentez
Şekil 2 — Protokol İlerlemesi. Beyaz, kolaylaştırıcının görevlerini; mor, panelistlerin görevlerini temsil eder. "Cevapların özü var mı?" kontrolü için 1. Turdan sonra bir doğrulama kapısı eklenir. Düşük maliyetli sorgular için 2. ve 3. Turlar birleştirilebilir.
0. Tur — Çerçeveleme ve Gereklilik Kararı
Öncelikle, bir panel açılıp açılmayacağı belirlenir. Düşük riskli sorgular veya güvenin haklı olduğu durumlarda, doğrudan cevap verin ve paneli sadece bir seçenek olarak sunun. Tam bir panel yalnızca önemli, tartışmalı veya doğrulanabilir sorgular için tetiklenir – çünkü eleştirinin maliyete değdiği yer burasıdır.
"Triyaj tuzağına" karşı savunma burada yerleşiktir. Kör noktayı yakalaması gereken model bu kapıyı işleten model olduğundan, bir görevde ne kadar kendinden emin bir şekilde başarısız olursa, kapının açılma olasılığı o kadar azalır. Bu nedenle, eğer bir kullanıcı açıkça bir panel talep ederse, güven seviyesinden bağımsız olarak çalıştırılır ve önemli sorgular için karar, öz güvene değil, riskin büyüklüğüne göre verilir.
Ardından, kendi kendine yeten bir brifing yazılır. Alt ajanlar konuşma bağlamını hiç göremediğinden, brifing sorguyu, bağlamı, kısıtlamaları ve çıktı formatını, ayrıca "gerçekleri spekülasyonlardan ayırma, güven seviyeleri ve büyük iddialara yanlışlama koşulları (bu iddiayı çürütecek gözlemler) ekleme" talimatlarını içermelidir. Yanlışlama koşulları, "X girdisinde başarısız olur" veya "Y kaynağıyla çelişir" gibi spesifik ve denetlenebilir olmalıdır; "karşıt kanıt ortaya çıkarsa" gibi genel ifadeler eksik veri olarak işlenir (kalibrasyon tiyatrosu).
1. Tur — Bağımsız Cevaplar (Paralel/Kör)
Tüm panelistler paralel olarak başlatılır. Hiç kimsenin diğerlerinin cevaplarını görmemesi mutlak bir gerekliliktir; başka birinin cevabını gören panelist ona çapa atar (anchor) ve bağımsızlık önermesi bozulur.
Dönüşte, doğrulama kapısı: durum satırları veya hata dökümleri cevap değildir. Bunların tutanaklara dahil edilmesi, sonraki turların hayaletleri eleştirmesine neden olur (daha sonra açıklanan hayalet panelist sorunu). Başarısız olan panelistler yeniden denenir; iki kez başarısız olurlarsa, heterojenlik seviyesi bir adım düşürülerek devam edilir ve gerçek panel konfigürasyonu kullanıcıya bildirilir.
2. Tur — Çapraz Eleştiri (Paralel)
Her paneliste diğer panelistlerin cevapları verilir. Spesifik iddialara atıfla saldırmalıdırlar – olgusal hatalar, zayıf kanıtlar, mantıksal sıçramalar, gözden kaçırılan alternatifler veya örtük varsayımlar. Doğrulanabilir iddialar, tekrar üretim (kod çalıştırma, değerleri yeniden hesaplama, kaynakları kontrol etme) yoluyla çürütülür. Anlaşmanın şişirilmesi, özetler veya övgüler yasaktır. Hem tavizler hem de saldırılar gerekçe gerektirir.
3. Tur — Nihai Görüşler (Paralel)
Her paneliste kendilerine yöneltilen eleştiriler verilir. Geçerli saldırılara (sosyal nezaket için değil, gerekçelerle) taviz vermeli, hayatta kalan iddiaları gerekçelerle savunmalı ve kalan belirsizlikleri, ayarlanmış güven seviyelerini ve yanlışlama koşullarını belirtmelidir. Gerekçesiz tam dönüşüm, dalkavukluk (sycophancy) belirtisidir, bu nedenle dönüşümün temeli kabul edilmeden önce sorgulanır.
Sentez — Kolaylaştırıcı Tarafından Entegrasyon
Nihai çıktı üç bölümden oluşur: Anlaşma Noktaları / Çatışma Noktaları / Sonuç.
- Anlaşma Noktaları — En güçlü destekleyici argüman eşliğinde, yakınsamanın güçlü kanıt (heterojen panel) mı yoksa zayıf kanıt (homojen panel, potansiyel ortak kör noktalar) mı olduğu belirtilir.
- Çatışma Noktaları — "Kim, Ne, Hangi Kanıtla" + kolaylaştırıcının kanıt gücüne göre ağırlıklandırılmış kararı olarak yazılır. Bir tarafın tekrarlanabilir kanıtı, diğer tarafın sezgisi varsa, bir karar verilir. Her iki tarafı eşit sunmak tarafsızlık değil, yanlış denge (false balance) dir.
- Sonuç — Güven seviyelerini, sonucu değiştirebilecek koşulları, korunmaya değer azınlık görüşlerini ve kabul/reddedilen eleştirilerin denetim kaydını (audit trail) içerir.
Boyunca Korunması Gereken Üç Değişmez
Değişmez | İçerik |
|---|---|
Bağımsızlık | 1. Tur cevapları kör olarak üretilmelidir. Başkalarının cevaplarını gören panelistler çapa atar ve artık bağımsız örnekler değildir. |
Çekişmelilik | Yeni argümanlar olmadan anlaşma, tur başarısızlığıdır. Talimatı zorlayın: "En az bir merkezi iddiaya karşı çıkın; onu bulun." |
Ortalama yok | Sentez, ortalama almak değildir. Çatışmalar korunur ve karara bağlanır. Toplayıp ikiye böldüğünüz anda, panel tarafından üretilen sinyal kaybolur. |
GAN'lar ile İlişki
"Çekişmeli üretimi çıkarıma taşıma" tasarım hedefi aşağıdaki gibi eşlenebilir. Panel tarafındaki başarısızlık modlarının, bilinen GAN başarısızlık modlarına düzgün bir şekilde karşılık gelmesi kilit noktadır.
GAN (Eğitim) | adversarial-panel (Çıkarım) |
|---|---|
Üretici (Generator) | Panelistlerin bağımsız cevapları (1. Tur) |
Ayırt Edici (Discriminator) | Çapraz eleştirinin saldıran tarafı (2. Tur) |
Gradyan Güncellemeleri | Doğal dil eleştirisi ve gerekçeli tavizler/savunmalar (3. Tur) |
Minimax Dengesi | Kolaylaştırıcının karar içeren sentezi (Sentez) |
Ayırt Edici Avantajı | Doğrulama asimetrisi – tespit etmek yaratmaktan daha kolaydır |
Ağırlık Paylaşımı Yok | Model ailelerinin ayrılması – hataların korelasyonsuzlaştırılması |
Kip Çökmesi (Mode Collapse) | Dalkavukça yakınsama (karşılıklı anlaşma) |
Başarısızlık Modları ve Önlemler — Tümü Üretimde Gözlemlenmiştir
Bu beceri anti-kalıpları koleksiyonu, teorik endişelerin bir listesi değil, karşılaşılan gerçek mayınların bir kataloğudur.
- Hayalet Panelist (Ghost Panelist) Durum dizeleri veya hata dökümleri, cevap olarak tutanaklara karışır ve sonraki tüm turların boşlukla mücadele etmesine neden olur. → Önlem: 1. Turdan hemen sonra doğrulama kapısı. Harici CLI'ler için ön plan yürütmeyi zorunlu kılın ve tamamlanmadan dönen sarmalayıcıları yasaklayın.
- Dalkavukça Yakınsama (Sycophantic Convergence) 2. Turda herkes yeni argümanlar olmadan aynı fikirdedir. GAN'lardaki kip çökmesine eşdeğerdir. → Önlem: Eleştiri istemine "En az bir merkezi iddiaya karşı çıkıyorsun. Onu bul." ifadesini ekleyin.
- Kolaylaştırıcı Ele Geçirme (Facilitator Capture) Kolaylaştırıcı, panelin kendi önceki fikirlerini söylemesini sağlar ve bunları fikir birliği otoritesiyle aklar. → Önlem: Kolaylaştırıcı görüşleri etiketlerle ayrılmalıdır.
- Güven Tiyatrosu (Confidence Theater) Yanlışlama koşulları olmadan sayısal güven. "%80 güven", sizi hangi gözlemin vazgeçireceğini söyleyemiyorsanız anlamsızdır. → Önlem: Yanlışlama koşulu olmayan güveni eksik veri olarak işleyin.
- Çeşitlilik Yanılsaması (Diversity Illusion) Aynı modelin farklı kişiliklerini bağımsız denetçiler olarak ele almak. "Kırmızı Takım" rol adı, hataları korelasyonsuzlaştırmaz – sadece farklı modeller, farklı metodolojiler veya iddiaların fiilen tekrar üretilmesi korelasyonsuzlaştırma yaratır. → Önlem: Homojen panellerde yakınsamayı açıkça zayıf kanıt olarak derecelendirin.
Kullanım Durumları ve Nasıl Çağrılacağı
Becerinin kendisi makinux/adversarial-panel adresinde yayınlanmıştır. Claude Code'da ~/.claude/skills/adversarial-panel/SKILL.md konumuna yerleştirilerek, açık çağrılar veya aşağıdaki gibi doğal dil yoluyla tetiklenir:
"Opus ve Codex'in bu tasarım üzerinde çekişmeli bir inceleme yapmasını sağla." "Gerçekten mi? Emin olmak için tartışsınlar." / "bunu red-teame ver" / "İkinci bir görüş istiyorum." Ayrıca, önemli noktalarda "emin misin?" diye bastırdığınızda tetiklenmeye aday hale gelir.
Tartışmalı veya doğrulanabilir önemli sorgular için uygundur. Mimari seçimi, başarısızlıklar için kök neden hipotezleri, teknik tahminler veya araştırma sonuçlarının doğrulanması. Tersine, düşük riskli sorgular için açmak maliyet israfıdır ve 0. Tur triyajı bunu filtreler. Maliyet, panelist sayısı × tur sayısıyla orantılıdır; 2×3 günlük kullanım için standarttır, kritik anlarda 3-4'e genişletilir.
Zayıf ortamlar için bozulma (degradation) da tanımlanmıştır:
- Alt ajan mekanizması yok → Sıralı yürütmede ayrı bölümlerle değiştir (zayıf, çünkü ağırlıklar ve bağlam paylaşılır – sentezde belirtilir).
- Sadece tek bir aile mevcut → Metodolojik dallanmaya (3. kademe) düş ve yakınsamanın kanıt gücünü düşür.
- Harici CLI iki kez başarısız olur → O panelisti kaldır, devam et ve bunu bildir.
Hangi kademenin fiilen çalıştığını niyete göre değil, ölçüme dayalı olarak rapor et – denetlenebilirliğin anahtarı budur.
Sonuç: Çıkarımdan Eğitime
2023'te "LLM'ler için sıradaki şey çekişmeli üretimdir" dediğimde, GAN benzeri bir eğitim şeması düşünüyordum.
https://x.com/wayama_ryousuke/status/1658698942161510400
Üç yıl sonra cevabı kontrol ettiğimde, çekişmeli yapılar önce eğitim (gradyanlar) yerine çıkarımda (doğal dil eleştirisi) pratikleştirildi. CriticGPT gibi eleştiriye özgü modeller, çoklu ajan tartışma araştırmaları ve kodlamada çapraz inceleme operasyonları – endüstri aynı yapıya farklı girişlerden yaklaşıyor.
Bir sonraki aşama muhtemelen yeniden entegrasyondur. Çıkarım zamanı inceleme sonuçları şu anda tek kullanımlık olsa da, eleştirileri RL ödül sinyallerine dönüştürmek (RLAIF yolu), çekişmeli sonuçların ağırlıklarda birikmesine izin verir – GAN'ların asıl yaptığı şeye geri dönmek. "Bir sonraki modeli çekişmeli incelemelerin sonuçlarıyla eğitme" noktasına ulaşırsak, bu beceri bir geçiş döneminin prototipi olacaktır. O zamana kadar, tek seferlik bir cevaba bahse girmeden önce modelleri birbiriyle çarpıştırmak oldukça değerlidir.
Bu makale, Claude Code becerisi adversarial-panel (SKILL.md) için bir tasarım açıklamasıdır. Konsept: [@wayama_ryousuke](https://x.com/@wayama_ryousuke) (GAN'lardan ilham alınmıştır, tasarım Claude Fable 5 ile beyin fırtınası yapılarak oluşturulmuştur). Diyagramlar, Executor/Advisor ajan konfigürasyonlarının kurallarını takip eder.
