단일 샷 생성 결과를 맹신하지 말고, 여러 모델이 충돌한 후에만 결론을 내리세요. GAN 의 적대적 구조를 추론 단계로 이식한 Claude Code 스킬의 설계 설명입니다.
- 저자: Ryousuke Wayama (@wayama_ryousuke
- 날짜: 2026-07-09
- 배경: GAN 에서 영감을 받은 개념 (2023 년 예측 트윗) / Claude Fable 5 와 설계 브레인스토밍
- 저장소: https://github.com/makinux/adversarial-panel
배경: 왜 한 번의 답변으로는 충분하지 않은가
LLM 의 답변이 가장 위험한 때는 틀렸을 때가 아니라, 틀렸음에도 확신에 차 있을 때입니다. 단일 모델의 단일 패스는 구조적으로 이를 감지할 메커니즘이 부족합니다. 자기 비평을 하더라도, 생성과 비평 중의 사각지대는 동일한 가중치에서 비롯되므로 상관관계가 있습니다. 게다가 모델은 자기 자신의 출력을 높게 평가하는 자기 선호 편향(self-preference bias)을 가지고 있다는 것이 입증되었습니다. 요컨대, "혼자서 쓰고 검토하는 것"은 어떤 감사(audit)에도 처음부터 이해충돌입니다.
이 스킬의 영감은 GAN 에서 비롯되었습니다. GAN 의 핵심은 단순히 생성자(generator)와 판별자(discriminator)가 경쟁하는 구조가 아니라, 그 기저에 있는 탐지가 생성보다 쉽다는 비대칭성 원리입니다. 생성자가 스스로 정확성을 보장하게 하는 것보다, 독립적인 적대자들이 서로를 공격하게 하고 살아남은 것만 통과시키는 것이 동일한 계산 비용으로 더 높은 품질 보증을 얻을 수 있습니다. GAN 이 이 루프를 그래디언트를 통해 실행했다면, adversarial-panel 은 자연어 비판(natural language critique)을 통해 실행합니다. 신호의 매체만 바뀌었을 뿐, 게임 구조는 동일합니다.
하지만 단순히 여러 모델을 나열하는 것만으로는 가치가 없습니다. 효과가 있는 것은 다음 두 가지 설계 특성이며, 이 스킬은 의도적으로 이를 만들어내도록 설계되었습니다:
- 오류의 탈상관화(Decorrelation of Errors) — 검토자가 생성자의 실수를 잡아내려면, 그들의 실패 모드가 달라야 합니다. 동일한 모델로 구성된 패널은 사각지대를 공유하므로, "만장일치"는 겉보기만큼 강력한 증거가 아닙니다. 모델 패밀리를 교차시키는 것이 핵심입니다.
- 검증 이점(Verification Advantage) — 주어진 답변을 반박하는 것이 답변을 생성하는 것보다 쉽습니다. 따라서 비평가들은 검증 가능한 주장을 목표로 삼도록 지시받습니다. "의심스럽다"가 아니라 "입력 X 에서 실패한다" — 즉, 단순한 주장이 아닌 재현을 통한 반박입니다.
아키텍처: 진행자와 패널리스트
구성 요소는 두 가지 유형뿐입니다. 메인 세션(Claude Code 자체)은 진행자(facilitator) 역할을 하며, 진행, 검증, 통합을 처리합니다. 그리고 2~4 명의 패널리스트(panelists) 가 응답과 상호 비판을 처리합니다. 진행자는 패널의 입을 빌려 자신의 의견을 말해서는 안 됩니다(진행자 포획 금지). 의견을 추가해야 한다면 "진행자 의견(Facilitator's View)"이라고 명시해야 합니다.
그림 1 — adversarial-panel 의 구성. 진행자는 자체 포함된 브리프를 분배하고(실선), 패널리스트는 서로의 답변을 공격(교차 비평)한 후 답변과 비평을 진행자에게 반환합니다(점선). 이 루프는 각 라운드마다 실행됩니다.
패널리스트는 이질성 극대화를 우선순위로 선정됩니다:
- 다른 모델 패밀리 — Bash 를 통한 Codex 와 같은 외부 CLI. 이것이 가장 강력한 오류 탈상관화를 제공합니다.
- 다른 Claude 모델 — 에이전트 도구의 모델 파라미터(Opus/Sonnet/Haiku)를 통해.
- 동일 모델 + 강제 방법론적 분기 — 한 명은 첫 원칙에서, 한 명은 기저율(외부 시각)에서, 한 명은 반증만 찾고, 한 명은 검증 가능한 주장을 재실행합니다. 페르소나가 아닌 방법으로 차별화합니다.
기본값은 2 명의 패널리스트 × 3 라운드입니다. 비용은 패널리스트 수와 라운드 수에 비례하므로, 3~4 명으로 확장하는 것은 사용자가 철저함을 요구할 때만 사용합니다.
프로토콜: 4 라운드 + 종합
그림 2 — 프로토콜 진행. 흰색은 진행자의 작업, 보라색은 패널리스트의 작업을 나타냅니다. 라운드 1 이후에는 "답변에 실질적인 내용이 있는지" 확인하는 검증 게이트가 삽입됩니다. 저렴한 쿼리의 경우 라운드 2 와 3 을 하나로 통합할 수 있습니다.
라운드 0 — 프레이밍 및 필요성 판단
먼저 패널을 열어야 하는지 결정합니다. 중요도가 낮은 쿼리나 확신이 정당화되는 경우에는 직접 답변하고 패널을 옵션으로만 제시합니다. 전체 패널은 중요하거나, 논쟁의 여지가 있거나, 검증 가능한 쿼리에 대해서만 실행됩니다. 비판에 비용을 지불할 가치가 있는 경우이기 때문입니다.
"분류 함정(triage trap)"에 대한 방어가 여기에 내장되어 있습니다. 이 게이트를 운영하는 모델이 사각지대를 잡아내야 하는 모델이므로, 모델이 작업을 실패할수록 게이트가 열릴 가능성은 낮아집니다. 따라서 사용자가 명시적으로 패널을 요청하면 확신 정도와 관계없이 실행되며, 중요한 쿼리의 경우 자기 확신보다는 이해관계의 크기에 따라 판단합니다.
다음으로, 자체 포함된 브리프를 작성합니다. 하위 에이전트는 대화 맥락을 전혀 볼 수 없으므로, 브리프에는 쿼리, 맥락, 제약 조건, 출력 형식은 물론, "사실과 추측을 분리하고 주요 주장에 신뢰 수준과 반증 조건(어떤 관찰이 이를 뒤집을 수 있는지)을 첨부하라"는 지침이 포함되어야 합니다. 반증 조건은 "입력 X 에서 실패" 또는 "출처 Y 와 모순"과 같이 구체적이고 검사 가능해야 하며, "반대 증거가 나타나면"과 같은 일반적인 문구는 누락된 데이터(보정 극장)로 처리됩니다.
라운드 1 — 독립적 답변 (병렬/블라인드)
모든 패널리스트를 병렬로 실행합니다. 누구도 다른 사람의 답변을 보지 못하는 것이 절대적인 요구사항입니다. 다른 사람의 답변을 본 패널리스트는 그것에 고정(anchoring)되어 독립성의 전제가 깨집니다.
반환 후, 검증 게이트: 상태 줄이나 오류 덤프는 답변이 아닙니다. 이것들을 회의록에 포함시키면 이후 라운드가 허상을 비판하게 됩니다(이후 설명할 유령 패널리스트 문제). 실패한 패널리스트는 재시도됩니다. 두 번 실패하면 이질성 수준을 한 단계 낮추어 계속 진행하고, 실제 패널 구성이 사용자에게 공개됩니다.
라운드 2 — 교차 비평 (병렬)
각 패널리스트는 다른 패널리스트들의 답변을 받습니다. 특정 주장을 인용과 함께 공격해야 합니다—사실 오류, 약한 증거, 논리적 비약, 간과된 대안, 또는 암묵적 가정. 검증 가능한 주장은 재현(코드 실행, 값 재계산, 출처 확인)을 통해 반박됩니다. 동의, 요약, 또는 칭찬의 부풀리기는 금지됩니다. 양보와 공격 모두 이유가 필요합니다.
라운드 3 — 최종 견해 (병렬)
각 패널리스트는 자신에 대한 비판을 받습니다. 유효한 공격에는 이유를 들어 양보해야 하며(사회적 예의가 아닌), 살아남은 주장은 이유를 들어 방어하고, 남아있는 불확실성과 조정된 신뢰 수준 및 반증 조건을 명시해야 합니다. 이유 없이 완전히 전환하는 것은 아첨(sycophancy)의 신호이므로, 전환의 근거가 수용되기 전에 의문이 제기됩니다.
종합 — 진행자의 통합
최종 출력은 세 부분으로 구성됩니다: 합의 사항 / 갈등 사항 / 결론.
- 합의 사항 — 가장 강력한 단일 지지 논거와 함께, 수렴이 강력한 증거(이질적 패널)인지 약한 증거(동질적 패널, 잠재적 공유 사각지대)인지 명시합니다.
- 갈등 사항 — "누가, 무엇을, 어떤 증거로" + 진행자의 판정으로 작성되며, 증거 강도에 따라 가중치가 부여됩니다. 한쪽에 재현 가능한 증거가 있고 다른 쪽에 직관만 있다면 판정이 내려집니다. 양측을 동등하게 제시하는 것은 중립성이 아니라 허위 균형(false balance)입니다.
- 결론 — 신뢰 수준, 결론을 바꿀 수 있는 조건, 보존할 가치가 있는 소수 의견, 수용/기각된 비판의 감사 추적(audit trail)을 포함합니다.
전체를 통해 유지해야 할 세 가지 불변성
불변성 | 내용 |
|---|---|
독립성 | 라운드 1 답변은 블라인드 상태로 생성되어야 합니다. 다른 사람의 답변을 본 패널리스트는 고정되어 더 이상 독립적인 샘플이 아닙니다. |
적대성 | 새로운 논증 없이 동의하는 것은 라운드 실패입니다. 지침을 강제하세요: "적어도 하나의 핵심 주장에 반대하세요. 찾아내세요." |
평균화 금지 | 종합은 평균을 내는 것이 아닙니다. 갈등은 보존되고 판정됩니다. 더하고 나누는 순간, 패널이 생성한 신호는 사라집니다. |
GAN 과의 대응 관계
"적대적 생성을 추론으로 이식"하려는 설계 의도는 다음과 같이 매핑될 수 있습니다. 패널 측의 실패 모드가 알려진 GAN 실패 모드와 깔끔하게 대응된다는 점이 핵심입니다.
GAN (훈련) | adversarial-panel (추론) |
|---|---|
생성자(Generator) | 패널리스트의 독립적 답변 (라운드 1) |
판별자(Discriminator) | 교차 비평의 공격 측 (라운드 2) |
그래디언트 업데이트 | 자연어 비판과 이유 있는 양보/방어 (라운드 3) |
최소최대 평형(Minimax Equilibrium) | 진행자의 판정을 포함한 종합 (종합) |
판별자 이점(Discriminator Advantage) | 검증 비대칭성—생성보다 탐지가 쉬움 |
가중치 비공유(No Weight Sharing) | 모델 패밀리 분리—오류 탈상관화 |
모드 붕괴(Mode Collapse) | 아첨적 수렴(상호 동의) |
실패 모드 및 대책 — 모두 프로덕션에서 관찰됨
이 스킬 안티패턴 모음은 이론적 우려 사항 목록이 아니라, 실제로 발견된 지뢰들의 카탈로그입니다.
- 유령 패널리스트(Ghost Panelist) 상태 문자열이나 오류 덤프가 답변으로 회의록에 섞여 들어가, 이후 모든 라운드가 허공을 상대로 논쟁하게 됩니다. → 대책: 라운드 1 직후 검증 게이트. 외부 CLI 에 대해 포그라운드 실행을 강제하고 완료 전에 반환되는 래퍼를 금지합니다.
- 아첨적 수렴(Sycophantic Convergence) 라운드 2 에서 모두가 새로운 논증 없이 동의합니다. GAN 의 모드 붕괴와 동등합니다. → 대책: 비평 프롬프트에 "적어도 하나의 핵심 주장에 반대하세요. 찾아내세요."를 추가합니다.
- 진행자 포획(Facilitator Capture) 진행자가 패널로 하여금 자신의 기존 의견을 말하게 하여, 합의의 권위를 통해 세탁합니다. → 대책: 진행자 의견은 레이블로 분리되어야 합니다.
- 신뢰 극장(Confidence Theater) 반증 조건 없는 숫자형 신뢰도. "80% 확신"은 어떤 관찰이 당신을 철회하게 만들지 말할 수 없다면 무의미합니다. → 대책: 반증 조건이 없는 신뢰는 누락된 것으로 처리합니다.
- 다양성 환상(Diversity Illusion) 동일한 모델의 다른 페르소나를 독립적인 검토자로 취급합니다. "레드팀"이라는 역할 이름은 오류를 탈상관화하지 않습니다—오직 다른 모델, 다른 방법론, 또는 주장의 실제 재현만이 탈상관화를 만듭니다. → 대책: 동질적 패널의 수렴을 약한 증거로 명시적으로 격하합니다.
사용 사례 및 호출 방법
스킬 자체는 makinux/adversarial-panel에 게시되어 있습니다. Claude Code 에 ~/.claude/skills/adversarial-panel/SKILL.md로 배치하면 명시적 호출이나 다음과 같은 자연어를 통해 트리거됩니다:
"Opus 와 Codex 로 이 디자인에 대한 적대적 검토를 수행해 줘." "정말? 확실하게 하려고 토론하게 해 봐." / "red-team 해 봐" / "두 번째 의견을 원해." 또한 중요한 지점에서 "확실해?"라고 확신을 요구할 때 트리거 후보가 됩니다.
논쟁의 여지가 있거나 검증 가능한 중요한 쿼리에 적합합니다. 아키텍처 선택, 실패에 대한 근본 원인 가설, 기술 예측, 또는 연구 결론 검증. 반대로, 중요도가 낮은 쿼리에 대해 여는 것은 비용 낭비이며, 라운드 0 분류기에서 걸러집니다. 비용은 패널리스트 수 × 라운드 수에 비례합니다. 일상 사용에는 2×3 이 표준이며, 중요한 순간에 3~4 로 확장합니다.
열악한 환경을 위한 저하(degradation)도 정의되어 있습니다:
- 하위 에이전트 메커니즘 없음 → 순차 실행에서 별도 섹션으로 대체 (약함, 가중치와 맥락이 공유되므로—종합에 표시).
- 단일 패밀리만 사용 가능 → 방법론적 분기(3 번째 계층)로 낮추고 수렴의 증거력을 격하.
- 외부 CLI 가 두 번 실패 → 해당 패널리스트를 제거하고 계속 진행하며 공개.
의도가 아닌 측정을 기반으로 실제로 실행된 계층을 보고하십시오—이것이 감사 가능성의 핵심입니다.
결론: 추론에서 훈련으로
2023 년에 "LLM 의 다음은 적대적 생성(adversarial generation)이다"라고 예측했을 때, 저는 GAN 과 유사한 훈련 방식을 염두에 두고 있었습니다.
https://x.com/wayama_ryousuke/status/1658698942161510400
3 년 후 답을 확인해 보니, 적대적 구조는 훈련(그래디언트)보다 추론(자연어 비판)에서 먼저 실용화되었습니다. CriticGPT 와 같은 비평 특화 모델, 다중 에이전트 토론 연구, 코딩에서의 교차 검토 운영—업계는 다른 입구에서 동일한 구조로 수렴하고 있습니다.
다음 단계는 아마도 재통합일 것입니다. 추론 시간 검토 결과는 현재 일회용이지만, 비판을 RL 보상 신호(RLAIF 경로)로 변환하면 적대적 결과가 가중치에 축적될 수 있습니다—GAN 이 원래 했던 것으로 돌아가는 것입니다. "적대적 검토 결과로 다음 모델을 훈련"하는 지점에 도달한다면, 이 스킬은 과도기 프로토타입이었을 것입니다. 그때까지는 단일 패스 답변에 베팅하기 전에 모델들을 서로 충돌시키는 것이 충분히 가치가 있습니다.
이 글은 Claude Code 스킬 adversarial-panel (SKILL.md)에 대한 설계 설명입니다. 개념: [@wayama_ryousuke](https://x.com/@wayama_ryousuke) (GAN 에서 영감, Claude Fable 5 와 설계 브레인스토밍). 다이어그램은 Executor/Advisor 에이전트 구성의 규칙을 따릅니다.
