Vertrauen Sie nicht auf einmalige Generierungsergebnisse; ziehen Sie Schlussfolgerungen erst, nachdem mehrere Modelle aufeinandertreffen. Eine Design-Erklärung des Claude Code Skills, der die adversarialen Strukturen von GANs in die Inferenzphase überführt.
- Autor: Ryousuke Wayama (@wayama_ryousuke
- Datum: 09.07.2026
- Hintergrund: Konzept inspiriert von GANs (Tweet zur Vorhersage 2023) / Design gemeinsam mit Claude Fable 5 entwickelt
- Repository: https://github.com/makinux/adversarial-panel
Hintergrund: Warum einmalige Antworten nicht ausreichen
LLM-Antworten sind am gefährlichsten nicht, wenn sie falsch sind, sondern wenn sie falsch und dennoch selbstbewusst sind. Ein einzelner Durchlauf eines einzelnen Modells enthält strukturell keinen Mechanismus, dies zu erkennen. Selbst bei Selbstkritik sind die blinden Flecken während der Generierung und Kritik korreliert, da sie von denselben Gewichten stammen; darüber hinaus ist erwiesen, dass Modelle eine Selbstbevorzugungstendenz aufweisen und ihre eigenen Ausgaben hoch bewerten. Kurz gesagt: „Schreiben und selbst überprüfen" ist von vornherein ein Interessenkonflikt für jede Prüfung.
Die Inspiration für diesen Skill stammt von GANs. Das Wesen eines GANs liegt nicht nur in der Struktur konkurrierender Generatoren und Diskriminatoren, sondern im zugrundeliegenden Prinzip: der Asymmetrie, dass Erkennen einfacher ist als Erzeugen. Anstatt dass der Generator seine eigene Korrektheit garantiert, wird eine höhere Qualitätssicherung bei gleichen Rechenkosten erreicht, indem man unabhängige Gegner angreifen lässt und nur dasjenige passieren lässt, was überlebt. Während GANs diesen Kreislauf über Gradienten durchführten, läuft er bei adversarial-panel über Kritik in natürlicher Sprache. Nur das Medium des Signals hat sich geändert; die Spielstruktur bleibt dieselbe.
Allerdings hat es keinen Wert, einfach mehrere Modelle aneinanderzureihen. Was funktioniert, sind die folgenden beiden Designmerkmale, die der Skill bewusst erzeugen soll:
- Dekorrelation von Fehlern — Ein Prüfer kann ein Versehen eines Generators nur dann aufdecken, wenn sich ihre Fehlermodi unterscheiden. Da Panels desselben Modells blinde Flecken teilen, ist „einstimmige Zustimmung" weniger aussagekräftig, als es scheint. Die Kombination verschiedener Modellfamilien ist der Kern.
- Verifikationsvorteil — Eine gegebene Antwort zu widerlegen ist einfacher, als sie zu erstellen. Daher werden Kritiker angewiesen, nachprüfbare Behauptungen anzugreifen. Nicht „Ich finde das verdächtig", sondern „Es scheitert an Eingabe X" — Widerlegen durch Reproduktion, nicht nur durch Behauptung.
Architektur: Moderator und Panelisten
Es gibt nur zwei Arten von Komponenten. Die Hauptsitzung (Claude Code selbst) fungiert als Moderator, der Fortschritt, Verifikation und Integration übernimmt, während 2 bis 4 Panelisten für Antworten und gegenseitige Kritik zuständig sind. Der Moderator darf seine eigenen Meinungen nicht durch den Mund des Panels äußern (Verbot der Moderatorübernahme); wenn eine Meinung hinzugefügt wird, muss sie als „Meinung des Moderators" gekennzeichnet werden.
Abbildung 1 — Konfiguration von adversarial-panel. Der Moderator verteilt ein in sich geschlossenes Briefing (durchgezogene Linie), und die Panelisten greifen die Antworten der anderen an (Cross-Kritik), bevor sie Antworten und Kritiken an den Moderator zurückgeben (gestrichelte Linie). Dieser Kreislauf läuft für jede Runde.
Panelisten werden mit Priorität auf Maximierung der Heterogenität ausgewählt:
- Verschiedene Modellfamilien — Externe CLIs wie Codex über Bash. Dies bietet die stärkste Dekorrelation von Fehlern.
- Verschiedene Claude-Modelle — Über den Modellparameter des Agent-Tools (Opus/Sonnet/Haiku).
- Gleiches Modell + erzwungene methodische Verzweigung — Einer argumentiert aus ersten Prinzipien, einer aus Basisraten (Outside View), einer sucht nur nach Gegenbeweisen und einer führt nachprüfbare Behauptungen erneut aus. Unterscheiden Sie sich durch Methode, nicht nur durch die Rolle.
Der Standard ist 2 Panelisten × 3 Runden. Da die Kosten mit der Anzahl der Panelisten und Runden skalieren, wird die Erweiterung auf 3–4 Panelisten nur dann vorgenommen, wenn der Benutzer Gründlichkeit wünscht.
Protokoll: 4 Runden + Synthese
Abbildung 2 — Protokollablauf. Weiß repräsentiert die Aufgaben des Moderators, Lila die Aufgaben der Panelisten. Nach Runde 1 wird ein Verifikationsgate eingefügt, um zu prüfen, ob „Antworten Substanz haben". Bei kostengünstigen Anfragen können die Runden 2 und 3 zu einer zusammengefasst werden.
Runde 0 — Rahmensetzung und Notwendigkeitsbeurteilung
Zunächst wird entschieden, ob ein Panel eröffnet werden soll. Bei wenig kritischen Anfragen oder solchen, bei denen das Vertrauen gerechtfertigt ist, wird direkt geantwortet und das Panel nur als Option angeboten. Ein vollständiges Panel wird nur für wichtige, strittige oder überprüfbare Anfragen ausgelöst – denn dort ist Kritik die Kosten wert.
Die Abwehr der „Triage-Falle" ist hier eingebaut. Da das Modell, das den blinden Fleck erkennen muss, selbst dieses Gate betreibt, gilt: Je selbstbewusster es bei einer Aufgabe scheitert, desto unwahrscheinlicher öffnet sich das Gate. Wenn ein Benutzer daher explizit ein Panel anfordert, wird es unabhängig vom Vertrauen ausgeführt, und bei wichtigen Anfragen wird die Entscheidung auf der Grundlage der Höhe des Einsatzes und nicht des Selbstvertrauens getroffen.
Als nächstes wird ein in sich geschlossenes Briefing verfasst. Da Unter-Agenten den Gesprächskontext überhaupt nicht sehen können, muss das Briefing die Anfrage, den Kontext, Einschränkungen und das Ausgabeformat enthalten, plus Anweisungen, „Fakten von Spekulationen zu trennen und bei wichtigen Behauptungen Konfidenzniveaus und Falsifikationsbedingungen (welche Beobachtungen würden dies umstoßen) anzugeben." Falsifikationsbedingungen müssen spezifisch und überprüfbar sein, wie „scheitert an Eingabe X" oder „widerspricht Quelle Y"; allgemeine Formulierungen wie „falls gegenteilige Beweise auftauchen", werden als fehlende Daten behandelt (Kalibrierungstheater).
Runde 1 — Unabhängige Antworten (Parallel/Blind)
Alle Panelisten werden parallel gestartet. Es ist eine absolute Anforderung, dass niemand die Antworten der anderen sieht; ein Panelist, der die Antwort eines anderen sieht, wird sich daran verankern, was die Prämisse der Unabhängigkeit bricht.
Nach der Rückkehr folgt das Verifikationsgate: Statuszeilen oder Fehlerausgaben sind keine Antworten. Wenn sie in das Protokoll aufgenommen werden, würden nachfolgende Runden Gespenster kritisieren (das später beschriebene Gespenster-Panelist-Problem). Fehlgeschlagene Panelisten werden wiederholt; wenn sie zweimal fehlschlagen, wird die Heterogenitätsstufe um eine Stufe gesenkt, um fortzufahren, und die tatsächliche Panel-Konfiguration wird dem Benutzer mitgeteilt.
Runde 2 — Cross-Kritik (Parallel)
Jeder Panelist erhält die anderen Panelisten-Antworten. Sie müssen bestimmte Behauptungen mit Quellenangaben angreifen – sachliche Fehler, schwache Beweise, logische Sprünge, übersehene Alternativen oder implizite Annahmen. Überprüfbare Behauptungen werden durch Reproduktion widerlegt (Code ausführen, Werte neu berechnen, Quellen prüfen). Aufblähen von Zustimmung, Zusammenfassungen oder Lob ist verboten. Sowohl Zugeständnisse als auch Angriffe erfordern Begründungen.
Runde 3 — Abschließende Ansichten (Parallel)
Jeder Panelist erhält die Kritik gegen sich. Sie müssen gültigen Angriffen zustimmen (mit Begründung, nicht aus Höflichkeit), überlebende Behauptungen mit Begründung verteidigen und verbleibende Unsicherheiten sowie kalibrierte Konfidenz und Falsifikationsbedingungen angeben. Vollständige Konversion ohne Begründung ist ein Zeichen für Unterwürfigkeit, daher wird die Grundlage für die Konversion vor der Annahme hinterfragt.
Synthese — Integration durch den Moderator
Die endgültige Ausgabe besteht aus drei Teilen: Übereinstimmungspunkte / Konfliktpunkte / Fazit.
- Übereinstimmungspunkte — Begleitet vom stärksten einzelnen unterstützenden Argument, unter Angabe, ob die Konvergenz starke Evidenz (heterogenes Panel) oder schwache Evidenz (homogenes Panel, potenziell geteilte blinde Flecken) darstellt.
- Konfliktpunkte — Geschrieben als „Wer, Was, mit Welcher Evidenz" + die Entscheidung des Moderators, gewichtet nach der Stärke der Evidenz. Wenn eine Seite reproduzierbare Evidenz und die andere Intuition hat, wird eine Entscheidung getroffen. Beide Seiten gleich darzustellen, ist keine Neutralität, sondern falsche Ausgewogenheit.
- Fazit — Beinhaltet Konfidenzniveaus, Bedingungen, die das Fazit ändern könnten, erhaltenswerte Minderheitsmeinungen und einen Prüfpfad der akzeptierten/zurückgewiesenen Kritiken.
Drei Invarianten, die während des gesamten Prozesses aufrechterhalten werden müssen
Invariante | Inhalt |
|---|---|
Unabhängigkeit | Antworten in Runde 1 müssen blind generiert werden. Panelisten, die die Antworten anderer sehen, werden verankert und sind keine unabhängigen Stichproben mehr. |
Adversarialität | Zustimmung ohne neue Argumente ist ein Rundendurchfall. Erzwingen Sie die Anweisung: „Widersprechen Sie mindestens einer zentralen Behauptung; finden Sie sie." |
Keine Mittelwertbildung | Synthese ist keine Mittelwertbildung. Konflikte werden bewahrt und geschlichtet. In dem Moment, in dem Sie addieren und durch zwei teilen, verschwindet das vom Panel erzeugte Signal. |
Entsprechung mit GANs
Die Designabsicht, „adversariale Generierung in die Inferenz zu portieren", kann wie folgt abgebildet werden. Entscheidend ist, dass die Fehlermodi auf der Panelseite sauber mit bekannten GAN-Fehlermodi korrespondieren.
GAN (Training) | adversarial-panel (Inferenz) |
|---|---|
Generator | Unabhängige Antworten der Panelisten (Runde 1) |
Diskriminator | Die angreifende Seite der Cross-Kritik (Runde 2) |
Gradienten-Updates | Kritik in natürlicher Sprache und begründete Zugeständnisse/Verteidigungen (Runde 3) |
Minimax-Gleichgewicht | Synthese des Moderators mit Schlichtung (Synthese) |
Diskriminator-Vorteil | Verifikationsasymmetrie – einfacher zu erkennen als zu erzeugen |
Keine Gewichtsteilung | Trennung der Modellfamilien – Dekorrelation von Fehlern |
Mode Collapse | Unterwürfige Konvergenz (gegenseitige Zustimmung) |
Fehlermodi und Gegenmaßnahmen – Alle in der Produktion beobachtet
Diese Sammlung von Skill-Antipatterns ist keine Liste theoretischer Bedenken, sondern ein Katalog tatsächlich angetroffener Minen.
- Gespenster-Panelist Statuszeilen oder Fehlerausgaben mischen sich als Antworten in das Protokoll, sodass alle nachfolgenden Runden gegen Luft argumentieren. → Gegenmaßnahme: Verifikationsgate unmittelbar nach Runde 1. Erzwingen Sie die Ausführung im Vordergrund für externe CLIs und verbieten Sie Wrapper, die vor Abschluss zurückkehren.
- Unterwürfige Konvergenz Alle stimmen in Runde 2 zu, ohne neue Argumente. Äquivalent zu Mode Collapse in GANs. → Gegenmaßnahme: Fügen Sie „Sie widersprechen mindestens einer zentralen Behauptung. Finden Sie sie." zum Kritik-Prompt hinzu.
- Moderatorübernahme Der Moderator lässt das Panel seine eigenen vorherigen Meinungen äußern und wäscht sie durch die Autorität des Konsenses. → Gegenmaßnahme: Moderatoransichten müssen mit Labels getrennt werden.
- Konfidenztheater Numerische Konfidenz ohne Falsifikationsbedingungen. „80% Konfidenz" ist bedeutungslos, wenn Sie nicht sagen können, welche Beobachtung Sie dazu bringen würde, sie zurückzuziehen. → Gegenmaßnahme: Behandeln Sie Konfidenz ohne Falsifikationsbedingungen als fehlend.
- Vielfaltsillusion Behandlung verschiedener Rollen desselben Modells als unabhängige Prüfer. Der Rollenname „Red Team" dekorreliert keine Fehler – nur verschiedene Modelle, verschiedene Methoden oder die tatsächliche Reproduktion von Behauptungen schaffen Dekorrelation. → Gegenmaßnahme: Degradieren Sie Konvergenz in homogenen Panels explizit als schwache Evidenz.
Anwendungsfälle und wie man es aufruft
Der Skill selbst ist auf makinux/adversarial-panel veröffentlicht. Durch Platzieren in Claude Code als ~/.claude/skills/adversarial-panel/SKILL.md wird er durch explizite Aufrufe oder natürliche Sprache wie ausgelöst:
„Lass Opus und Codex einen adversarialen Review dieses Designs durchführen." „Wirklich? Lass sie diskutieren, um sicherzugehen." / „red-team this" / „Ich möchte eine zweite Meinung." Er wird auch aktiv ein Kandidat für die Auslösung, wenn Sie bei wichtigen Punkten mit „bist du sicher?" nach Sicherheit fragen.
Er eignet sich für wichtige Anfragen, die entweder strittig oder überprüfbar sind. Architekturauswahl, Ursachenhypothesen für Fehler, technische Vorhersagen oder die Verifizierung von Forschungsergebnissen. Umgekehrt ist es eine Verschwendung von Kosten, ihn für wenig kritische Anfragen zu öffnen, was Runde 0 (Triage) herausfiltert. Die Kosten sind proportional zur Anzahl der Panelisten × Runden; 2×3 ist der Standard für den täglichen Gebrauch, Erweiterung auf 3–4 für kritische Momente.
Die Degradierung für schlechte Umgebungen ist ebenfalls definiert:
- Kein Unter-Agenten-Mechanismus → Ersatz durch separate Abschnitte in sequentieller Ausführung (schwach, da Gewichte und Kontext geteilt werden – in der Synthese vermerkt).
- Nur eine einzige Familie verfügbar → Rückfall auf methodische Verzweigung (3. Stufe) und Degradierung der Evidenzkraft der Konvergenz.
- Externe CLI schlägt zweimal fehl → Entfernen Sie diesen Panelisten, fahren Sie fort und legen Sie offen.
Melden Sie, welche Stufe tatsächlich gelaufen ist, basierend auf Messung, nicht auf Absicht – das ist der Schlüssel zur Prüfbarkeit.
Fazit: Von der Inferenz zum Training
Als ich 2023 vorhersagte, dass „adversariale Generierung der nächste Schritt für LLMs ist", hatte ich ein GAN-ähnliches Trainingsschema im Sinn.
https://x.com/wayama_ryousuke/status/1658698942161510400
Als ich die Antwort drei Jahre später überprüfte, wurden adversariale Strukturen zuerst in der Inferenz (Kritik in natürlicher Sprache) praktikabel, nicht im Training (Gradienten). Kritik-spezifische Modelle wie CriticGPT, Multi-Agenten-Debatten-Forschung und Cross-Review-Operationen beim Codieren – die Branche konvergiert aus verschiedenen Richtungen zur gleichen Struktur.
Die nächste Stufe ist wahrscheinlich die Reintegration. Während die Ergebnisse der Inferenz-Überprüfung derzeit wegwerfbar sind, ermöglicht die Umwandlung von Kritiken in RL-Belohnungssignale (der RLAIF-Weg), dass adversariale Ergebnisse in den Gewichten akkumuliert werden – eine Rückkehr zu dem, was GANs ursprünglich taten. Wenn wir den Punkt erreichen, „das nächste Modell mit den Ergebnissen adversarialer Überprüfungen zu trainieren", wird dieser Skill ein Prototyp einer Übergangsphase gewesen sein. Bis dahin lohnt es sich, Modelle gegeneinander antreten zu lassen, bevor man auf eine einmalige Antwort setzt.
Dieser Artikel ist eine Design-Erklärung für den Claude Code Skill adversarial-panel (SKILL.md). Konzept: [@wayama_ryousuke](https://x.com/@wayama_ryousuke) (Inspiriert von GANs, Design gemeinsam mit Claude Fable 5 entwickelt). Diagramme folgen den Konventionen von Executor/Advisor-Agent-Konfigurationen.
