Arrêtez de vous fier aux résultats d'une génération unique ; ne tirez de conclusions qu'après avoir laissé plusieurs modèles s'affronter. Une explication de la conception de la compétence Claude Code qui transpose la structure antagoniste des GAN dans la phase d'inférence.
- Auteur : Ryousuke Wayama (@wayama_ryousuke
- Date : 2026-07-09
- Contexte : Concept inspiré des GAN (tweet de prédiction de 2023) / Conception brainstormée avec Claude Fable 5
- Dépôt : https://github.com/makinux/adversarial-panel
Contexte : Pourquoi les réponses uniques ne suffisent pas
Les réponses des LLM sont les plus dangereuses non pas quand elles sont fausses, mais quand elles sont fausses tout en étant confiantes. Un passage unique d'un seul modèle manque structurellement d'un mécanisme pour détecter cela. Même avec l'auto-critique, les angles morts pendant la génération et la critique sont corrélés car ils proviennent des mêmes poids ; de plus, il a été prouvé que les modèles possèdent un biais d'auto-préférence, évaluant leur propre production de manière élevée. En bref, « écrire et réviser soi-même » est un conflit d'intérêts dès le départ pour tout audit.
L'inspiration de cette compétence vient des GAN. L'essence d'un GAN n'est pas seulement la structure de générateurs et de discriminateurs en compétition, mais le principe sous-jacent : l'asymétrie selon laquelle détecter est plus facile que créer. Plutôt que le générateur garantisse sa propre exactitude, une assurance qualité supérieure est obtenue pour le même coût de calcul en laissant des adversaires indépendants attaquer et en ne retenant que ce qui survit. Alors que les GAN exécutaient cette boucle via des gradients, adversarial-panel l'exécute via une critique en langage naturel. Seul le support du signal a changé ; la structure du jeu reste la même.
Cependant, aligner simplement plusieurs modèles n'a aucune valeur. Ce qui fonctionne, ce sont les deux caractéristiques de conception suivantes, que la compétence est conçue intentionnellement pour créer :
- Décorrélation des Erreurs — Un évaluateur ne peut détecter un oubli du générateur que si leurs modes d'échec diffèrent. Étant donné que des panels du même modèle partagent des angles morts, un « accord unanime » est moins une preuve qu'il n'y paraît. Croiser les familles de modèles est le cœur.
- Avantage de la Vérification — Réfuter une réponse donnée est plus facile que de créer la réponse. Par conséquent, les critiques sont dirigés pour cibler les affirmations vérifiables. Pas « Je pense que c'est suspect », mais « Cela échoue sur l'entrée X » — réfuter par la reproduction, pas seulement par l'affirmation.
Architecture : Faciliteur et Membres du Panel
Il n'y a que deux types de composants. La session principale (Claude Code lui-même) agit en tant que faciliteur, gérant la progression, la vérification et l'intégration, tandis que 2 à 4 membres du panel gèrent les réponses et la critique mutuelle. Le faciliteur ne doit pas exprimer ses propres opinions par la bouche du panel (interdiction de capture du faciliteur) ; s'il ajoute une opinion, elle doit être étiquetée comme « Avis du Faciliteur ».
Figure 1 — Configuration de l'adversarial-panel. Le faciliteur distribue un briefing autonome (trait plein), et les membres du panel attaquent les réponses des autres (Critique Croisée) avant de renvoyer les réponses et les critiques au faciliteur (trait pointillé). Cette boucle s'exécute pour chaque tour.
Les membres du panel sont sélectionnés en donnant la priorité à la maximisation de l'hétérogénéité :
- Différentes Familles de Modèles — CLI externes comme Codex via Bash. Cela fournit la plus forte décorrélation des erreurs.
- Différents Modèles Claude — Via le paramètre de modèle de l'outil agent (Opus/Sonnet/Haiku).
- Même Modèle + Ramification Méthodologique Forcée — L'un argumentant à partir des premiers principes, un autre à partir des taux de base (vue externe), un autre ne cherchant que des contre-preuves, et un autre réexécutant les affirmations vérifiables. Différencier par méthode, pas seulement par personnalité.
La valeur par défaut est 2 membres du panel × 3 tours. Étant donné que le coût augmente avec le nombre de membres du panel et de tours, l'extension à 3–4 membres du panel n'est que lorsque l'utilisateur exige de la rigueur.
Protocole : 4 Tours + Synthèse
Figure 2 — Progression du Protocole. Le blanc représente les tâches du faciliteur, le violet représente les tâches des membres du panel. Une porte de vérification est insérée après le Tour 1 pour vérifier si les « réponses ont de la substance ». Pour les requêtes peu coûteuses, les Tours 2 et 3 peuvent être fusionnés en un seul.
Tour 0 — Cadrage et Jugement de Nécessité
D'abord, déterminer si un panel doit être ouvert. Pour les requêtes à faible enjeu ou les cas où la confiance est justifiée, répondre directement et ne présenter le panel que comme une option. Un panel complet n'est déclenché que pour les requêtes importantes, controversées ou vérifiables — car c'est là que la critique vaut le coût.
La défense contre le « piège du triage » est intégrée ici. Étant donné que le modèle qui doit détecter l'angle mort est celui qui opère cette porte, plus il échoue à une tâche avec confiance, moins la porte a de chances de s'ouvrir. Par conséquent, si un utilisateur demande explicitement un panel, il s'exécute indépendamment de la confiance, et pour les requêtes importantes, le jugement est basé sur l'ampleur des enjeux plutôt que sur la confiance en soi.
Ensuite, rédiger un briefing autonome. Étant donné que les sous-agents ne peuvent pas voir du tout le contexte de la conversation, le briefing doit inclure la requête, le contexte, les contraintes et le format de sortie, plus des instructions pour « séparer les faits des spéculations et attacher des niveaux de confiance et des conditions de falsification (quelles observations renverseraient ceci) aux affirmations principales ». Les conditions de falsification doivent être spécifiques et inspectables, comme « échoue sur l'entrée X » ou « contredit la source Y » ; les phrases génériques comme « si des preuves contraires apparaissent » sont traitées comme des données manquantes (théâtre de l'étalonnage).
Tour 1 — Réponses Indépendantes (Parallèle/Aveugle)
Lancer tous les membres du panel en parallèle. Il est impératif que personne ne voie les réponses des autres ; un membre du panel qui voit la réponse d'un autre s'y ancrera, brisant la prémisse d'indépendance.
Au retour, la porte de vérification : les lignes d'état ou les vidages d'erreur ne sont pas des réponses. Les inclure dans le compte-rendu ferait critiquer des fantômes par les tours suivants (le problème du membre fantôme du panel décrit plus tard). Les membres du panel en échec sont réessayés ; s'ils échouent deux fois, le niveau d'hétérogénéité est abaissé d'un cran pour continuer, et la configuration réelle du panel est divulguée à l'utilisateur.
Tour 2 — Critique Croisée (Parallèle)
Chaque membre du panel reçoit les réponses des autres membres du panel. Ils doivent attaquer des affirmations spécifiques avec des citations — erreurs factuelles, preuves faibles, sauts logiques, alternatives négligées ou hypothèses implicites. Les affirmations vérifiables sont réfutées par la reproduction (exécuter du code, recalculer des valeurs, vérifier des sources). L'inflation de l'accord, les résumés ou les éloges sont interdits. Les concessions et les attaques nécessitent des raisons.
Tour 3 — Avis Finaux (Parallèle)
Chaque membre du panel reçoit les critiques qui lui sont adressées. Ils doivent concéder aux attaques valides (avec des raisons, pas par courtoisie sociale), défendre les affirmations qui survivent avec des raisons, et indiquer les incertitudes restantes ainsi que la confiance calibrée et les conditions de falsification. La conversion totale sans raison est un indicateur de sycophantie, donc la base de la conversion est remise en question avant d'être acceptée.
Synthèse — Intégration par le Faciliteur
La sortie finale se compose de trois parties : Points d'Accord / Points de Conflit / Conclusion.
- Points d'Accord — Accompagnés de l'argument de soutien le plus fort, en précisant si la convergence est une preuve forte (panel hétérogène) ou une preuve faible (panel homogène, angles morts communs potentiels).
- Points de Conflit — Rédigés comme « Qui, Quoi, avec Quelle Preuve » + la décision du faciliteur, pondérée par la force de la preuve. Si un côté a des preuves reproductibles et l'autre de l'intuition, une décision est rendue. Présenter les deux côtés de manière égale n'est pas de la neutralité, mais un faux équilibre.
- Conclusion — Inclut les niveaux de confiance, les conditions qui pourraient changer la conclusion, les opinions minoritaires qui méritent d'être conservées, et une piste d'audit des critiques acceptées/rejetées.
Trois Invariants à Maintenir Tout au Long
Invariant | Contenu |
|---|---|
Indépendance | Les réponses du Tour 1 doivent être générées à l'aveugle. Les membres du panel qui voient les réponses des autres deviennent ancrés et ne sont plus des échantillons indépendants. |
Adversarialité | L'accord sans nouveaux arguments est un échec du tour. Forcer l'instruction : « Opposez-vous à au moins une affirmation centrale ; trouvez-la. » |
Pas de moyennage | La synthèse n'est pas un moyennage. Les conflits sont préservés et tranchés. Au moment où vous additionnez et divisez par deux, le signal généré par le panel disparaît. |
Correspondance avec les GAN
L'intention de conception de « transposer la génération antagoniste à l'inférence » peut être cartographiée comme suit. Il est essentiel que les modes d'échec du côté du panel correspondent parfaitement aux modes d'échec connus des GAN.
GAN (Entraînement) | adversarial-panel (Inférence) |
|---|---|
Générateur | Réponses indépendantes des membres du panel (Tour 1) |
Discriminateur | Le côté attaquant de la critique croisée (Tour 2) |
Mises à jour de Gradient | Critique en langage naturel et concessions/défenses motivées (Tour 3) |
Équilibre Minimax | Synthèse du faciliteur avec décision (Synthèse) |
Avantage du Discriminateur | Asymétrie de vérification — plus facile à détecter qu'à créer |
Pas de partage de poids | Séparation des familles de modèles — décorrélation des erreurs |
Effondrement du Mode | Convergence sycophante (accord mutuel) |
Modes d'Échec et Contre-mesures — Tous Observés en Production
Cette collection d'anti-modèles de compétence n'est pas une liste de préoccupations théoriques, mais un catalogue de mines terrestres réelles rencontrées.
- Membre Fantôme du Panel Les chaînes d'état ou les vidages d'erreur se mélangent au compte-rendu en tant que réponses, ce qui fait que tous les tours suivants argumentent contre du vide. → Contre-mesure : Porte de vérification immédiatement après le Tour 1. Forcer l'exécution au premier plan pour les CLI externes et interdire les wrappers qui retournent avant la fin.
- Convergence Sycophante Tout le monde est d'accord au Tour 2 sans nouveaux arguments. Équivalent à l'effondrement du mode dans les GAN. → Contre-mesure : Ajouter « Vous vous opposez à au moins une affirmation centrale. Trouvez-la » à l'invite de critique.
- Capture du Faciliteur Le faciliteur fait dire au panel ses propres opinions préexistantes, les blanchissant par l'autorité du consensus. → Contre-mesure : Les vues du faciliteur doivent être séparées avec des étiquettes.
- Théâtre de la Confiance Confiance numérique sans conditions de falsification. « 80 % de confiance » n'a pas de sens à moins que vous puissiez dire quelle observation vous ferait la retirer. → Contre-mesure : Traiter la confiance sans conditions de falsification comme manquante.
- Illusion de Diversité Traiter différentes personnalités du même modèle comme des évaluateurs indépendants. Le nom de rôle « Red Team » ne décorrèle pas les erreurs — seuls des modèles différents, des méthodologies différentes ou la reproduction réelle des affirmations créent une décorrélation. → Contre-mesure : Rétrograder explicitement la convergence dans les panels homogènes comme une preuve faible.
Cas d'Utilisation et Comment l'Invoquer
La compétence elle-même est publiée sur makinux/adversarial-panel. En la plaçant dans Claude Code en tant que ~/.claude/skills/adversarial-panel/SKILL.md, elle se déclenche via des appels explicites ou un langage naturel comme :
« Faites faire une revue contradictoire de cette conception par Opus et Codex. » « Vraiment ? Laissez-les débattre pour être sûr. » / « red-team this » / « Je veux un deuxième avis. » Elle devient également un candidat actif au déclenchement lorsque vous insistez sur des points importants avec « tu es sûr ? »
Elle est adaptée pour les requêtes importantes qui sont soit controversées, soit vérifiables. La sélection d'architecture, les hypothèses de cause racine pour les échecs, les prévisions techniques, ou la vérification des conclusions de recherche. Inversement, l'ouvrir pour des requêtes à faible enjeu est un gaspillage de coût, que le triage du Tour 0 filtre. Le coût est proportionnel au nombre de membres du panel × tours ; 2×3 est la norme pour un usage quotidien, passant à 3–4 pour les moments critiques.
La dégradation pour les environnements pauvres est également définie :
- Pas de mécanisme de sous-agent → Remplacer par des sections séparées dans l'exécution séquentielle (faible, car les poids et le contexte sont partagés — noté dans la synthèse).
- Une seule famille disponible → Revenir à la ramification méthodologique (3e niveau) et rétrograder la puissance probante de la convergence.
- La CLI externe échoue deux fois → Retirer ce membre du panel, continuer, et divulguer.
Signaler quel niveau a réellement fonctionné sur la base de la mesure, pas de l'intention — c'est la clé de l'auditabilité.
Conclusion : De l'Inférence à l'Entraînement
Quand j'ai prédit en 2023 que « la génération antagoniste est la prochaine étape pour les LLM », j'avais en tête un schéma d'entraînement de type GAN.
https://x.com/wayama_ryousuke/status/1658698942161510400
En vérifiant la réponse trois ans plus tard, les structures antagonistes ont été mises en pratique d'abord dans l'inférence (critique en langage naturel) plutôt que dans l'entraînement (gradients). Des modèles spécifiques à la critique comme CriticGPT, la recherche sur le débat multi-agents et les opérations de révision croisée dans le codage — l'industrie converge vers la même structure à partir d'entrées différentes.
La prochaine étape est probablement la réintégration. Alors que les résultats de la révision au moment de l'inférence sont actuellement jetables, convertir les critiques en signaux de récompense RL (la voie RLAIF) permet aux résultats antagonistes de s'accumuler dans les poids — revenant à ce que les GAN faisaient à l'origine. Si nous atteignons le point de « former le modèle suivant avec les résultats des revues contradictoires », cette compétence aura été un prototype d'une période de transition. D'ici là, il est bien utile de faire s'affronter les modèles avant de miser sur une réponse unique.
Cet article est une explication de la conception de la compétence Claude Code adversarial-panel (SKILL.md). Concept : [@wayama_ryousuke](https://x.com/@wayama_ryousuke) (Inspiré par les GAN, conception brainstormée avec Claude Fable 5). Les diagrammes suivent les conventions des configurations d'agent Executor/Advisor.
