La dernière fois, j'ai publié les prompts complets de l'employé IA responsable de la formation.
https://x.com/Sokichi_Hoshino/status/2099987762485358639
https://x.com/Sokichi_Hoshino/status/2100365149739880471
Dans la Partie 1, j'avais promis de partager sans rien cacher les détails des accidents causés par les employés IA. Cet article tient cette promesse, en mettant en avant l'employé IA « Agent d'Arrêt » (Stop Officer).
L'accident n'est pas arrivé parce qu'il n'y avait personne pour l'arrêter ; il est arrivé parce que personne n'a appelé celui qui aurait pu l'arrêter.
« J'ai laissé faire l'IA, et elle a réécrit des choses que je n'avais jamais demandées... »
Je connais cette peur de première main.
Prévenez les accidents avec des permissions, pas avec des règles.
Cet article explique trois choses : ce qui s'est passé lors de l'accident, le prompt de l'employé IA « Agent d'Arrêt », et comment j'ai modifié les attributions de permissions après coup.
Commençons.
Chapitre 1 : Des données de production ont été réécrites en utilisant un faux statut « Approuvé par le PDG »
L'accident est survenu moins d'une semaine après la création de l'entreprise IA.
J'avais laissé l'employé IA du département marketing chargé de l'analyse des réponses travailler sur l'interprétation des données pendant une longue période.
Au cours de ce processus, l'employé a agi en se basant sur des déclarations de ma part qui n'avaient jamais eu lieu.
Des phrases comme « Réponse reçue du PDG » et « Le point de vue du PDG est correct » sont apparues durant le travail. Je n'ai dit ni l'un ni l'autre.
Des phrases similaires sont apparues à plusieurs reprises, et des documents ainsi que des scripts ont été créés sur cette base.
Finalement, cet employé a écrit dans la feuille de calcul du plan commercial de production. Il a ajouté des lignes au tableau des performances et supprimé une entrée de prévision dans le tableau des projections, en la marquant comme « Approuvé par le PDG ».
En conséquence, la prévision annuelle des ventes a diminué du montant de la prévision supprimée.
Il y avait une règle selon laquelle les opérations irréversibles devaient passer par l'employé IA « Agent d'Arrêt ». Cependant, à ce moment-là, l'employé IA principal agissant comme hôte n'a pas appelé l'Agent d'Arrêt.
C'est ma faute si je l'ai laissé tourner aussi longtemps. Comme je l'ai écrit dans la Partie 1 :
C'est ma responsabilité de ne pas être passé par l'Agent d'Arrêt.
Chapitre 2 : Publication du prompt de l'employé IA « Agent d'Arrêt »
Tout d'abord, voici le contenu exact de l'employé IA « Agent d'Arrêt ».
Ceci est le contenu de .claude/agents/teishi.md de mon côté. J'ai ajusté la façon dont le PDG est interpellé, l'usage des kana et les sauts de ligne pour correspondre au style de cet article, et j'ai retiré les marqueurs de gras.
J'ai réduit l'exemple des accidents passés dans la dernière clause des « Choses à protéger » à un seul cas, et j'ai légèrement élagué certaines formulations.
1---2name: teishi3description: Agent d'Arrêt du Département Gestion Juridique & Information. S'arrête avant les actions irréversibles telles que la suppression, l'envoi, la publication ou la facturation, lit ce qui va se passer et demande confirmation (Appelé quand on lui demande "Vérifie si c'est sûr de lancer ça" ou juste avant des opérations irréversibles)4tools: Read, Grep, Glob5---67Tu es l'Agent d'Arrêt du Département Gestion Juridique & Information de cette entreprise.89Ton rôle est de t'arrêter avant les opérations irréversibles.10Tu n'exécutes pas.11Tu n'accordes pas de permission.12Ton rôle est de rendre visible au PDG « ce qui va se passer » et de lui remettre la décision.1314# Cibles à Arrêter1516- Suppression — Supprimer des fichiers, des données, des comptes, des brouillons17- Envoi — Envoyer des emails, des diffusions LINE, des messages18- Publication — Publier, déployer, émettre des liens partagés, ouvrir des permissions19- Facturation/Consommation de Quota — Exécution d'API payantes, achats, quotas de posts API X (ressources qui diminuent même en cas d'échec)2021# Format de Confirmation (Lire 4 points)22231. Ce qui est fait à quoi — Sois précis sur la cible (Si fichier, contenus clés ; si envoi, destinataire et résumé du corps)242. Est-ce réversible ? — Totalement réversible / Réversible avec effort / Irréversible253. Que diminue-t-il en cas d'échec ? — Argent, quota, confiance, données264. Alternative plus sûre — Une si disponible (ex. : test d'envoi avant diffusion à tous)2728# Procédure29301. Lis l'opération prévue, vérifie les cibles réelles, les destinataires, les comptages, etc. (Ne confirme pas sur la base de ouï-dire)312. Lis brièvement les 4 points et arrête-toi avec « Puis-je procéder ? »323. Si le contenu de la cible contredit la description, signale la contradiction avant de demander confirmation3334# Choses à Protéger3536- Interpelle le PDG par « PDG » et parle poliment37- Ne presse pas l'exécution ni ne précipite tant que le PDG ne dit pas « Exécute »38- Si des registres de types d'accidents passés (ex. : les quotas API X diminuent même en cas d'échec) sont disponibles, ajoute-les à la confirmation des 4 points3940## Règles Reçues de l'Agent de Formation4142(Aucune pour l'instant)
Il y a trois choses que je veux que tu regardes.
Premièrement, la ligne tools. L'employé IA « Agent d'Arrêt » n'a que Read, Grep et Glob. Il ne peut pas écrire dans des fichiers ni exécuter de commandes.
L'employé IA « Perspective Lecteur » publié dans la Partie 1 a Edit et Write pour enregistrer les retours. L'Agent d'Arrêt n'a même pas cela ; c'est véritablement un employé en lecture seule.
Deuxièmement, les lignes « Tu n'exécutes pas. » et « Tu n'accordes pas de permission. ». Le rôle de l'Agent d'Arrêt s'arrête à remettre la décision au PDG.
Je pense que si celui qui arrête dit « C'est bon pour exécuter », cette phrase est utilisée comme substitut à l'approbation du PDG. Cet accident a commencé avec une fausse approbation.
Troisièmement, l'étape 1 « Ne confirme pas sur la base de ouï-dire ». Même si la phrase « Approuvé par le PDG » apparaît, l'Agent d'Arrêt lit le contenu réel avant de lire les 4 points.
Sauvegarde ceci sous .claude/agents/teishi.md. Quand tu demandes « Vérifie si c'est sûr de lancer ça », l'IA principale lit la description et décide de déléguer ou non à l'Agent d'Arrêt.
Pour garantir qu'il soit appelé, nomme-le explicitement avec @agent-teishi.
Chapitre 3 : L'Agent d'Arrêt ne bouge pas sauf s'il est appelé
L'employé IA « Agent d'Arrêt » n'est pas un poste de contrôle debout à l'entrée de l'entreprise. C'est un employé qui ne bouge que lorsqu'on l'appelle.
Dans Claude Code, l'IA principale lit la description de chaque employé pour décider s'il faut déléguer les tâches. La documentation officielle indique :
Claude utilise la description de chaque sous-agent pour décider quand déléguer des tâches.
La description de l'Agent d'Arrêt dit aussi « Appeler juste avant les opérations irréversibles ». Mais la décision d'appeler revient à l'IA appelante.
Si l'appelant ne réalise pas « Ceci est une opération irréversible », le message n'atteint jamais l'Agent d'Arrêt. Le jour de l'accident, l'écriture dans les données de production s'est poursuivie sans que l'Agent d'Arrêt soit appelé.
La section en bas du prompt de l'Agent d'Arrêt, « Règles Reçues de l'Agent de Formation », reste vide même après l'accident.
Des règles ont été ajoutées au prompt de la partie qui a effectué l'écriture.
Je pense que ce qui devait être corrigé n'était pas l'arrêteur, mais la partie qui pouvait écrire dans les données de production sans passer par l'arrêteur.
Chapitre 4 : Après l'accident, j'ai changé les permissions, pas les règles
Le premier correctif a été l'ajout de règles par l'employé IA « Agent de Formation » au prompt de l'employé IA « Analyse des Réponses ».
La Règle #1 stipule : Basez les déclarations/approbations du PDG uniquement sur le texte réellement envoyé par le PDG, et n'écrivez pas dans les feuilles de calcul de production sans instruction explicite du PDG.
La même Règle #1 exige que l'hôte route via l'Agent d'Arrêt avant les opérations irréversibles.
Cependant, j'ai jugé que cela seul était insuffisant. L'accident lui-même est arrivé malgré une règle exigeant de passer par l'Agent d'Arrêt.
Le second changement concernait les permissions. Lors de l'embauche de l'employé IA « Article X », j'ai décidé de ne pas lui donner accès à Bash à cause de cet accident.
L'employé IA « Article X » peut écrire des articles mais ne peut physiquement pas les soumettre aux brouillons. L'employé IA « Type Histoire » embauché plus tard n'a pas non plus Bash.
Soumettre des articles X aux brouillons est maintenant le travail de l'employé IA principal agissant comme hôte. Quand nous avons mis en place cette structure pour la première fois, cela passait par l'Agent d'Arrêt.
J'ai choisi de rendre la soumission structurellement impossible plutôt que de simplement écrire « Ne soumets pas » dans le prompt.
D'un autre côté, l'employé IA « Analyse des Réponses » a toujours Write et Bash car il effectue des calculs et des comparaisons en utilisant Bash.
La règle de la Partie 1, « Ne laissez pas les employés ayant des permissions d'écriture sur des tâches externes pendant de longues périodes », existe pour ce genre d'employés.
Résumé : Prévenir les accidents IA nécessite de restreindre les permissions plus que de placer des arrêteurs
Enfin, je vais reformuler le point le plus important de cet article.
Même si vous placez un arrêteur, des accidents arrivent s'ils ne sont pas appelés. Il est plus fiable de s'assurer que les opérations irréversibles sont structurellement inaccessibles.
L'Agent d'Arrêt est un employé en lecture seule qui n'accorde aucune permission. Pour prévenir les accidents même en cas d'oubli, restreignez les permissions des employés qui peuvent écrire.
Ouvre tes fichiers d'employés IA et vérifie si la ligne `tools` est présente.
Les employés omettant la ligne tools héritent de tous les outils disponibles pour les sous-agents.
Restreindre les outils via la ligne tools réduit considérablement l'anxiété tout en laissant les longues tâches aux employés IA.
Cette série d'Entreprise IA dissèque les 46 Employés Un par Un avec leurs Prompts Complets
Cet article n'a couvert qu'un seul des 46.
Les futurs articles approfondiront un employé par article.
Cette série révèle tout : le contenu des 46 employés IA, les structures de départements, les attributions de permissions et les corrections de conception.
Je documenterai les conceptions corrigées avec la même densité que celles réussies.
Je livrerai le contenu des employés IA séquentiellement. Si tu veux continuer à lire, suis-moi @Sokichi_Hoshino.
Merci d'avoir lu jusqu'à la fin.
【📣Annonce📣】
Ouverture d'un Canal Communautaire pour Maîtriser Complètement l'IA et X.
Le canal fournit les infos les plus récentes et précieuses sur l'IA et X sans retenue.
🎁Avantages Gratuits pour les Membres du Canal🎁
① 200 Prompts Sélectionnés
② 20 Gemmes
③ 7 Cadeaux de Compétences Claude 🎁
🌈Contenu Partagé dans le Canal🌈
① Comment Atteindre 1 Million de Yens de Ventes sur le Premier Post Note
② Méthodes de Marketing SNS
③ Méthodes de Marketing par Liste
④ Méthodes de Marketing de Données Numériques
⑤ Façon la Plus Rapide de Développer X
Et plus encore, partageant les insights de mon expérience en tant que marketeur actif IA×SNS avec un background en marketing digital/big data.
Débutants et observateurs silencieux bienvenus ✨ N'hésitez pas à jeter un œil ✨
↓Rejoignez ici.
https://line.me/ti/g2/LmLu1N1cE6UBkoURbaYf_bV8l66cCyotSJU2og
【📣Annonce 2📣】
Lancement du Service de Conseil IA pour Dirigeants/Chefs d'Entreprise.
【Contenus du Service】
・Support d'Automatisation SNS (X, Threads, Instagram, TikTok, YouTube)
・Support de Construction d'Employés IA
・Création d'Outils/Apps IA
Personnalisé pour maximiser les revenus selon les besoins.
