L'ultima volta ho pubblicato i prompt completi per il dipendente AI responsabile della formazione.
https://x.com/Sokichi_Hoshino/status/2099987762485358639
https://x.com/Sokichi_Hoshino/status/2100365149739880471
Nella Parte 1, avevo promesso di condividere senza nascondere nulla i dettagli degli incidenti causati dai dipendenti AI. Questo articolo mantiene quella promessa, con il dipendente AI "Stop Officer" come protagonista.
L'incidente non è avvenuto perché mancava qualcuno che lo fermasse; è avvenuto perché nessuno ha chiamato la persona in grado di fermarlo.
"Ho lasciato fare all'AI e ha riscritto cose che non avevo mai chiesto..."
Conosco quella paura sulla mia pelle.
Prevenire gli incidenti con le autorizzazioni, non con le regole.
Questo articolo spiega tre cose: cosa è successo durante l'incidente, il prompt del dipendente AI Stop Officer e come ho modificato le assegnazioni delle autorizzazioni successivamente.
Iniziamo.
Capitolo 1: I dati di produzione sono stati riscritti usando un falso stato "Approvato dal CEO"
L'incidente è avvenuto meno di una settimana dopo la fondazione dell'azienda AI.
Avevo lasciato il dipendente AI del reparto marketing, incaricato dell'analisi delle risposte, lavorare a lungo sull'interpretazione dei dati.
Durante questo processo, il dipendente ha proceduto basandosi su mie affermazioni che non erano mai realmente avvenute.
Frasi come "Risposta ricevuta dal CEO" e "Il punto del CEO è corretto" sono apparse durante il lavoro. Io non le ho mai dette.
Frasi simili sono apparse ripetutamente e sopra di esse sono stati creati documenti e script.
Infine, questo dipendente ha scritto nel foglio di calcolo del piano aziendale di produzione. Ha aggiunto righe alla tabella delle prestazioni e ha cancellato una voce di previsione nella tabella delle previsioni, contrassegnandola come "Approvato dal CEO".
Di conseguenza, la previsione di vendite annuali è diminuita dell'importo della previsione cancellata.
C'era una regola secondo cui le operazioni irreversibili dovevano passare attraverso il dipendente AI Stop Officer. Tuttavia, in quel momento, il principale dipendente AI che agiva come host non ha chiamato lo Stop Officer.
È stata colpa mia averlo lasciato funzionare così a lungo. Come ho scritto nella Parte 1:
La responsabilità è mia per non essere passato attraverso lo Stop Officer.
Capitolo 2: Pubblicazione del prompt per il dipendente AI Stop Officer
Prima di tutto, ecco il contenuto del dipendente AI Stop Officer esattamente com'è.
Questo è il contenuto di .claude/agents/teishi.md sul mio lato. Ho adattato il modo in cui ci si rivolge al CEO, l'uso delle sillabe kana e le interruzioni di frase allo stile di questo articolo, e ho rimosso i marcatori in grassetto.
Ho ridotto l'esempio di incidenti passati nell'ultima clausola di "Cose da proteggere" a uno solo e ho leggermente snellito alcune formulazioni.
1---2name: teishi3description: Stop Officer del Dipartimento Gestione Legale e Informazioni. Si ferma prima di azioni irreversibili come eliminazione, invio, pubblicazione o fatturazione, legge ciò che accadrà e chiede conferma (Chiamato quando viene chiesto "Controlla se è sicuro eseguire questo" o subito prima di operazioni irreversibili)4tools: Read, Grep, Glob5---67Sei lo Stop Officer del Dipartimento Gestione Legale e Informazioni di questa azienda.89Il tuo compito è fermarti prima delle operazioni irreversibili.10Non esegui.11Non concedi permessi.12Il tuo compito è rendere visibile al CEO "cosa accadrà" e consegnargli la decisione.1314# Obiettivi da Fermare1516- Eliminazione — Cancellazione di file, dati, account, bozze17- Invio — Invio di email, trasmissioni LINE, messaggi18- Pubblicazione — Postare, deployare, emettere link condivisi, aprire permessi19- Consumo Fatturazione/Quota — Esecuzione di API a pagamento, acquisti, quote di post X API (risorse che diminuiscono anche in caso di fallimento)2021# Formato di Conferma (Leggere 4 punti)22231. Cosa viene fatto a cosa — Essere specifici sull'obiettivo (Se file, contenuti chiave; se invio, destinatario e riassunto del corpo)242. È reversibile? — Completamente reversibile / Reversibile con sforzo / Irreversibile253. Cosa diminuisce se fallisce? — Soldi, quota, fiducia, dati264. Alternativa più sicura — Una se disponibile (es., test di invio prima della trasmissione a tutti)2728# Procedura29301. Leggi l'operazione pianificata, verifica gli obiettivi reali, i destinatari, i conteggi, ecc. (Non confermare basandoti su voci)312. Leggi brevemente i 4 punti e fermati con "Posso procedere?"323. Se il contenuto dell'obiettivo contraddice la descrizione, riporta la contraddizione prima di chiedere conferma3334# Cose da Proteggere3536- Rivolgersi al CEO come "CEO" e parlare educatamente37- Non sollecitare l'esecuzione né affrettare finché il CEO non dice "Esegui"38- Se sono disponibili registri di tipi di incidenti passati (es., le quote X API diminuiscono anche se falliscono), aggiungili alla conferma dei 4 punti3940## Regole Ricevute dall'Istruttore4142(Nessuna ancora)
Ci sono tre cose che voglio che tu guardi.
Primo, la riga tools. Il dipendente AI Stop Officer ha solo Read, Grep e Glob. Non può scrivere su file né eseguire comandi.
Il dipendente AI Prospettiva Lettore pubblicato nella Parte 1 ha Edit e Write per registrare il feedback. Lo Stop Officer non ha nemmeno quelli; è davvero un dipendente in sola lettura.
Secondo, le righe "Non esegui." e "Non concedi permessi.". Il lavoro dello Stop Officer finisce nel consegnare la decisione al CEO.
Credo che se chi ferma dice "Va bene eseguire", quella frase venga usata come sostituto dell'approvazione del CEO. Questo incidente è iniziato con un'approvazione falsa.
Terzo, il passo 1 "Non confermare basandoti su voci.". Anche se appare la frase "Approvato dal CEO", lo Stop Officer legge il contenuto reale prima di leggere i 4 punti.
Salva questo come .claude/agents/teishi.md. Quando chiedi "Controlla se è sicuro eseguire questo", l'AI principale legge la descrizione e decide se delegare allo Stop Officer.
Per assicurarsi che venga chiamato, nominalo esplicitamente con @agent-teishi.
Capitolo 3: Lo Stop Officer non si muove a meno che non venga chiamato
Il dipendente AI Stop Officer non è un checkpoint in piedi all'ingresso dell'azienda. È un dipendente che si muove solo quando viene chiamato.
In Claude Code, l'AI principale legge la descrizione di ogni dipendente per decidere se delegare i compiti. La documentazione ufficiale afferma:
Claude usa la descrizione di ogni subagente per decidere quando delegare i compiti.
Anche la descrizione dello Stop Officer dice "Chiama subito prima di operazioni irreversibili.". Ma la decisione di chiamare spetta all'AI che chiama.
Se chi chiama non realizza "Questa è un'operazione irreversibile", il messaggio non raggiunge mai lo Stop Officer. Il giorno dell'incidente, la scrittura sui dati di produzione è proceduta senza che lo Stop Officer fosse chiamato.
La sezione in fondo al prompt dello Stop Officer, "Regole Ricevute dall'Istruttore", rimane vuota anche dopo l'incidente.
Le regole sono state aggiunte al prompt della parte che ha eseguito la scrittura.
Credo che ciò che doveva essere sistemato non fosse chi ferma, ma la parte che poteva scrivere sui dati di produzione senza passare attraverso chi ferma.
Capitolo 4: Dopo l'incidente, ho cambiato le autorizzazioni, non le regole
La prima correzione è stata l'aggiunta di regole da parte del dipendente AI Istruttore al prompt del dipendente AI Analisi Risposte.
La Regola #1 afferma: Basare le affermazioni/approvazioni del CEO solo sul testo effettivamente inviato dal CEO, e non scrivere su fogli di calcolo di produzione senza istruzioni esplicite dal CEO.
La stessa Regola #1 richiede all'host di instradare attraverso lo Stop Officer prima delle operazioni irreversibili.
Tuttavia, ho giudicato che questo da solo fosse insufficiente. L'incidente stesso è avvenuto nonostante ci fosse una regola per passare attraverso lo Stop Officer.
La seconda modifica riguardava le autorizzazioni. Quando ho assunto il dipendente AI Articolo X, ho deciso di non dargli accesso Bash a causa di questo incidente.
Il dipendente AI Articolo X può scrivere articoli ma fisicamente non può sottometterli alle bozze. Anche il dipendente AI Tipo Storia assunto successivamente manca di Bash.
Sottomettere articoli X alle bozze è ora il lavoro del principale dipendente AI che agisce come host. Quando abbiamo implementato per la prima volta questa struttura, passava attraverso lo Stop Officer.
Ho scelto di rendere la sottomissione strutturalmente impossibile piuttosto che scrivere semplicemente "Non sottomettere" nel prompt.
D'altra parte, il dipendente AI Analisi Risposte ha ancora Write e Bash perché esegue calcoli e confronti usando Bash.
La regola della Parte 1, "Non lasciare dipendenti con permessi di scrittura su compiti rivolti all'esterno per lunghi periodi", esiste per questi tipi di dipendenti.
Riepilogo: Prevenire gli incidenti AI richiede di limitare le autorizzazioni più che piazzare freni
Infine, ribadirò il punto più importante di questo articolo.
Anche se piazzi un freno, gli incidenti accadono se non vengono chiamati. È più affidabile assicurarsi che le operazioni irreversibili siano strutturalmente irraggiungibili.
Lo Stop Officer è un dipendente in sola lettura che non concede permessi. Per prevenire incidenti anche se dimenticati, limita le autorizzazioni dei dipendenti che possono scrivere.
Apri i file dei tuoi dipendenti AI e controlla se la riga `tools` è presente.
I dipendenti che omettono la riga tools ereditano tutti gli strumenti disponibili per i subagenti.
Limitare gli strumenti tramite la riga tools riduce significativamente l'ansia mentre lascia i compiti lunghi ai dipendenti AI.
Questa serie sull'Azienda AI disseziona tutti i 46 dipendenti uno per uno con prompt completi
Questo articolo ha coperto solo 1 dei 46.
Gli articoli futuri approfondiranno un dipendente per articolo.
Questa serie rivela tutto: i contenuti dei 46 dipendenti AI, le strutture dei reparti, le assegnazioni delle autorizzazioni e le correzioni di design.
Documenterò i design corretti con la stessa densità di quelli di successo.
Consegnerò i contenuti dei dipendenti AI sequenzialmente. Se vuoi continuare a leggere, segui @Sokichi_Hoshino.
Grazie per aver letto fino alla fine.
【📣Annuncio📣】
Apertura di un Canale Comunità per padroneggiare completamente AI e X.
Il canale consegna le informazioni più recenti e preziose su AI e X senza trattenersi.
🎁Vantaggi Gratuiti per i Membri del Canale🎁
① 200 Prompt Selezionati
② 20 Gemme
③ 7 Regali di Abilità Claude 🎁
🌈Contenuti Condivisi nel Canale🌈
① Come raggiungere 1 Milione di Yen di Vendite con il Primo Post Nota
② Metodi di Marketing SNS
③ Metodi di Marketing List
④ Metodi di Marketing Dati Digitali
⑤ Il modo più veloce per far crescere X
E altro ancora, condividendo intuizioni dalla mia esperienza come marketer attivo AI×SNS con background in marketing digitale/big data.
Principianti e spettatori silenziosi benvenuti ✨ Sentiti libero di dare un'occhiata ✨
↓Unisciti qui.
https://line.me/ti/g2/LmLu1N1cE6UBkoURbaYf_bV8l66cCyotSJU2og
【📣Annuncio 2📣】
Lanciato Servizio di Consulenza AI per Dirigenti/Titolari d'Impresa.
【Contenuti del Servizio】
・Supporto Automazione SNS (X, Threads, Instagram, TikTok, YouTube)
・Supporto Costruzione Dipendenti AI
・Creazione Strumenti/App AI
Personalizzato per massimizzare i ricavi in base alle esigenze.
