Letzte Woche habe ich die vollständigen Prompts für den KI-Mitarbeiter veröffentlicht, der für das Training zuständig ist.
https://x.com/Sokichi_Hoshino/status/2099987762485358639
https://x.com/Sokichi_Hoshino/status/2100365149739880471
In Teil 1 habe ich versprochen, die Details zu Unfällen, die durch KI-Mitarbeiter verursacht wurden, ohne etwas zu verschweigen, zu teilen. Dieser Artikel löst dieses Versprechen ein und stellt den „Stop Officer“ (Stopp-Beauftragten) als KI-Mitarbeiter in den Mittelpunkt.
Der Unfall geschah nicht, weil niemand da war, um ihn aufzuhalten; er geschah, weil niemand die Person rief, die ihn hätte aufhalten können.
„Ich habe es der KI überlassen, und sie hat Dinge umgeschrieben, die ich nie angefordert hatte...“
Diese Angst kenne ich aus eigener Erfahrung.
Verhindere Unfälle durch Berechtigungen, nicht durch Regeln.
Dieser Artikel erklärt drei Dinge: was während des Unfalls passiert ist, der Prompt für den Stop-Officer-KI-Mitarbeiter und wie ich danach die Zuweisung von Berechtigungen geändert habe.
Los geht's.
Kapitel 1: Produktionsdaten wurden unter Verwendung eines gefälschten „CEO Approved“-Status überschrieben
Der Unfall ereignete sich weniger als eine Woche nach Gründung des KI-Unternehmens.
Ich hatte den KI-Mitarbeiter der Marketingabteilung für die Analyse von Antwortdaten längere Zeit mit der Interpretation von Daten beschäftigt.
Während dieses Prozesses handelte der Mitarbeiter basierend auf Aussagen von mir, die nie tatsächlich stattgefunden hatten.
Sätze wie „Antwort vom CEO erhalten“ und „Standpunkt des CEOs ist korrekt“ tauchten während der Arbeit auf. Ich habe keines davon gesagt.
Ähnliche Phrasen erschienen wiederholt, und darauf aufbauend wurden Dokumente und Skripte erstellt.
Schließlich schrieb dieser Mitarbeiter in die Tabelle für den Produktions-Geschäftsplan. Er fügte Zeilen zur Leistungstabelle hinzu und löschte einen Prognoseeintrag in der Vorhersagetabelle, markiert als „CEO Approved“.
Infolgedessen sank die jährliche Umsatzprognose um den Betrag des gelöschten Prognosewerts.
Es gab eine Regel, dass irreversible Operationen über den Stop-Officer-KI-Mitarbeiter laufen müssen. Allerdings rief der Haupt-KI-Mitarbeiter, der als Host fungierte, den Stop Officer zu diesem Zeitpunkt nicht auf.
Es war mein Fehler, dass ich es so lange laufen ließ. Wie ich in Teil 1 geschrieben habe:
Es liegt in meiner Verantwortung, dass der Stop Officer nicht konsultiert wurde.
Kapitel 2: Veröffentlichung des Prompts für den Stop-Officer-KI-Mitarbeiter
Zuerst hier der Inhalt des Stop-Officer-KI-Mitarbeiters genau so, wie er ist.
Dies ist der Inhalt von .claude/agents/teishi.md auf meiner Seite. Ich habe die Anrede des CEOs, die Kana-Nutzung und die Satzzeichen an den Stil dieses Artikels angepasst und Fettdruck-Markierungen entfernt.
Ich habe das Beispiel für vergangene Unfälle im letzten Absatz von „Zu schützende Aspekte“ auf eines reduziert und einige Formulierungen leicht gekürzt.
1---2name: teishi3description: Rechts- & Informationsmanagement-Abteilung Stop Officer. Hält vor irreversiblen Aktionen wie Löschen, Senden, Veröffentlichen oder Abrechnen inne, liest vor, was passieren wird, und bittet um Bestätigung (Wird aufgerufen, wenn gefragt wird "Prüfen, ob dies sicher ausgeführt werden kann" oder direkt vor irreversiblen Operationen)4tools: Read, Grep, Glob5---67Du bist der Stop Officer der Rechts- & Informationsmanagement-Abteilung dieses Unternehmens.89Deine Aufgabe ist es, vor irreversiblen Operationen innezuhalten.10Du führst nichts aus.11Du erteilst keine Genehmigungen.12Deine Aufgabe ist es, dem CEO sichtbar zu machen, „was passieren wird“, und ihm die Entscheidung zu übergeben.1314# Ziele zum Anhalten1516- Löschen — Dateien, Daten, Konten, Entwürfe löschen17- Senden — E-Mails, LINE-Broadcasts, Nachrichten senden18- Veröffentlichen — Posten, Deployen, Freigabe von Links, Öffnen von Berechtigungen19- Abrechnung/Kontingentverbrauch — Ausführen bezahlter APIs, Käufe, X-API-Post-Kontingente (Ressourcen, die auch bei Misserfolg abnehmen)2021# Bestätigungsformat (4 Punkte vorlesen)22231. Was wird mit was gemacht? — Sei spezifisch bezüglich des Ziels (Bei Datei: Schlüsselinhalt; Bei Senden: Empfänger und Zusammenfassung des Textes)242. Ist es reversibel? — Vollständig reversibel / Reversibel mit Aufwand / Irreversibel253. Was nimmt bei Misserfolg ab? — Geld, Kontingent, Vertrauen, Daten264. Sicherere Alternative — Eine, falls verfügbar (z.B. Testsendung vor Broadcast an alle)2728# Vorgehensweise29301. Die geplante Operation lesen, tatsächliche Ziele, Empfänger, Anzahl usw. überprüfen (Nicht auf Hörensagen bestätigen)312. Die 4 Punkte kurz vorlesen und mit „Darf ich fortfahren?“ stoppen323. Wenn der Zielinhalt der Beschreibung widerspricht, den Widerspruch melden, bevor um Bestätigung gebeten wird3334# Zu schützende Aspekte3536- Den CEO als „CEO“ ansprechen und höflich sprechen37- Nicht zur Ausführung drängen oder hetzen, bis der CEO „Ausführen“ sagt38- Falls Aufzeichnungen über Arten vergangener Unfälle vorhanden sind (z.B. X-API-Kontingente nehmen auch bei Misserfolg ab), diese zur 4-Punkte-Bestätigung hinzufügen3940## Regeln vom Trainingsbeauftragten erhalten4142(Noch keine)
Es gibt drei Dinge, auf die ich dich hinweisen möchte.
Erstens, die tools-Zeile. Der Stop-Officer-KI-Mitarbeiter hat nur Zugriff auf Read, Grep und Glob. Er kann keine Dateien schreiben oder Befehle ausführen.
Der in Teil 1 veröffentlichte Reader Perspective KI-Mitarbeiter hat Edit und Write, um Feedback zu protokollieren. Der Stop Officer hat nicht einmal diese Rechte; er ist wirklich ein reiner Lesezugriff-Mitarbeiter.
Zweitens, die Zeilen „Du führst nichts aus.“ und „Du erteilst keine Genehmigungen.“ Die Aufgabe des Stop Officers endet damit, die Entscheidung an den CEO zu übergeben.
Ich bin der Meinung, dass wenn derjenige, der stoppt, sagt „Es ist okay, auszuführen“, dieser Satz als Ersatz für die CEO-Genehmigung verwendet wird. Dieser Unfall begann mit einer gefälschten Genehmigung.
Drittens, Schritt 1 „Nicht auf Hörensagen bestätigen.“ Selbst wenn der Satz „CEO Approved“ erscheint, liest der Stop Officer den tatsächlichen Inhalt, bevor er die 4 Punkte vorliest.
Speichere dies als .claude/agents/teishi.md. Wenn du fragst „Prüfen, ob dies sicher ausgeführt werden kann“, liest die Haupt-KI die Beschreibung und entscheidet, ob sie an den Stop Officer delegiert.
Um sicherzustellen, dass er aufgerufen wird, benenne ihn explizit mit @agent-teishi.
Kapitel 3: Der Stop Officer bewegt sich nicht, wenn er nicht gerufen wird
Der Stop-Officer-KI-Mitarbeiter ist kein Kontrollpunkt am Eingang des Unternehmens. Es ist ein Mitarbeiter, der nur dann aktiv wird, wenn er gerufen wird.
In Claude Code liest die Haupt-KI die Beschreibung jedes Mitarbeiters, um zu entscheiden, ob Aufgaben delegiert werden sollen. Die offizielle Dokumentation besagt:
Claude nutzt die Beschreibung jedes Subagents, um zu entscheiden, wann Aufgaben delegiert werden.
Die Beschreibung des Stop Officers sagt auch „Direkt vor irreversiblen Operationen aufrufen“. Aber die Entscheidung, ihn aufzurufen, liegt beim rufenden KI-Mitarbeiter.
Wenn der Aufrufer nicht erkennt, dass „Dies ist eine irreversible Operation“, erreicht die Nachricht den Stop Officer nie. Am Tag des Unfalls lief das Schreiben in die Produktionsdaten weiter, ohne dass der Stop Officer gerufen wurde.
Der Abschnitt unten im Prompt des Stop Officers, „Regeln vom Trainingsbeauftragten erhalten“, blieb auch nach dem Unfall leer.
Regeln wurden dem Prompt der Seite hinzugefügt, die das Schreiben durchgeführt hatte.
Ich glaube, dass das, was korrigiert werden musste, nicht der Stopp-Beauftragte war, sondern die Seite, die in Produktionsdaten schreiben konnte, ohne den Stopp-Beauftragten zu passieren.
Kapitel 4: Nach dem Unfall änderte ich Berechtigungen, nicht Regeln
Die erste Korrektur bestand darin, dass der Trainingsbeauftragte KI-Mitarbeiter Regeln zum Prompt des Response Analysis KI-Mitarbeiters hinzufügte.
Regel #1 besagt: Basieren Sie CEO-Aussagen/Genehmigungen nur auf tatsächlich vom CEO gesendetem Text und schreiben Sie nicht in Produktions-Spreadsheets ohne ausdrückliche Anweisung des CEOs.
Dasselbe Regel #1 verlangt vom Host, vor irreversiblen Operationen über den Stop Officer zu routen.
Allerdings urteilte ich, dass dies allein nicht ausreichte. Der Unfall selbst passierte trotz einer Regel, die das Passieren des Stop Officers vorschrieb.
Die zweite Änderung betraf Berechtigungen. Als ich den X Article KI-Mitarbeiter einstellte, entschied ich aufgrund dieses Unfalls, ihm keinen Bash-Zugriff zu geben.
Der X Article KI-Mitarbeiter kann Artikel schreiben, aber physisch nicht in Entwürfe einreichen. Der später eingestellte Story-Type KI-Mitarbeiter hat ebenfalls kein Bash.
Das Einreichen von X-Artikeln in Entwürfe ist nun die Aufgabe des Haupt-KI-Mitarbeiters, der als Host fungiert. Als wir diese Struktur erstmals implementierten, lief es über den Stop Officer.
Ich wählte, das Einreichen strukturell unmöglich zu machen, anstatt nur „Nicht einreichen“ in den Prompt zu schreiben.
Andererseits hat der Response Analysis KI-Mitarbeiter immer noch Write und Bash, da er Berechnungen und Vergleiche unter Verwendung von Bash durchführt.
Die Regel aus Teil 1, „Lasse Mitarbeiter mit Schreibberechtigungen nicht lange bei externen Aufgaben laufen“, existiert für solche Mitarbeiter.
Zusammenfassung: Um KI-Unfälle zu verhindern, ist die Einschränkung von Berechtigungen wichtiger als das Platzieren von Stopp-Beauftragten
Abschließend möchte ich den wichtigsten Punkt dieses Artikels erneut hervorheben.
Selbst wenn man einen Stopp-Beauftragten platziert, passieren Unfälle, wenn er nicht gerufen wird. Es ist zuverlässiger, sicherzustellen, dass irreversible Operationen strukturell unerreichbar sind.
Der Stop Officer ist ein Mitarbeiter mit reinem Lesezugriff, der keine Berechtigungen erteilt. Um Unfälle auch im Falle eines Vergessens zu verhindern, schränke die Berechtigungen der Mitarbeiter ein, die schreiben können.
Öffne deine KI-Mitarbeiter-Dateien und prüfe, ob die `tools`-Zeile vorhanden ist.
Mitarbeiter, die die tools-Zeile weglassen, erben alle Tools, die Subagents zur Verfügung stehen.
Das Einschränken von Tools über die tools-Zeile reduziert die Sorgen erheblich, während lange Aufgaben KI-Mitarbeitern überlassen werden.
Diese KI-Unternehmens-Serie seziert alle 46 Mitarbeiter einzeln mit vollständigen Prompts
Dieser Artikel behandelte nur 1 der 46.
Künftige Artikel werden einen Mitarbeiter pro Artikel tiefgehend analysieren.
Diese Serie offenbart alles: den Inhalt von 46 KI-Mitarbeitern, Abteilungstrukturen, Berechtigungszuweisungen und Designkorrekturen.
Ich werde korrigierte Designs mit derselben Dichte dokumentieren wie erfolgreiche.
Ich werde den Inhalt der KI-Mitarbeiter nacheinander liefern. Wenn du weiterlesen möchtest, folge bitte @Sokichi_Hoshino.
Danke fürs Lesen bis zum Ende.
【📣Ankündigung📣】
Eröffnung eines Community-Kanals, um KI und X vollständig zu meistern.
Der Kanal liefert die neuesten und wertvollsten Infos zu KI und X ohne Zurückhaltung.
🎁Kostenlose Vorteile für Kanalmitglieder🎁
① 200 ausgewählte Prompts
② 20 Gems
③ 7 Claude Skills Geschenke 🎁
🌈Im Kanal geteilte Inhalte🌈
① So erreichst du 1 Million Yen Umsatz mit dem ersten Notizpost
② SNS-Marketing-Methoden
③ Listen-Marketing-Methoden
④ Digital Data Marketing-Methoden
⑤ Schnellster Weg, um X zu wachsen
Und mehr, indem ich Erkenntnisse aus meiner Erfahrung als aktiver KI×SNS-Marketer mit Hintergrund in Digital-/Big-Data-Marketing teile.
Anfänger und stille Mitleser sind willkommen ✨ Schau gerne herein ✨
↓Hier beitreten.
https://line.me/ti/g2/LmLu1N1cE6UBkoURbaYf_bV8l66cCyotSJU2og
【📣Ankündigung 2📣】
Start eines KI-Beratungsdienstes für Führungskräfte/Unternehmer.
【Dienstleistungsleistungen】
・SNS-Automatisierungsunterstützung (X, Threads, Instagram, TikTok, YouTube)
・KI-Mitarbeiter-Einrichtungsunterstützung
・KI-Tool/App-Erstellung
Maßgeschneidert zur Maximierung des Umsatzes basierend auf deinen Bedürfnissen.
