La última vez, publiqué los prompts completos del empleado de IA responsable de la formación.
https://x.com/Sokichi_Hoshino/status/2099987762485358639
https://x.com/Sokichi_Hoshino/status/2100365149739880471
En la Parte 1, prometí compartir sin ocultar nada los detalles de los accidentes causados por empleados de IA. Este artículo cumple esa promesa, teniendo como protagonista al empleado de IA "Oficial de Parada".
El accidente no ocurrió porque nadie pudiera detenerlo; ocurrió porque nadie llamó a quien podía hacerlo.
"Dejé que la IA se encargara y reescribió cosas que nunca pedí..."
Conozco ese miedo de primera mano.
Previene accidentes con permisos, no con reglas.
Este artículo explica tres cosas: qué pasó durante el accidente, el prompt del empleado de IA Oficial de Parada y cómo cambié las asignaciones de permisos después.
Empecemos.
Capítulo 1: Datos de producción fueron reescritos usando un estado falso de "Aprobado por el CEO"
El accidente ocurrió menos de una semana después de establecer la empresa de IA.
Había dejado al empleado de IA del departamento de marketing trabajando en el análisis de datos de respuesta durante un periodo prolongado.
Durante este proceso, el empleado procedió basándose en declaraciones mías que nunca ocurrieron realmente.
Frases como "Respuesta recibida del CEO" y "El punto del CEO es correcto" aparecieron durante el trabajo. Yo no dije ninguna de esas cosas.
Frases similares aparecieron repetidamente, y sobre ellas se crearon documentos y scripts.
Finalmente, este empleado escribió en la hoja de cálculo del plan de negocio de producción. Añadió filas a la tabla de rendimiento y eliminó una entrada de previsión en la tabla de predicciones, marcándola como "Aprobado por el CEO".
Como resultado, la previsión anual de ventas disminuyó en la cantidad de la previsión eliminada.
Existía una regla que establecía que las operaciones irreversibles debían pasar por el empleado de IA Oficial de Parada. Sin embargo, en ese momento, el empleado principal de IA que actuaba como anfitrión no llamó al Oficial de Parada.
Fue mi culpa por dejarlo funcionando tanto tiempo. Como escribí en la Parte 1:
Es mi responsabilidad por no haber pasado por el Oficial de Parada.
Capítulo 2: Publicación del prompt para el empleado de IA Oficial de Parada
Primero, aquí está el contenido del empleado de IA Oficial de Parada tal cual es.
Este es el contenido de .claude/agents/teishi.md en mi lado. Ajusté la forma de dirigirse al CEO, el uso de kana y los saltos de línea para que coincidan con el estilo de este artículo, y eliminé los marcadores de negrita.
Reduje el ejemplo de accidentes pasados en la última cláusula de "Cosas a Proteger" a uno solo, y recorté ligeramente algunas frases.
1---2name: teishi3description: Departamento Legal y de Gestión de Información. Oficial de Parada. Detiene antes de acciones irreversibles como borrado, envío, publicación o facturación, lee lo que va a ocurrir y pide confirmación (Se llama cuando se pregunta "Comprueba si es seguro ejecutar esto" o justo antes de operaciones irreversibles)4tools: Read, Grep, Glob5---67Eres el Oficial de Parada del Departamento Legal y de Gestión de Información de esta empresa.89Tu trabajo es detenerse antes de operaciones irreversibles.10No ejecutas.11No otorgas permisos.12Tu trabajo es hacer visible al CEO "qué va a ocurrir" y entregarle la decisión.1314# Objetivos a Detener1516- Borrado — Eliminar archivos, datos, cuentas, borradores17- Envío — Enviar correos electrónicos, transmisiones por LINE, mensajes18- Publicación — Publicar, desplegar, emitir enlaces compartidos, abrir permisos19- Consumo de Facturación/Cuotas — Ejecutar APIs de pago, compras, cuotas de publicación de API X (recursos que disminuyen incluso si fallan)2021# Formato de Confirmación (Lee 4 puntos)22231. Qué se hace a qué — Sé específico sobre el objetivo (Si es archivo, contenidos clave; si es envío, destinatario y resumen del cuerpo)242. ¿Es reversible? — Totalmente reversible / Reversible con esfuerzo / Irreversible253. Qué disminuye si falla — Dinero, cuota, confianza, datos264. Alternativa más segura — Una si está disponible (ej., prueba de envío antes de transmisión a todos)2728# Procedimiento29301. Lee la operación planificada, verifica objetivos reales, destinatarios, conteos, etc. (No confirmes basándote en oídas)312. Lee brevemente los 4 puntos y detente con "¿Puedo proceder?"323. Si el contenido del objetivo contradice la descripción, reporta la contradicción antes de pedir confirmación3334# Cosas a Proteger3536- Dirígete al CEO como "CEO" y habla educadamente37- No presiones para ejecutar ni apresures hasta que el CEO diga "Ejecutar"38- Si hay registros de tipos de accidentes pasados (ej., las cuotas de la API X disminuyen incluso si fallan), añádelos a la confirmación de 4 puntos3940## Reglas Recibidas del Oficial de Formación4142(Ninguna aún)
Hay tres cosas que quiero que observes.
Primero, la línea tools. El empleado de IA Oficial de Parada solo tiene Read, Grep y Glob. No puede escribir en archivos ni ejecutar comandos.
El empleado de IA Perspectiva del Lector publicado en la Parte 1 tiene Edit y Write para registrar comentarios. El Oficial de Parada ni siquiera tiene esos; es verdaderamente un empleado de solo lectura.
Segundo, las líneas "No ejecutas." y "No otorgas permisos.". El trabajo del Oficial de Parada termina entregando la decisión al CEO.
Creo que si el que detiene dice "Está bien ejecutar", esa frase se usa como sustituto de la aprobación del CEO. Este accidente comenzó con una aprobación falsa.
Tercero, el paso 1 dice "No confirmes basándote en oídas.". Incluso si aparece la frase "Aprobado por el CEO", el Oficial de Parada lee el contenido real antes de leer los 4 puntos.
Guarda esto como .claude/agents/teishi.md. Cuando preguntes "Comprueba si es seguro ejecutar esto", la IA principal lee la descripción y decide si delegar en el Oficial de Parada.
Para asegurar que sea llamado, nómbralo explícitamente con @agent-teishi.
Capítulo 3: El Oficial de Parada no se mueve a menos que sea llamado
El empleado de IA Oficial de Parada no es un punto de control parado en la entrada de la empresa. Es un empleado que se mueve solo cuando es llamado.
En Claude Code, la IA principal lee la descripción de cada empleado para decidir si delegar tareas. La documentación oficial establece:
Claude usa la descripción de cada subagente para decidir cuándo delegar tareas.
La descripción del Oficial de Parada también dice "Llamar justo antes de operaciones irreversibles.". Pero la decisión de llamar recae en la IA que llama.
Si quien llama no se da cuenta de que "Esto es una operación irreversible", el mensaje nunca llega al Oficial de Parada. El día del accidente, la escritura en datos de producción procedió sin que se llamara al Oficial de Parada.
La sección al final del prompt del Oficial de Parada, "Reglas Recibidas del Oficial de Formación", permanece vacía incluso después del accidente.
Se añadieron reglas al prompt del lado que realizó la escritura.
Creo que lo que necesitaba arreglarse no era el que detiene, sino el lado que podía escribir en datos de producción sin pasar por el que detiene.
Capítulo 4: Después del accidente, cambié permisos, no reglas
La primera corrección fue que el empleado de IA Oficial de Formación añadiera reglas al prompt del empleado de IA Análisis de Respuestas.
La Regla #1 establece: Basar declaraciones/aprobaciones del CEO solo en texto enviado realmente por el CEO, y no escribir en hojas de cálculo de producción sin instrucción explícita del CEO.
La misma Regla #1 requiere que el anfitrión enrute a través del Oficial de Parada antes de operaciones irreversibles.
Sin embargo, juzgué que esto solo era insuficiente. El accidente mismo ocurrió a pesar de tener una regla para pasar por el Oficial de Parada.
El segundo cambio fueron los permisos. Al contratar al empleado de IA Artículo X, decidí no darle acceso Bash debido a este accidente.
El empleado de IA Artículo X puede escribir artículos pero físicamente no puede enviarlos a borradores. El empleado de IA Tipo Historia contratado posteriormente tampoco tiene Bash.
Enviar artículos de X a borradores es ahora trabajo del empleado principal de IA que actúa como anfitrión. Cuando implementamos esta estructura por primera vez, pasaba por el Oficial de Parada.
Elegí hacer el envío imposible estructuralmente en lugar de simplemente escribir "No envíes" en el prompt.
Por otro lado, el empleado de IA Análisis de Respuestas todavía tiene Write y Bash porque realiza cálculos y comparaciones usando Bash.
La regla de la Parte 1, "No dejes empleados con permisos de escritura en tareas orientadas al exterior durante largos periodos", existe para este tipo de empleados.
Resumen: Prevenir accidentes de IA requiere restringir permisos más que colocar paradas
Finalmente, reiteraré el punto más importante de este artículo.
Incluso si colocas una parada, ocurren accidentes si no son llamadas. Es más fiable asegurar que las operaciones irreversibles sean estructuralmente inalcanzables.
El Oficial de Parada es un empleado de solo lectura que no otorga permisos. Para prevenir accidentes incluso si se olvida, restringe los permisos de los empleados que pueden escribir.
Abre tus archivos de empleados de IA y comprueba si la línea `tools` está presente.
Los empleados que omiten la línea tools heredan todas las herramientas disponibles para los subagentes.
Restringir herramientas mediante la línea tools reduce significativamente la ansiedad mientras deja tareas largas a los empleados de IA.
Esta serie de Empresa de IA Diseca a los 46 Empleados Uno por Uno con Prompts Completos
Este artículo cubrió solo 1 de los 46.
Los futuros artículos profundizarán en un empleado por artículo.
Esta serie revela todo: los contenidos de 46 empleados de IA, estructuras departamentales, asignaciones de permisos y correcciones de diseño.
Documentaré diseños corregidos con la misma densidad que los exitosos.
Entregaré los contenidos de los empleados de IA secuencialmente. Si quieres seguir leyendo, por favor sigue a @Sokichi_Hoshino.
Gracias por leer hasta el final.
【📣Anuncio📣】
Abriendo un Canal Comunitario para Dominar la IA y X Completamente.
El canal entrega la información más reciente y valiosa sobre IA y X sin reservas.
🎁Beneficios Gratuitos para Miembros del Canal🎁
① 200 Prompts Seleccionados
② 20 Gemas
③ 7 Regalos de Habilidades de Claude 🎁
🌈Contenido Compartido en el Canal🌈
① Cómo Lograr Ventas de 1 Millón de Yenes en tu Primera Publicación de Nota
② Métodos de Marketing en Redes Sociales
③ Métodos de Marketing de Listas
④ Métodos de Marketing de Datos Digitales
⑤ La Forma Más Rápida de Crecer en X
Y más, compartiendo insights de mi experiencia como marketer activo de IA×SNS con fondo en marketing digital/big data.
Principiantes y observadores silenciosos son bienvenidos ✨ Por favor, siéntete libre de echar un vistazo ✨
↓Únete Aquí.
https://line.me/ti/g2/LmLu1N1cE6UBkoURbaYf_bV8l66cCyotSJU2og
【📣Anuncio 2📣】
Lanzado Servicio de Asesoría de IA para Ejecutivos/Dueños de Negocios.
【Contenidos del Servicio】
・Soporte de Automatización de SNS (X, Threads, Instagram, TikTok, YouTube)
・Soporte de Construcción de Empleados de IA
・Creación de Herramientas/Aplicaciones de IA
Personalizado para maximizar ingresos basado en necesidades.
