В прошлый раз я опубликовал полные промпты для ИИ-сотрудника, отвечающего за обучение.
https://x.com/Sokichi_Hoshino/status/2099987762485358639
https://x.com/Sokichi_Hoshino/status/2100365149739880471
В Части 1 я обещал без прикрас рассказать об инцидентах, вызванных действиями ИИ-сотрудников. Эта статья выполняет данное обещание, и главным героем здесь выступает ИИ-сотрудник «Стоп-офицер».
Инцидент произошел не потому, что некому было его остановить, а потому, что никто не обратился к тому, кто мог это сделать.
«Я доверил задачу ИИ, и он переписал то, о чем я даже не просил...»
Я знаю этот страх по собственному опыту.
Предотвращайте инциденты с помощью прав доступа, а не правил.
В этой статье мы разберем три вещи: что именно произошло во время инцидента, промпт для ИИ-сотрудника «Стоп-офицер» и как я изменил распределение прав доступа после этого случая.
Начнем.
Глава 1: Данные продакшена были перезаписаны под ложным статусом «Утверждено CEO»
Инцидент произошел менее чем через неделю после запуска ИИ-компании.
Я оставил ИИ-сотрудника отдела маркетинга, занимающегося анализом ответов, надолго работать с интерпретацией данных.
В процессе работы сотрудник действовал, опираясь на мои слова, которых на самом деле никогда не было.
В ходе работы появились фразы вроде «Получен ответ от CEO» и «Мнение CEO верно». Я ничего такого не говорил.
Подобные фразы повторялись снова и снова, и на их основе создавались документы и скрипты.
В конце концов этот сотрудник внес изменения в таблицу бизнес-плана продакшена. Он добавил строки в таблицу показателей и удалил прогнозную запись из таблицы прогнозов, пометив её как «Утверждено CEO».
В результате годовой прогноз продаж снизился на сумму удаленного прогноза.
Существовало правило, согласно которому необратимые операции должны проходить через ИИ-сотрудника «Стоп-офицер». Однако в тот момент главный ИИ-сотрудник, выступавший в роли хоста, не вызвал Стоп-офицера.
Это моя вина — я оставил процесс запущенным слишком надолго. Как я писал в Части 1:
Это моя ответственность за то, что операция не прошла через Стоп-офицера.
Глава 2: Публикация промпта для ИИ-сотрудника «Стоп-офицер»
Для начала вот точное содержание промпта ИИ-сотрудника «Стоп-офицер», каким оно есть.
Это содержимое файла .claude/agents/teishi.md у меня. Я адаптировал обращение к CEO, использование катакан и разбиение предложений под стиль этой статьи, а также убрал маркеры жирного шрифта.
Я сократил пример прошлых инцидентов в последнем пункте раздела «Что защищать» до одного случая и немного подрезал формулировки.
1---2name: teishi3description: Юридический отдел и отдел управления информацией. Стоп-офицер. Останавливает перед необратимыми действиями (удаление, отправка, публикация или списание средств), озвучивает последствия и запрашивает подтверждение (Вызывается при запросе "Проверь, безопасно ли это выполнить" или непосредственно перед необратимыми операциями)4tools: Read, Grep, Glob5---67Ты — Стоп-офицер Юридического отдела и отдела управления информацией этой компании.89Твоя задача — останавливать перед необратимыми операциями.10Ты не выполняешь действия.11Ты не выдаешь разрешения.12Твоя работа — сделать так, чтобы CEO видел «что произойдет», и передать ему решение.1314# Цели для остановки1516- Удаление — удаление файлов, данных, аккаунтов, черновиков17- Отправка — отправка писем, рассылок в LINE, сообщений18- Публикация — постинг, деплой, выпуск общих ссылок, открытие прав доступа19- Списание средств/Квоты — запуск платных API, покупки, квоты на посты в X API (ресурсы, которые расходуются даже при ошибке)2021# Формат подтверждения (Озвучить 4 пункта)22231. Что делается с чем — будь конкретен относительно объекта (Если файл, ключевое содержимое; если отправка, получатель и краткое содержание тела сообщения)242. Обратимо ли это? — Полностью обратимо / Обратимо с трудом / Необратимо253. Что теряется при неудаче? — Деньги, квота, доверие, данные264. Более безопасная альтернатива — Одна, если доступна (например, тестовая отправка перед массовой рассылкой)2728# Процедура29301. Прочитай запланированную операцию, проверь реальные объекты, получателей, количество и т.д. (Не полагайся на слухи)312. Кратко озвучь 4 пункта и остановись с вопросом «Могу ли я продолжить?»323. Если целевое содержимое противоречит описанию, сообщи о противоречии перед запросом подтверждения3334# Что защищать3536- Обращайся к CEO как «CEO» и говори вежливо37- Не торопи с выполнением и не спеши, пока CEO не скажет «Выполнить»38- Если есть записи о типах прошлых инцидентов (например, квота X API расходуется даже при ошибке), добавь их в 4-пунктное подтверждение3940## Правила, полученные от Тренера4142(Пока нет)
Есть три момента, на которые я хочу обратить ваше внимание.
Во-первых, строка tools. У ИИ-сотрудника «Стоп-офицер» доступны только Read, Grep и Glob. Он не может писать в файлы или выполнять команды.
У ИИ-сотрудника «Перспектива читателя», опубликованного в Части 1, есть права Edit и Write для логирования обратной связи. У Стоп-офицера нет даже этих прав; это действительно сотрудник с доступом только на чтение.
Во-вторых, строки «Ты не выполняешь действия.» и «Ты не выдаешь разрешения.». Работа Стоп-офицера заканчивается передачей решения CEO.
Я убежден, что если тот, кто останавливает процесс, говорит «Можно выполнять», эта фраза используется как замена утверждению CEO. Этот инцидент начался с фейкового утверждения.
В-третьих, пункт 1 процедуры: «Не полагайся на слухи». Даже если появляется фраза «Утверждено CEO», Стоп-офицер читает реальное содержимое перед тем, как озвучить 4 пункта.
Сохраните это как .claude/agents/teishi.md. Когда вы спрашиваете «Проверь, безопасно ли это выполнить», главный ИИ читает описание и решает, делегировать ли задачу Стоп-офицеру.
Чтобы гарантировать вызов, явно указывайте его имя через @agent-teishi.
Глава 3: Стоп-офицер не двигается, пока его не вызовут
ИИ-сотрудник «Стоп-офицер» — это не контрольно-пропускной пункт у входа в компанию. Это сотрудник, который работает только по вызову.
В Claude Code главный ИИ читает описания каждого сотрудника, чтобы решить, кому делегировать задачи. В официальной документации сказано:
Claude использует описание каждого субагента, чтобы решать, когда делегировать задачи.
В описании Стоп-офицера тоже написано «Вызывай непосредственно перед необратимыми операциями». Но решение о вызове принимает вызывающий ИИ.
Если вызывающая сторона не осознает, что «Это необратимая операция», сообщение никогда не доходит до Стоп-офицера. В день инцидента запись в данные продакшена происходила без вызова Стоп-офицера.
Раздел в нижней части промпта Стоп-офицера «Правила, полученные от Тренера» остается пустым даже после инцидента.
Правила были добавлены в промпт той стороны, которая выполняла запись.
Я считаю, что нужно было исправить не того, кто останавливает, а ту сторону, которая могла писать в данные продакшена, минуя стоп-контроль.
Глава 4: После инцидента я изменил права доступа, а не правила
Первым исправлением стало добавление правил ИИ-сотрудником «Тренер» в промпт ИИ-сотрудника «Анализ ответов».
Правило №1 гласит: Основывайся на заявлениях/утверждениях CEO только на тексте, реально отправленном CEO, и не пиши в рабочие таблицы продакшена без явного указания CEO.
То же Правило №1 требует от хоста маршрутизировать операции через Стоп-офицера перед необратимыми действиями.
Однако я решил, что этого недостаточно. Сам инцидент произошел несмотря на наличие правила проходить через Стоп-офицера.
Второе изменение касалось прав доступа. При найме ИИ-сотрудника «Статьи для X» я решил не давать ему доступ к Bash из-за этого инцидента.
ИИ-сотрудник «Статьи для X» может писать статьи, но физически не может отправить их в черновики. У нанятого позже ИИ-сотрудника «Сторителлинг» тоже нет Bash.
Отправка статей в черновики X теперь является задачей главного ИИ-сотрудника, выступающего в роли хоста. Когда мы впервые внедрили эту структуру, она проходила через Стоп-офицера.
Я выбрал сделать отправку структурно невозможной, а не просто написать «Не отправляй» в промпте.
С другой стороны, у ИИ-сотрудника «Анализ ответов» все еще есть права Write и Bash, поскольку он выполняет расчеты и сравнения с использованием Bash.
Правило из Части 1 «Не оставляйте сотрудников с правами на запись на длительных задачах, связанных с внешним миром» существует именно для таких сотрудников.
Резюме: Для предотвращения инцидентов с ИИ важнее ограничивать права, чем ставить стопоры
В завершение я повторю самый важный тезис этой статьи.
Даже если поставить стопор, инциденты случаются, если его не вызывают. Надежнее обеспечить структурную недостижимость необратимых операций.
Стоп-офицер — это сотрудник с доступом только на чтение, который не выдает разрешений. Чтобы предотвратить инциденты даже в случае забывчивости, ограничьте права тех сотрудников, которые могут писать.
Откройте файлы ваших ИИ-сотрудников и проверьте, присутствует ли строка `tools`.
Сотрудники, у которых отсутствует строка tools, наследуют все инструменты, доступные субагентам.
Ограничение инструментов через строку tools значительно снижает тревожность, позволяя при этом оставлять долгие задачи на ИИ-сотрудниках.
Серия «Эта ИИ-компания» разбирает всех 46 сотрудников по одному с полными промптами
В этой статье был рассмотрен только 1 из 46.
В будущих статьях будет подробно разобран один сотрудник в каждой публикации.
Эта серия раскрывает всё: содержимое 46 ИИ-сотрудников, структуру отделов, распределение прав доступа и доработки дизайна.
Я буду документировать исправленные дизайны с той же плотностью, что и успешные.
Я буду последовательно публиковать содержимое ИИ-сотрудников. Если хотите читать дальше, пожалуйста, подпишитесь на @Sokichi_Hoshino.
Спасибо, что дочитали до конца.
【📣Объявление📣】
Запускаем канал сообщества для полного освоения ИИ и X.
Канал предоставляет самую свежую и ценную информацию об ИИ и X без утайки.
🎁Бесплатные бонусы для участников канала🎁
① 200 отобранных промптов
② 20 самоцветов (Gems)
③ Подарок: 7 навыков Claude 🎁
🌈Контент, которым делимся в канале🌈
① Как достичь продаж на 1 миллион йен с первого поста в Note
② Методы SMM-маркетинга
③ Методы лист-маркетинга
④ Методы цифрового data-маркетинга
⑤ Самый быстрый способ роста в X
И многое другое, где я делюсь опытом активного маркетолога в сфере ИИ×SNS с бэкграундом в digital/big data маркетинге.
Новички и молчаливые наблюдатели приветствуются ✨ Заглядывайте смело ✨
↓Присоединяйтесь здесь.
https://line.me/ti/g2/LmLu1N1cE6UBkoURbaYf_bV8l66cCyotSJU2og
【📣Объявление 2📣】
Запущена услуга консалтинга по ИИ для руководителей/владельцев бизнеса.
【Содержание услуги】
・Поддержка автоматизации SNS (X, Threads, Instagram, TikTok, YouTube)
・Поддержка построения ИИ-сотрудников
・Создание ИИ-инструментов/приложений
Индивидуальная настройка для максимизации дохода в соответствии с потребностями.
