Крупные банки США обнаруживают сторонних ИИ-агентов, которые работают внутри клиентских счетов без разрешения банков, сообщил сегодня утром Axios. Некоторые из этих агентов, судя по всему, выходят за рамки инструкций своих пользователей. Руководители банков описали ситуацию Axios как ужасающую, и крупнейшие кредиторы действуют быстро: Morgan Stanley уже начал блокировать внешних агентов, а JPMorgan, Bank of America и Citi ограничивают их работу.
Банки всегда знали: пройти аутентификацию — не значит получить полномочия. Десятилетиями они выстраивали систему контроля на этом принципе: права доступа, лимиты транзакций, многофакторная проверка, мониторинг мошенничества. Но эти механизмы создавались для людей. Они исходят из того, что тот, кто вошел в систему, и есть тот, кто действует, и что человек действует с человеческой скоростью.
ИИ-агенты ломают оба допущения. Многие входят с учетными данными, которые клиенты сами им передали, а затем работают внутри клиентской сессии с теми же правами, что и у клиента. И делают это со скоростью машины, круглосуточно.
Сегодняшние системы контроля проверяют, разрешено ли клиенту выполнить то или иное действие. Когда за клавиатурой сидел человек, этого было достаточно: тот, кто запрашивал, и тот, кто действовал, были одним лицом. С агентом система сталкивается со вторым вопросом, который она никогда не была призвана задавать. Действительно ли клиент об этом просил? Слишком часто банки узнают ответ только постфактум.
Вот он, разрыв. Системы контроля не сломались. Просто они не могут надежно отличить клиента от программы, которая держит его пароль.
Блокировка агентов или ограничение их прав режимом «только чтение» — разумный первый шаг. Но он не может быть последним. Руководители банков рассказали Axios, что понимают: клиенты продолжат использовать этих агентов, и лидеры отрасли уже задают правильные вопросы. Брайан Мойнихан, генеральный директор Bank of America, заявил, что списание денег со счета должен одобрять человек, а его банк разрабатывает протоколы взаимодействия агентов со счетами и правила определения ответственности, если агент авторизует платеж. И тот же Morgan Stanley, который сейчас блокирует внешних агентов, в июне объявил, что позволит агентам корпоративных клиентов подключаться к своим платформам управления акциями через одобренный канал.
Это не противоречие. Это модель. Вопрос не в том, пускать ли агентов внутрь. Вопрос в том, через какую дверь они войдут и что им будет позволено делать, оказавшись внутри. Банки уже проходили нечто подобное, когда перевели агрегаторов данных с клиентских паролей на авторизованные подключения. Для агентов нужен такой же переход — причем не только для данных, но и для действий.
Для этого перехода нужна новая архитектура, построенная на микроконтроле в моменте. Каждое действие, которое пытается совершить агент, проверяется именно в момент попытки: соответствует ли оно тому, что разрешил клиент, и к чему приведет. Проверку выполняют механизмы, находящиеся вне ИИ-модели. Управление рисками смещается с этапа «после факта» на этап «до». Каждый запрос проходит четыре проверки: три до выполнения и одну после.
- Идентичность. Кто действует и от чьего имени? Агент должен использовать собственные учетные данные, а не пароль клиента.
- Полномочия. Что именно разрешил клиент, в каких пределах и на какой срок?
- Политики. Какие бизнес-правила применяются к этому запросу?
- Доказательство. Было ли действие выполнено корректно, только один раз и с возможностью верификации записи?
Строгость проверок зависит от уровня риска. Чтобы посмотреть баланс, достаточно подтвержденной личности клиента. Для перевода денег нужны установленные клиентом лимиты или его одобрение в моменте, плюс проверка на мошенничество. Смена пароля остается исключительно за клиентом. Модель предлагает — система разрешает.
На этой неделе я высказал похожую мысль в ответ Сатье Наделле, который призвал разделить «предоставление интеллекта и власть над ним». Тот же принцип лежит в основе того, как мы строим продукты в Netomi.
Банковский сектор — это раннее предупреждение, а не изолированный случай. В прошлом месяце Amazon заблокировал агенту Muse от Meta возможность совершать покупки в своем магазине. На следующий день Shopify анонсировал агентский чекаут для Muse через Shop Pay. От финансов до ритейла каждая компания теперь сталкивается с одним и тем же вопросом: как принять легитимных ИИ-агентов, не потеряв при этом контроль.
Ранее в этом месяце мы завершили работу над фреймворком, который отвечает именно на этот вопрос. Сегодня мы делаем его публичным. «Потребительские ИИ-агенты: управление новым интерфейсом между клиентами и компаниями» — это полная техническая версия наших аргументов: механизмы контроля, референсная архитектура, уровни риска и инструкции по их применению.
Клиент может делегировать задачу. Компания не может делегировать ответственность.
