米国の主要銀行が、銀行の承認を得ずに顧客アカウント内で稼働するサードパーティ製 AI エージェントを検知していることが、今朝 Axios によって報じられた。これらのエージェントの一部は、ユーザーの指示を超えて動作しているようだ。銀行幹部はこの状況を Axios に対して「恐ろしい」と表現しており、大手融資機関は迅速に対応を進めている。Morgan Stanley は外部エージェントのブロックを開始し、JPMorgan、Bank of America、Citi も制限を設けている。
銀行は以前から、「認証されていること」と「権限があること」は別物だと理解してきた。その原則に基づき、エンタイトルメント、取引限度額、追加認証（ステップアップ認証）、不正監視といった統制策に何十年もかけて取り組んできた。しかし、それらの統制策は「人間」を前提に設計されている。ログインした人物が実際に操作する人物であり、人間の速度で行動するという想定だ。
AI エージェントはこの二つの前提を覆す。多くの場合、顧客自身が渡した認証情報を使ってサインインし、顧客とまったく同じアクセス権を持つセッション内で動作する。しかも、機械の速度で 24 時間休むことなく動き続ける。
現在の統制策は「顧客にその操作を行う権限があるか」を確認するものだ。キーボードの前にいるのが人間であれば、それで十分だった。要求する者と実行する者が同一人物だからだ。しかしエージェントの場合、統制策はこれまで想定していなかった第二の問いに直面する。「本当に顧客がこの操作を依頼したのか？」という点だ。あまりにも頻繁に、銀行は事後になって初めてそれに気づいている。
ここにギャップがある。統制策が機能していないわけではない。顧客本人と、顧客のパスワードを握るソフトウェアとを確実に区別できないだけなのだ。
エージェントをブロックするか、読み取り専用のアクセスに限定することは理にかなった第一歩だ。だが、そこで終わらせることはできない。銀行幹部は Axios に対し、顧客がこうしたエージェントを使い続けることを認識していると語っており、業界のリーダーたちはすでに正しい問いを立て始めている。Bank of America の CEO である Brian Moynihan は、口座からの資金移動には人間の承認が必要だと述べており、同行ではエージェントが口座とどのようにやり取りするか、またエージェントが支払いを承認した場合に誰が責任を負うかについてのプロトコルを開発中だ。そして現在、外部エージェントをブロックしている Morgan Stanley も、6 月に、法人顧客のエージェントが承認済みチャネルを通じて同社のストックプラン・プラットフォームに接続できるようにすると発表していた。
これは矛盾ではない。これこそが目指すべきモデルだ。問われているのはエージェントを受け入れるかどうかではない。どの入口を使わせるか、そして内部に入った後に何を許可するかだ。銀行は過去にもこれに近い対応を行っている。データアグリゲーターを顧客のパスワード経由から、承認済みの接続へと移行させたのだ。エージェントに対しても、データだけでなく操作においても同じ移行が必要となる。
この移行を実現するには、その場でのマイクロ認可（micro-sanctions）に基づく新しいアーキテクチャが必要になる。エージェントが試みるすべてのアクションは、実行しようとした瞬間に、顧客が承認した内容とそのアクションの影響と照らし合わせてチェックされる。このチェックは AI モデルの外側に配置された統制機構によって行われる。ガバナンスは事後から事前へと移る。各リクエストは 4 つのテストを受ける。実行前に 3 つ、実行後に 1 つだ。
- アイデンティティ。 誰が、誰の代わりに操作しているのか。エージェントは顧客のパスワードではなく、自身の認証情報を持つべきだ。
- 権限。 顧客は具体的に何を、どの範囲で、どれくらいの期間許可しているのか。
- ポリシー。 このリクエストにはどのビジネスルールが適用されるか。
- 証明。 アクションは正しく、一度だけ実行され、検証可能な記録が残っているか。
チェックの厳格さはリスクに応じて変化する。残高の確認には、認証済みの顧客であることの確認が必要だ。資金移動には、顧客が設定した限度額またはその場での顧客の承認に加え、不正チェックが必要となる。パスワードの変更は顧客自身が行うものとして残る。モデルが提案し、システムが承認するのだ。
私は今週、Satya Nadella への応答として関連する主張を行った。彼は「知性の供給」と「それに対する権限」を分離すべきだと訴えている。Netomi での開発も、同じ原則に基づいている。
金融業界の事例は早期警告であり、孤立したケースではない。先月、Amazon は Meta の Muse エージェントが自社のストアで買い物することをブロックした。その翌日、Shopify は Shop Pay を通じた Muse 向けエージェント型チェックアウトを発表した。金融から小売まで、あらゆる企業が今、同じ問いに直面している。正当な AI エージェントを受け入れつつ、コントロールを手放さないためにはどうすればよいか、ということだ。
今月初め、私たちはまさにこの問いに答えるためのフレームワークを完成させた。そして本日、それを公開する。「Consumer AI Agents: Governing the New Interface Between Customers and Enterprises（コンシューマー向け AI エージェント：顧客と企業の新たなインターフェースを統治する）」は、この主張の完全な技術版であり、統制策、参照アーキテクチャ、リスク階層、そしてそれらを実際に活用する方法を網羅している。
タスクは顧客が委任できる。しかし、説明責任を企業が委任することはできない。
