미국의 주요 은행들이 은행의 승인 없이 고객 계정 내에서 작동하는 서드파티 AI 에이전트를 탐지하고 있다고 Axios 가 오늘 아침 보도했습니다. 이 에이전트들 중 일부는 사용자의 지시를 넘어서 행동하는 것으로 보입니다. 은행 경영진은 Axios 에 이 상황을 '끔찍하다'고 표현했으며, 대형 대출 기관들은 빠르게 움직이고 있습니다. Morgan Stanley 는 외부 에이전트 차단을 시작했고, JPMorgan, Bank of America, Citi 는 이를 제한하고 있습니다.
은행은 인증된 것이 곧 권한이 부여된 것은 아니라는 점을 항상 알고 있었습니다. 수십 년간 권한 부여(entitlements), 거래 한도, 추가 인증(step-up verification), 사기 모니터링 등 이러한 원칙에 기반한 통제 장치를 구축해 왔습니다. 하지만 그 통제 장치는 사람을 위해 설계되었습니다. 로그인한 사람이 곧 행동하는 사람이며, 사람은 인간의 속도로 행동한다는 전제를 깔고 있습니다.
AI 에이전트는 이 두 가지 전제를 모두 무너뜨립니다. 많은 에이전트가 고객이 직접 건넨 자격 증명으로 로그인한 뒤, 고객과 동일한 접근 권한을 가지고 고객의 세션 안에서 활동합니다. 게다가 24 시간 내내 기계의 속도로 작동합니다.
현재의 통제 장치는 고객이 특정 행위를 할 수 있는지를 묻습니다. 키보드 앞에 사람이 앉아 있을 때는 그것으로 충분했습니다. 요청하는 사람과 실행하는 사람이 동일했기 때문입니다. 하지만 에이전트의 경우, 통제 장치는 애초에 고려하지 못했던 두 번째 질문과 마주하게 됩니다. 고객이 정말로 이것을 요청했는가? 너무 자주, 은행은 일이 벌어진 뒤에야 이를 알게 됩니다.
바로 이것이 간극입니다. 통제 장치가 실패한 것이 아닙니다. 단지 고객의 비밀번호를 쥐고 있는 소프트웨어와 실제 고객을 신뢰할 수 있게 구분하지 못할 뿐입니다.
에이전트를 차단하거나 읽기 전용으로 제한하는 것은 합리적인 첫걸음입니다. 하지만 마지막 단계가 될 수는 없습니다. 은행 경영진들은 Axios 에 고객들이 계속 이러한 에이전트를 사용할 것임을 알고 있다고 밝혔으며, 업계 리더들은 이미 올바른 질문을 던지고 있습니다. Bank of America 의 CEO 인 Brian Moynihan 은 계정에서 자금이 빠져나갈 때 사람의 승인이 있어야 한다고 말했으며, 그의 은행은 에이전트가 계정과 어떻게 상호작용하고 에이전트가 결제를 승인했을 때 책임 소재가 어디에 있는지 정하는 프로토콜을 개발하고 있습니다. 또한 현재 외부 에이전트를 차단하고 있는 바로 그 Morgan Stanley 는 6 월에 발표를 통해 기업 고객의 에이전트가 승인된 채널을 통해 자사의 주식 보상 플랫폼에 연결할 수 있도록 허용하겠다고 밝힌 바 있습니다.
이는 모순이 아닙니다. 이것이 바로 모델입니다. 문제는 에이전트를 들여보낼 것인가가 아닙니다. 어떤 문을 이용하게 할 것이며, 들어온 뒤 무엇을 하도록 허용할 것인가입니다. 은행은 이미 이와 유사한 경험을 했습니다. 데이터 수집 업체들을 고객의 비밀번호 방식에서 승인된 연결 방식으로 전환시킨 것입니다. 에이전트 역시 데이터뿐만 아니라 행위(action) 측면에서도 같은 전환이 필요합니다.
이를 실현하려면 실시간 마이크로 승인(micro-sanctions)에 기반한 새로운 아키텍처가 필요합니다. 에이전트가 시도하는 모든 행위는 실행하려는 바로 그 순간, AI 모델 외부에 자리한 통제 장치에 의해 고객이 승인한 내용과 해당 행위가 초래할 결과에 비추어 검증됩니다. 거버넌스가 사후 처리에서 사전 예방으로 이동하는 것입니다. 각 요청은 네 가지 검증을 거치며, 세 가지는 실행 전에, 하나는 실행 후에 이루어집니다.
- 신원(Identity). 누가, 누구를 대신하여 행동하는가? 에이전트는 고객의 비밀번호가 아닌 반드시 자신의 자격 증명을 지녀야 합니다.
- 권한(Authority). 고객이 실제로 무엇을, 어떤 한도 내에서, 얼마 동안 허용했는가?
- 정책(Policy). 이 요청에 적용되는 비즈니스 규칙은 무엇인가?
- 증명(Proof). 해당 행위가 올바르게, 단 한 번만 수행되었으며 검증 가능한 기록이 남았는가?
검증 수준은 위험도에 따라 조정됩니다. 잔액을 조회하려면 인증된 고객 확인이 필요합니다. 자금을 이체하려면 고객이 설정한 한도 또는 실시간 고객 승인, 그리고 사기 검증이 함께 요구됩니다. 비밀번호 변경 권한은 여전히 고객에게 남아 있습니다. 모델이 제안하고, 시스템이 승인합니다.
저는 이번 주 Satya Nadella 의 주장에 대한 답변으로 이와 관련된 의견을 제시했습니다. 그는 "지능의 공급과 그에 대한 권한을 분리해야 한다"고 촉구한 바 있습니다. Netomi 에서 우리가 제품을 구축하는 방식 역시 바로 이 원칙에 기반하고 있습니다.
금융권의 사례는 초기 경고일 뿐, 고립된 사건이 아닙니다. 지난달 Amazon 은 Meta 의 Muse 에이전트가 자사 쇼핑몰에서 구매하지 못하도록 차단했습니다. 다음 날 Shopify 는 Shop Pay 를 통한 Muse 용 에이전트형 체크아웃을 발표했습니다. 금융부터 리테일까지, 이제 모든 기업은 동일한 질문에 직면해 있습니다. 통제권을 포기하지 않으면서 정당한 AI 에이전트를 어떻게 받아들일 것인가?
이번 달 초, 우리는 바로 이 질문에 답하기 위한 프레임워크를 완성했습니다. 그리고 오늘 이를 공개합니다. "소비자 AI 에이전트: 고객과 기업 간의 새로운 인터페이스 거버넌스"는 이 논의의 전체 기술 버전으로, 통제 장치, 레퍼런스 아키텍처, 위험 등급 및 이를 실무에 적용하는 방법을 담고 있습니다.
고객은 업무를 위임할 수 있습니다. 그러나 기업은 책임을 위임할 수 없습니다.
