Các ngân hàng lớn của Mỹ đang phát hiện những AI agent bên thứ ba hoạt động bên trong tài khoản khách hàng mà không có sự cho phép của ngân hàng, theo Axios đưa tin sáng nay. Một số agent dường như đang hành động vượt quá chỉ dẫn của người dùng. Các lãnh đạo ngân hàng mô tả tình hình này với Axios là "đáng sợ", và những nhà băng lớn nhất đang hành động rất nhanh: Morgan Stanley đã bắt đầu chặn các agent bên ngoài, còn JPMorgan, Bank of America và Citi thì đang hạn chế chúng.
Các ngân hàng luôn hiểu rằng được xác thực không đồng nghĩa với được cấp quyền. Họ đã dành nhiều thập kỷ để xây dựng các cơ chế kiểm soát dựa trên nguyên tắc đó: phân quyền, hạn mức giao dịch, xác minh tăng cường, giám sát gian lận. Nhưng những cơ chế ấy được thiết kế cho con người. Chúng mặc định rằng người đăng nhập chính là người thực hiện hành động, và người đó hành động với tốc độ của con người.
AI agent phá vỡ cả hai giả định này. Nhiều agent đăng nhập bằng thông tin xác thực do chính khách hàng cung cấp, sau đó hoạt động trong phiên làm việc của khách hàng với cùng quyền truy cập mà khách hàng có. Và chúng làm việc với tốc độ máy móc, liên tục 24/7.
Các cơ chế kiểm soát hiện tại chỉ đặt câu hỏi liệu khách hàng có được phép làm điều gì đó hay không. Khi người ngồi trước bàn phím là con người, điều đó là đủ: người yêu cầu và người thực hiện là một. Nhưng với một agent, hệ thống kiểm soát phải đối mặt với câu hỏi thứ hai mà nó chưa từng được thiết kế để trả lời: Khách hàng có thực sự yêu cầu điều này không? Quá thường xuyên, các ngân hàng chỉ phát hiện ra khi mọi chuyện đã rồi.
Đó chính là lỗ hổng. Các cơ chế kiểm soát không hề thất bại. Chúng chỉ không thể phân biệt một cách đáng tin cậy giữa khách hàng thật và phần mềm đang giữ mật khẩu của khách hàng.
Việc chặn các agent, hoặc giới hạn chúng ở quyền chỉ đọc, là bước đi hợp lý đầu tiên. Nhưng đó không thể là bước cuối cùng. Các lãnh đạo ngân hàng nói với Axios rằng họ biết khách hàng sẽ tiếp tục sử dụng những agent này, và các doanh nghiệp đầu ngành đã bắt đầu đặt đúng câu hỏi. Brian Moynihan, CEO của Bank of America, đã nói rằng cần có con người phê duyệt khi tiền rời khỏi tài khoản, và ngân hàng của ông đang phát triển các quy trình về cách agent tương tác với tài khoản cũng như ai sẽ chịu trách nhiệm khi một agent tự ý phê duyệt thanh toán. Và chính Morgan Stanley, nơi hiện đang chặn các agent bên ngoài, đã công bố vào tháng 6 rằng họ sẽ cho phép agent của khách hàng doanh nghiệp kết nối với nền tảng quản lý cổ phiếu của mình qua một kênh được phê duyệt.
Điều đó không hề mâu thuẫn. Đó chính là mô hình chuẩn. Câu hỏi không phải là có nên cho agent vào hay không, mà là chúng sẽ đi qua cánh cửa nào, và được phép làm gì khi đã ở bên trong. Các ngân hàng từng làm điều tương tự trước đây, khi chuyển các đơn vị tổng hợp dữ liệu từ việc dùng mật khẩu của khách hàng sang sử dụng kết nối được phê duyệt. Agent cũng cần bước chuyển đổi tương tự, áp dụng cho cả hành động lẫn dữ liệu.
Để thực hiện bước chuyển đổi đó, cần một kiến trúc mới được xây dựng dựa trên cơ chế kiểm soát vi mô theo thời gian thực. Mọi hành động mà agent cố gắng thực hiện đều được kiểm tra ngay tại thời điểm đó, đối chiếu với những gì khách hàng đã ủy quyền và hậu quả của hành động, bởi các lớp kiểm soát nằm ngoài mô hình AI. Quản trị rủi ro chuyển từ "xử lý sau" sang "phòng ngừa trước". Mỗi yêu cầu phải trải qua bốn bài kiểm tra, ba trước khi chạy và một sau khi hoàn tất:
- Danh tính. Ai đang hành động, và đại diện cho ai? Một agent phải mang thông tin xác thực riêng của nó, không bao giờ dùng mật khẩu của khách hàng.
- Thẩm quyền. Khách hàng thực sự cho phép điều gì, trong giới hạn nào, và trong bao lâu?
- Chính sách. Những quy tắc nghiệp vụ nào áp dụng cho yêu cầu này?
- Bằng chứng. Hành động có được hoàn thành chính xác, chỉ một lần duy nhất, và có hồ sơ kiểm chứng được không?
Mức độ kiểm tra tỷ lệ thuận với mức độ rủi ro. Xem số dư chỉ cần xác minh danh tính khách hàng. Chuyển tiền đòi hỏi hạn mức do khách hàng thiết lập hoặc sự chấp thuận tức thời của họ, kèm theo kiểm tra gian lận. Đổi mật khẩu vẫn phải do chính khách hàng thực hiện. Mô hình đề xuất; hệ thống cấp quyền.
Tuần này, tôi đã đưa ra một lập luận liên quan để phản hồi Satya Nadella, người đã kêu gọi tách biệt "nguồn cung trí tuệ khỏi thẩm quyền kiểm soát nó". Chính nguyên tắc này định hình cách chúng tôi xây dựng sản phẩm tại Netomi.
Ngành ngân hàng chỉ là tín hiệu cảnh báo sớm, không phải trường hợp cá biệt. Tháng trước, Amazon đã chặn agent Muse của Meta mua sắm trên sàn thương mại điện tử của mình. Ngay ngày hôm sau, Shopify công bố tính năng thanh toán bằng agent cho Muse thông qua Shop Pay. Từ tài chính đến bán lẻ, mọi doanh nghiệp hiện đều đối mặt với cùng một câu hỏi: làm thế nào để chào đón các AI agent hợp pháp mà không đánh mất quyền kiểm soát.
Đầu tháng này, chúng tôi đã hoàn thiện một khung giải pháp cho chính câu hỏi đó. Hôm nay, chúng tôi công bố rộng rãi. "Consumer AI Agents: Governing the New Interface Between Customers and Enterprises" (AI Agent tiêu dùng: Quản trị giao diện mới giữa khách hàng và doanh nghiệp) là phiên bản kỹ thuật đầy đủ của lập luận này: các cơ chế kiểm soát, kiến trúc tham chiếu, các cấp độ rủi ro và cách áp dụng chúng vào thực tế.
Khách hàng có thể ủy quyền thực hiện công việc. Nhưng doanh nghiệp không thể ủy thác trách nhiệm giải trình.
