ธนาคารรายใหญ่ในสหรัฐฯ กำลังตรวจพบ AI agent จากบุคคลที่สามเข้ามาทำงานภายในบัญชีของลูกค้าโดยไม่ได้รับอนุญาตจากธนาคาร Axios รายงาน เมื่อเช้านี้ โดยบาง agent ดูเหมือนจะดำเนินการเกินขอบเขตคำสั่งของผู้ใช้ ผู้บริหารธนาคารอธิบายสถานการณ์นี้กับ Axios ว่าน่าตกใจอย่างยิ่ง และสถาบันการเงินรายใหญ่ที่สุดก็กำลังเร่งจัดการ: Morgan Stanley เริ่มบล็อก agent ภายนอกแล้ว ขณะที่ JPMorgan, Bank of America และ Citi กำลังจำกัดการใช้งาน
ธนาคารรู้มาตลอดว่าการยืนยันตัวตนได้ (authenticated) ไม่ได้แปลว่าได้รับอนุญาต (authorized) พวกเขาใช้เวลาหลายทศวรรษสร้างระบบควบคุมบนหลักการนี้ ทั้งการกำหนดสิทธิ์ วงเงินธุรกรรม การยืนยันตัวตนเพิ่มเติม และการตรวจจับการทุจริต แต่ระบบควบคุมเหล่านั้นถูกออกแบบมาเพื่อ "คน" โดยตั้งสมมติฐานว่าคนที่ล็อกอินคือคนที่ลงมือทำจริง และคนย่อมกระทำสิ่งต่าง ๆ ด้วยความเร็วระดับมนุษย์
AI agent ทำลายสมมติฐานทั้งสองข้อ หลายตัวล็อกอินด้วยข้อมูลรับรองที่ลูกค้าส่งมอบให้เอง จากนั้นก็เข้าไปทำงานในเซสชันของลูกค้าด้วยสิทธิ์เข้าถึงระดับเดียวกับที่ลูกค้ามี แถมยังทำงานด้วยความเร็วระดับเครื่องจักร ตลอด 24 ชั่วโมง
ระบบควบคุมในปัจจุบันถามแค่ว่าลูกค้าได้รับอนุญาตให้ทำสิ่งนั้นหรือไม่ หากเป็นคนนั่งอยู่หน้าคีย์บอร์ด แค่นั้นก็เพียงพอ เพราะผู้ขอและผู้ลงมือทำคือคนเดียวกัน แต่เมื่อเป็น agent ระบบควบคุมต้องเผชิญคำถามที่สองที่ไม่เคยถูกออกแบบมาให้ถาม นั่นคือ ลูกค้าสั่งให้ทำสิ่งนี้จริงหรือ? บ่อยครั้งที่ธนาคารกว่าจะรู้ตัวก็หลังจากเกิดเรื่องไปแล้ว
นี่คือช่องโหว่ ระบบควบคุมไม่ได้ล้มเหลว เพียงแต่มันไม่สามารถแยกแยะได้อย่างน่าเชื่อถือว่าใครคือลูกค้า และใครคือซอฟต์แวร์ที่ถือรหัสผ่านของลูกค้าอยู่
การบล็อก agent หรือจำกัดให้เข้าถึงแบบอ่านอย่างเดียวได้ เป็นก้าวแรกที่สมเหตุสมผล แต่ไม่ควรเป็นก้าวสุดท้าย ผู้บริหารธนาคารบอกกับ Axios ว่าพวกเขารู้ดีว่าลูกค้าจะยังคงใช้ agent เหล่านี้ต่อไป และผู้นำในอุตสาหกรรมก็เริ่มตั้งคำถามที่ถูกต้องแล้ว Brian Moynihan ซีอีโอของ Bank of America กล่าวว่าควรมีมนุษย์อนุมัติก่อนที่เงินจะถูกโอนออกจากบัญชี และธนาคารของเขากำลังพัฒนาโปรโตคอลสำหรับวิธีที่ agent จะโต้ตอบกับบัญชี รวมถึงความรับผิดชอบเมื่อ agent เป็นผู้สั่งชำระเงิน และ Morgan Stanley ที่กำลังบล็อก agent ภายนอกอยู่นี้ ก็ประกาศเมื่อเดือนมิถุนายน ว่าจะอนุญาตให้ agent ของลูกค้าองค์กรเชื่อมต่อกับแพลตฟอร์มแผนหุ้นของบริษัทผ่านช่องทางที่ได้รับอนุมัติ
นั่นไม่ใช่ความขัดแย้ง แต่มันคือโมเดล คำถามไม่ได้อยู่ที่ว่าควรปล่อยให้ agent เข้ามาหรือไม่ แต่อยู่ที่ว่าพวกมันจะใช้ประตูไหน และทำอะไรได้บ้างเมื่อเข้ามาข้างใน ธนาคารเคยทำสิ่งที่คล้ายกันนี้มาแล้ว ด้วยการย้าย data aggregator ออกจากรหัสผ่านของลูกค้าไปใช้การเชื่อมต่อที่ได้รับอนุมัติแทน Agent ก็ต้องการการเปลี่ยนแปลงแบบเดียวกัน ทั้งในส่วนของการกระทำและข้อมูล
การเปลี่ยนแปลงดังกล่าวต้องใช้สถาปัตยกรรมใหม่ที่สร้างขึ้นจากการตรวจสอบและควบคุมแบบย่อยในระดับไมโครทันทีที่เกิดเหตุ ทุกการกระทำที่ agent พยายามทำจะถูกตรวจสอบ ณ วินาทีที่พยายามลงมือ โดยเทียบกับสิ่งที่ลูกค้าได้อนุญาตไว้และผลกระทบที่จะเกิดขึ้น ผ่านระบบควบคุมที่อยู่ภายนอกโมเดล AI การกำกับดูแลจึงเปลี่ยนจากการตามแก้ทีหลัง มาเป็นการป้องกันล่วงหน้า แต่ละคำขอจะต้องผ่านการทดสอบสี่ด่าน สามด่านก่อนทำงาน และอีกหนึ่งด่านหลังจากนั้น:
- ตัวตน (Identity) ใครเป็นผู้ลงมือทำ และทำในนามของใคร? Agent ควรมีข้อมูลรับรองของตัวเอง ไม่ใช่ใช้รหัสผ่านของลูกค้า
- อำนาจ (Authority) ลูกค้าอนุญาตอะไรไว้จริง ๆ ภายในขอบเขตใด และเป็นเวลานานเท่าไร?
- นโยบาย (Policy) กฎทางธุรกิจข้อใดนำมาใช้กับคำขอนี้?
- หลักฐาน (Proof) การกระทำนั้นเสร็จสมบูรณ์อย่างถูกต้อง เกิดขึ้นเพียงครั้งเดียว และมีบันทึกที่ตรวจสอบได้หรือไม่?
การตรวจสอบจะเข้มข้นขึ้นตามระดับความเสี่ยง การดูยอดเงินคงเหลือต้องการเพียงการยืนยันตัวตนลูกค้า แต่การโอนเงินต้องมีวงเงินที่ลูกค้ากำหนดไว้ หรือได้รับการอนุมัติจากลูกค้า ณ ขณะนั้น พร้อมกับการตรวจสอบการทุจริต ส่วนการเปลี่ยนรหัสผ่านต้องเป็นสิทธิ์ของลูกค้าเสมอ โมเดลเป็นผู้เสนอ ระบบเป็นผู้ให้อนุมัติ
สัปดาห์นี้ผมได้แสดงความคิดเห็นที่เกี่ยวข้องกับเรื่องนี้ เพื่อตอบกลับ Satya Nadella ผู้ที่เรียกร้องให้มีการแยก “การจัดหาความฉลาด ออกจากอำนาจในการควบคุมมัน” หลักการเดียวกันนี้คือสิ่งที่กำหนดแนวทางการพัฒนาของเราที่ Netomi
ภาคธนาคารเป็นเพียงสัญญาณเตือนภัยล่วงหน้า ไม่ใช่กรณีที่เกิดขึ้นโดดเดี่ยว เดือนที่แล้ว Amazon บล็อก Muse agent ของ Meta ไม่ให้ซื้อสินค้าบนร้านค้าของตน วันถัดมา Shopify ประกาศรองรับการชำระเงินแบบ agentic สำหรับ Muse ผ่าน Shop Pay ตั้งแต่วงการการเงินไปจนถึงค้าปลีก ทุกองค์กรกำลังเผชิญคำถามเดียวกัน: จะต้อนรับ AI agent ที่ถูกต้องตามกฎหมายอย่างไร โดยไม่ต้องยอมสูญเสียการควบคุม
เมื่อต้นเดือนนี้ เราได้จัดทำเฟรมเวิร์กเพื่อตอบคำถามนั้นโดยเฉพาะ และวันนี้เรากำลังเปิดเผยต่อสาธารณะ “Consumer AI Agents: Governing the New Interface Between Customers and Enterprises” คือฉบับเต็มเชิงเทคนิคของแนวคิดนี้ ซึ่งครอบคลุมทั้งระบบควบคุม สถาปัตยกรรมอ้างอิง ระดับความเสี่ยง และวิธีการนำไปใช้งานจริง
ลูกค้าสามารถมอบหมายงานได้ แต่องค์กรไม่สามารถมอบหมายความรับผิดชอบได้
