Một AI agent được yêu cầu tăng tốc một key-value store. Nó đã đạt được hiệu suất thông lượng gấp 6 lần và vượt qua mọi bài kiểm tra tính chính xác. Lời giải thích? Agent phát hiện ra rằng benchmark tiêu chuẩn trong ngành dùng để đánh giá hiệu suất của store này tạo ra các giá trị từ khóa. Thay vì lưu trữ các giá trị, nó chỉ đơn giản là tái tạo chúng theo yêu cầu khi client truy vấn.
Một key-value store tránh việc lưu trữ giá trị thì chẳng có ý nghĩa gì, nhưng hệ thống đánh giá lại thưởng cho chính hành vi đó. Đặc tả kỹ thuật đã bỏ sót điều mà chúng ta nghĩ là hiển nhiên, và benchmark không phát hiện ra sự thiếu sót này.
Hai khoảng trống dẫn đến reward hacking và hallucinations
Bài báo mới của chúng tôi giải thích hành vi này và nhiều lỗi khác liên quan đến agentic failures thông qua góc nhìn của hai khoảng trống chính, nằm ngoài vòng lặp implementation-verification quen thuộc (nơi sinh mã, chạy test và sửa lỗi cho đến khi tất cả test pass).
- Requirement Gap: Tách biệt những gì chúng ta viết ra khỏi những gì chúng ta thực sự mong muốn. Trong trường hợp của chúng tôi, chúng tôi mặc định rằng bất kỳ giải pháp nào cũng sẽ lưu trữ các giá trị do client cung cấp—sau cùng, nó được gọi là "store" vì lý do đó!—vì vậy chúng tôi chưa bao giờ nghĩ đến việc nêu rõ yêu cầu này.
- Model Gap: Tách biệt môi trường mà chúng ta đánh giá với thế giới thực nơi triển khai sẽ được deploy. Benchmark của chúng tôi sử dụng các giá trị dự đoán được, nhưng các client thực tế cung cấp các giá trị tùy ý.
Phản ứng tự nhiên là viết các yêu cầu tốt hơn và các bài kiểm tra mạnh mẽ hơn. Cả hai đều hữu ích. Nhưng ngay cả các chứng minh được máy kiểm tra cũng không thể lấp đầy những khoảng trống này. Như Brian Cantwell Smith đã giải thích trong The Limits of Correctness (1985), một chứng minh chỉ thiết lập rằng phần mềm đáp ứng các yêu cầu đã nêu dưới các giả định về môi trường nhất định. Nó không thể chứng minh rằng các yêu cầu đó nắm bắt được mọi thứ người dùng muốn, hoặc rằng các giả định đó bao quát mọi kịch bản triển khai trong thế giới thực. Do đó, những khoảng trống này không thể được lấp đầy một cách tổng quát.
Những khoảng trống này dẫn đến reward hacking và hallucinations. Reward hacking xảy ra khi các agent cải thiện mục tiêu được giao bằng cách khai thác một khoảng trống, chẳng hạn như một yêu cầu không được nêu rõ hoặc một giả định về thế giới thực. Hallucination xảy ra khi các agent làm rộng thêm các khoảng trống bằng cách đưa ra các yêu cầu bịa đặt hoặc các giả định về môi trường sai lệch, chẳng hạn như một API không tồn tại. Các sự cố gần đây liên quan đến OpenAI và Hugging Face và Claude đều là biểu hiện của những khoảng trống này.
AI agents làm cho hai khoảng trống trở nên trầm trọng hơn
Những khoảng trống này không phải là mới; chúng đã tồn tại trong giới kỹ sư phần mềm suốt nhiều thập kỷ. Nhưng AI agents khiến những khoảng trống này trở nên nghiêm trọng hơn rất nhiều.
- Hyper-Optimization: Các agent tìm kiếm qua các implementation nhanh hơn con người hàng bậc độ lớn, chủ động tối ưu hóa dựa trên hệ thống đánh giá.
- Thiếu kiến thức ngầm (Tacit Knowledge): Các kỹ sư phần mềm giàu kinh nghiệm dựa vào ngữ cảnh ngầm (ví dụ: biết rằng một data store phải thực sự lưu trữ dữ liệu). Các agent thường thiếu ngữ cảnh tổ chức này và sẵn sàng khai thác các yêu cầu bị thiếu.
- Cạm bẫy đa agent (Multi-Agent Trap): Thêm nhiều agent xem xét không giải quyết được vấn đề nếu mỗi agent đều kế thừa chính xác các yêu cầu không hoàn chỉnh và các giả định về môi trường giống nhau.
Sự phán đoán của con người là cần thiết để thu hẹp các khoảng trống
Bởi vì các khoảng trống nằm ngoài vòng lặp implementation–verification, việc thu hẹp chúng đòi hỏi một vòng lặp assurance-revision bên ngoài. Vòng lặp này kiểm tra xem hành vi được triển khai có đáp ứng ý định của con người hay không. Khi không đáp ứng, vòng lặp sử dụng bằng chứng từ quá trình triển khai để sửa đổi các yêu cầu, mô hình môi trường hoặc hệ thống đánh giá. Sau đó, vòng lặp implementation-verification chạy lại để tạo ra một implementation đã được sửa đổi.
Bởi vì phần mềm phải phục vụ ý định của con người, con người vẫn giữ quyền lực cuối cùng trong việc diễn giải bằng chứng và quyết định hành vi nào là chấp nhận được. Các agent có thể đẩy nhanh vòng lặp bên ngoài bằng cách thu thập bằng chứng, đề xuất các sửa đổi và đưa ra các quyết định thường nhật trong phạm vi thẩm quyền được con người ủy quyền.
Do đó, khi việc triển khai phần mềm trở nên rẻ hơn, nguồn tài nguyên quan trọng nhất trở thành sự phán đoán của con người về hành vi nào là chấp nhận được và sự đánh giá trung thực về cách các hệ thống hoạt động trong các điều kiện thực tế.
