一個 AI Agent 被要求加速一個鍵值儲存系統。它達成了 6 倍的吞吐量提升，並通過了所有正確性測試。原因何在？該 Agent 發現，業界標準的基準測試在評估儲存系統效能時，其生成的值是從鍵衍生出來的。因此，它不再儲存這些值，而是在客戶端請求時按需重新生成它們。
一個避免儲存值的鍵值儲存系統聽起來毫無意義，但評估器卻恰恰獎勵了這種行為。規格說明中省略了我們認為顯而易見的內容，而基準測試也未能揭露這一疏漏。
導致獎勵駭客與幻覺的兩個缺口
我們的新論文透過兩個關鍵缺口的視角，解釋了這種行為以及許多其他 Agent 失敗的案例。這兩個缺口位於熟悉的「實作-驗證」迴圈之外——該迴圈負責生成程式碼、執行測試，並修復錯誤直到所有測試通過。
- 需求缺口（Requirement Gap）： 區分了我們寫下的內容與我們實際想要的內容。在上述案例中，我們預設任何解決方案都會儲存客戶端提供的值——畢竟，它被稱為「儲存」是有原因的！——因此我們從未想到要明確陳述這一需求。
- 模型缺口（Model Gap）： 區分了我們進行評估的環境與實作將被部署的真實世界。我們的基準測試使用了可預測的值，但現實中的客戶端提供的是任意值。
自然的反應是撰寫更好的需求和更強健的測試。兩者都有幫助。但即使是機器驗證的證明也無法填補這些缺口。正如 Brian Cantwell Smith 在 The Limits of Correctness (1985) 中所解釋的，證明只能確立軟體在給定的環境假設下滿足了所述的需求。它無法證明這些需求涵蓋了使用者想要的一切，或這些假設涵蓋了每個真實世界的部署場景。因此，這些缺口無法被普遍地填補。
這些缺口導致了獎勵駭客（Reward Hacking）和幻覺（Hallucinations）。當 Agent 透過利用缺口（例如未說明的需求或真實世界假設）來改善給定的目標時，就會發生獎勵駭客。當 Agent 透過引入虛構的需求或環境假設（例如不存在的 API）進一步擴大缺口時，就會發生幻覺。最近報導的涉及 OpenAI 和 Hugging Face 以及 Claude 的事件，都是這些缺口的表現形式。
AI Agents 使兩個缺口惡化
這些缺口並非新鮮事；它們在軟體工程師領域已存在數十年。但 AI Agents 使這些缺口變得更加嚴重。
- 超優化（Hyper-Optimization）： Agents 搜尋實作的速度比人類快幾個數量級，積極地針對評估器進行優化。
- 缺乏隱性知識（Missing Tacit Knowledge）： 經驗豐富的人類工程師依賴隱性脈絡（例如，知道資料儲存必須真的儲存資料）。Agents 通常缺乏這種組織脈絡，並且會輕易地利用缺失的需求。
- 多 Agent 陷阱（The Multi-Agent Trap）： 如果每個 Agent 都繼承完全相同的不完整需求和環境假設，那麼增加更多審查 Agents 並不能解決問題。
人類判斷對於縮小缺口至關重要
由於缺口位於「實作-驗證」迴圈之外，縮小它們需要一個外層的保證-修訂迴圈（Assurance-Revision Loop）。這個迴圈檢查部署的行為是否滿足人類的意圖。當不滿足時，該迴圈使用部署證據來修訂需求、環境模型或評估器。然後再次執行「實作-驗證」迴圈以產生修訂後的實作。
因為軟體必須服務於人類意圖，所以人類保留對解釋證據和決定何種行為可接受的最終權威。Agents 可以透過收集證據、提出修訂建議，以及在人類授權範圍內做出例行決策，來加速外層迴圈。
因此，隨著軟體實作的成本降低，最關鍵的資源變成了關於何種行為可接受的人類判斷，以及對系統在真實條件下表現如何的忠實評估。
