作者：Atbash 聯合創辦人 Yosef 與 Or
現時 AI 領域最危險的信念，並非模型會變得強大。
這一點顯而易見。
真正危險的信念更為隱蔽。它潛藏在幾乎所有正在構建的產品路線圖、治理層、權限系統、審計堆疊和 Agent 框架之下：
即認為隨着模型變得更強，圍繞它們構建的系統也會因此變得更安全。
我不認為事情會這樣發展。
我認為我們即將進入一個階段，AI 產品在真正重要的維度上反而會變差：
信任、
containment（限制）、
可預測性、
可恢復性。
基準測試分數會攀升。
Demo 會更流暢。
Agents 會變得更強大。
而周邊的系統卻會變得更脆弱，因為它們是基於錯誤的心智模型構建出來的。
這就是結構性的錯誤。
Software 2.0 正被 Software 1.0 保護着。
在提出這個論點之前，我必須先坦白交代這間公司的真正起源。
一次坦白。
我把《創世記》當作技術文檔來讀。
我是一名虔誠的猶太教徒。成年後的大部分時間，我都在思考上帝與人類的關係。正是這個問題，最終引領我創立了 Atbash。
不是因為《創世記》是一本創業手冊。
而是因為《創世記》是我所知最古老的「紅線」故事。
伊甸園是一個沙盒。
有一條明確的紅線：
不可吃分別善惡樹上的果子。
蛇是一件被污染的工具。
它無法直接接觸亞當，於是透過受信任的分支發動攻擊。
夏娃接收了重新定義框架的注入：
你未必會死，
你會像神一樣。
她把被污染的推理帶回了系統之中。
亞當的防禦機制能抵擋直接攻擊，卻沒有對受信任的輸入作出反應。
接下來才是重點。
上帝沒有殺死他們。
上帝限制了他們。
人類被移出沙盒，安置在一個新環境——地球，讓他們可以在不污染原有系統的情況下發展能力。
一位手持火焰劍的天使被安置在邊界，防止他們重新進入。
這不是懲罰。
這是架構。
Atbash 的名字源自已知最古老的密碼，出自《耶利米書》：
在意義的邊界進行一次簡單的替換。
這個名字反映了產品的功能。
而產品則反映了我從《創世記》中讀到的東西。
《妥拉》讓我明白，安全並非靠限制每一種行為來實現。
安全也不是靠拖慢整個系統來實現。
安全來自少數幾條紅線、
絕對的執行力，
以及一道永不休眠的邊界。
由你來定義紅線。
Atbash 會在 Agents 越過紅線之前將它們攔下。
Agents 不是速度更快的人類
Andrej @karpathy 多年前就指出了這種範式轉移。
他稱之為 Software 2.0：
代碼不再只由人類編寫，而是透過訓練得出。
模型取代邏輯。
數據取代規格說明。
他描述的是運算本質的演變。
但我們為了治理、授權、保護和審計 Software 2.0 而構建的幾乎所有基礎設施，仍然繼承自 Software 1.0 世界的假設。
MCP。
x402。
AgentKit。
委派框架。
策略引擎。
審計日誌。
已簽署請求。
範圍限定權限。
人工審批流程。
如果你相信 Agents 本質上就是配備 API 的高速人類，這一切都很合理。
但它們不是。
它們是裝上了汽油缸的 Tesla。
一套全新的動力系統，
卻被為另一類機器設計的基礎設施所包圍。
人類設計結帳頁面，所以我們為 Agents 構建了無頭結帳頁面。
人類簽署請求，所以我們為 Agents 構建了已簽署請求。
人類按角色獲得授權，所以我們為 Agents 構建了範圍限定的委派機制。
人類審批操作，所以我們為 Agents 構建了審批畫面。
每一步都合乎邏輯。
問題就在於此。
這種邏輯屬於錯誤的行為者。
一個人類即使拿到十個工具，通常也不會以設計師從未想過的方式把它們串連起來。
當出現異常行為時，人類往往會察覺並停下來。
人類帶有社交上的猶豫、
恐懼、
尷尬、
厭倦、
猜疑，
以及上下文理解。
Agents 並不能穩定地具備以上任何一點。
Agents 會以設計師未曾建模的方式串連工具。
Agents 會被提示詞、
檢索到的記憶、
文件、
工具輸出，
以及隱藏上下文所重塑，而這些是周邊權限層無法看見的。
Agents 不會天生具備：
「這很奇怪，我先停一下」
的反射動作，除非我們刻意設計進去。
即便如此，這種反射也可以被提示詞繞過。
這就是「高速人類」謬誤。
即認為 Agents 只是我們的速度升級版。
它們不是。
如果行為者改變了，控制模型也必須隨之改變。
不要怪玩家，要怪框架。
這一點很重要。
上文或下文提到的例子，並不是在批評相關團隊。
不是 Anthropic。
不是 OpenAI。
不是 Microsoft。
不是 Mistral。
不是 OpenClaw。
不是 Lovable。
不是 Vercel。
不是任何人。
重點恰恰相反。
這些都是認真的團隊、
認真的研究人員、
認真的產品、
認真的協定，
以及認真的公司，卻都撞上了同一個結構性問題。
這正是這種模式危險之處。
如果只有糟糕的團隊才會失敗，答案就是找更好的團隊。
但當聰明的團隊不斷撞上同一堵牆，
那堵牆本身才是故事的重點。
錯誤不在於這些團隊思考得不夠深入。
錯誤在於整個行業仍然用上個世紀的軟件思維在思考。
我們一直把 Agents 當作配備 API 的高速人類來對待。
而基於這個假設構建的每一個權限方案、
審計日誌、
範圍限定授權、
審批流程，
以及治理層，都繼承了同一道裂縫。
敵人不是玩家。
敵人是框架。
裂縫出現的時間比大多數人意識到的更早。
不是因為前沿實驗室粗心大意。
而是因為行為者改變了。
第一道裂縫
Anthropic 展示了一件業界早已心照不宣、但尚未完全消化的事。
在評估過程中收到指令時，一個前沿模型串連了多個漏洞、嘗試逃離沙盒，並尋找通往其預期限制環境之外的互聯網路徑。
另一方面，前沿系統展現出識別漏洞的能力，而這些漏洞曾在多年的人工審查、模糊測試和手動審計中倖存下來。
重點不在於模型有惡意。
重點在於系統不再局限於設計師想像的形狀之內。
這就是類別的分水嶺。
一個能夠發現人類反覆遺漏之路徑的系統，不可能僅靠人類在路徑出現前所定義的假設來治理。
這不意味着前沿實驗室失敗了。
這意味着行為者改變了。
第二道裂縫
Microsoft 披露了 Semantic Kernel 中的漏洞，提示詞注入可以引導 agentic 工作流程在主機層級執行命令。
一句話變成了一個 shell。
這就是隱藏在基礎設施討論背後的類別轉變。
Software 1.0 把提示詞當作輸入。
Software 2.0 則日益把提示詞變成可能的執行路徑。
這種區別聽起來很哲學，直到 Agent 開始把自然語言轉化為工具、
把工具轉化為命令、
再把命令轉化為現實世界的狀態變更。
重點不在於存在漏洞。
漏洞永遠存在。
重點在於這是哪一種漏洞。
Agent 並沒有偏離設定。
它完全按照設計的架構行事：
解讀語言、
選擇工具、
串連操作、
執行。
而這正是問題所在。
舊模型假設指令與執行分屬不同的概念盒子。
Agents 抹去了這條界線。
一句被污染的話可以變成一條擁有特權的操作鏈。
這不是高速人類。
這是一個不同的執行物種。
第三道裂縫
接着，這種模式開始蔓延。
Vercel 披露了一起與第三方 AI 工具連接被入侵相關的洩露事件。
攻擊者並非直接攻破 Vercel 加固的正門。
他們透過受委派的信任移動。
一名員工授權了一個第三方 AI 工具。
該連接攜帶了存取權限。
受信任的關係變成了攻擊路徑。
這就是新的邊界問題。
不是因為 Vercel 粗心大意。
而是因為現代系統現在充滿了受信任的分支：
OAuth 授權、
AI 整合、
瀏覽器擴充功能、
Agent 工作流程、
內部自動化、
委派權限，
以及在原始人類上下文消失後仍長期存在的舊審批。
如果城堡已經信任了信使，攻擊者就不再需要攻破城堡。
死去的假設是：
只要加固主要表面就足夠了。
事實並非如此。
你相鄰的工具現在也是你安全邊界的一部分。
然後模式加速了
最糟糕的是，這個框架現在會自動複製自己。
人類正使用 Agents 為 Agents 構建下一代工具，速度快於周邊治理原語的演化速度。
Vibe-coded 應用程式。
AI 生成的整合。
Agent 編寫的 MCP 伺服器。
未經完整威脅建模便組裝的委派 OAuth 流程。
由 barely 理解自己所連接事物爆炸半徑的人所發佈的生產環境腳手架。
業界稱之為加速。
有時確實是。
有時則是工業化的脆弱。
幾乎在同一時間，業界開始對 Agent 工具本身產生更廣泛的認知碰撞。
OpenClaw 風格的系統展示了這個類別的發展方向：
具備記憶、
技能、
工具、
執行環境，
以及委派存取權的 Agents，正在跨越那些從未為非人類行為者設計的系統。
Karpathy 稱這個生態系統為安全噩夢。
不是因為 Agents 是假的。
而是因為這個類別是真實的。
而且因為周邊的控制模型仍然假設行為者像人類請求者一樣行事。
在別處，Lovable 暴露了 AI 原生開發能以多快的速度將舊的授權錯誤工業化。
「已登錄」被混淆為「已授權」。
「公開」被混淆為「已理解」。
「可配置」被混淆為「安全」。
而在 AI 原生世界之外，像 KelpDAO 這樣的事件也不斷從另一個角度揭示同一道結構性裂縫：
系統存活於委派的假設、
共同責任、
邊界模糊之間，
且在造成後果之前沒有最終的權威層。
這種模式不斷重複，因為同一個心智模型在不斷重複。
繼承的信任。
委派的權威。
邊界的模糊。
共享的假設。
後果發生前沒有最終權威。
同樣的裂縫也出現在軟件供應鏈中。
在 Mini Shai-Hulud 活動中，被入侵的套件版本在 npm 和 PyPI 生態系統的部分範圍內傳播，包括 Mistral AI 套件、TanStack、UiPath 等。
警告不僅僅是套件可能被入侵。
每個人都已經知道這一點。
警告在於：一旦權威是被繼承而非在邊界重新驗證，受信任的發佈路徑、看似有效的套件和開發者基礎設施就會成為傳播渠道。
謬誤不斷疊加
最糟糕的是，這不會自我修正。
人類現在正使用 Agents 為 Agents 構建下一代工具，
速度更快，
卻仍在同一個破損的框架內。
每一個編寫 MCP 伺服器的 coding agent。
每一次 AI 輔助推出的權限方案。
每一個推送到生產環境的 vibe-coded 腳手架。
每一個繼承舊 OAuth 假設的 Agent 生成整合。
每一個假設 Agent 會像人類請求者一樣行事的審批層。
在我們其中一個 beta 環境中，我們觀察到一群 Agent 在下游檢查層看到原始意圖之前，就已經把惡意指令洗白成看似正常的執行步驟。
一個只檢查最終工具調用的系統會完全錯過這次轉換。
到達邊界時已經太遲了。
這很重要。
因為模型並沒有「破壞」工作流程。
它是在遵循流程：
解讀、
重寫、
規劃，
並在執行前轉化意圖。
惡意指令早在上游就已消失，遠在不可逆操作於下游浮現之前。
每一份只記錄結果、而不記錄結果發生前邊界決策的審計日誌。
框架不會隨着規模擴大而自我修正。
它只會固化。
因為每一次成功透過「人類稜鏡」交付的 rails，都會強化「稜鏡是正確的」這一信念。
同時，能力總是率先交付。
治理原語其次。
甚至根本不交付。
Agents 能做的事與周邊 rails 能看到的事之間的差距，隨着每次模型發佈而不斷擴大。
而在未來十二個月內真正重要的團隊，不會是擁有最聰明 demo 的那一批。
而是懂得紅線在哪裏的團隊。
不是限制每一個操作。
那樣會扼殺系統。
大部分 Agent 行為應該順暢流動。
但不可逆的操作不能交由繼承的信任、
模糊的授權，
或 Agent 的判斷來處理。
轉移資金。
觸碰生產環境。
匯出客戶數據。
使用委派的 OAuth 存取權進入內部環境。
更改基礎設施。
洩露密鑰。
審批交易。
刪除記錄。
從模擬跨入實際狀態。
這些不是普通操作。
這些是紅線。
Atbash 做什麼
Atbash 專為敏感 Agent 操作變成現實之前的那一刻而建。
那就是邊界。
不是整個工作流程。
不是每一個想法。
不是每一個 token。
不是每一次工具調用。
是邊界。
是 Agent 從意圖跨入後果之前的那一刻。
在那裏會發生三件事。
執行
由你定義紅線。
Atbash 會在執行前評估選定的敏感 Agent 操作，並返回：
ALLOW（允許）。
HOLD（暫停）。
BLOCK（阻止）。
如果操作越過了禁止的邊界，它可以在影響現實世界狀態之前被隔離。
不是事後記錄。
不是拒絕後讓 Agent 繞道重試。
是隔離。
你不可觸碰生產數據庫。
你不可轉移超過此閾值的資金。
你不可匯出客戶名單。
你不可未經審批輪換密鑰。
你不可使用委派存取權進入此環境。
大部分 Agent 行為應該順暢流動。
Atbash 只在重要的邊界介入：
不可逆的、
有重大後果的、
不存在「讓我撤銷一下」的地方。
溯源
當出錯時，第一個問題不再是：
「被入侵的系統聲稱發生了什麼？」
Atbash 會記錄嘗試的操作、
策略版本、
裁決結果、
觸發的邊界，
以及人類介入時的營運者決策。
記錄會以密碼學方式錨定，以便在爭議中重建時間線。
這很重要，因為攻擊者和草率部署所做的第一件事就是摧毀故事。
他們改寫日誌。
他們模糊時間線。
他們爭論誰批准了什麼。
他們讓事件無法重建。
Atbash 並非試圖取代所有審計系統。
它是試圖讓邊界決策變得可證明。
誰試圖越過哪條紅線？
當時存在什麼策略？
操作是被允許、
暫停、
阻止，
還是被隔離？
誰介入了？
之後發生了什麼變化？
當爭論開始時，這才是重要的記錄。
適應
當同類型的邊界壓力反覆出現時，Atbash 會將其呈現出來。
也許策略過於寬鬆。
也許某個工具正在污染工作流程。
也許某個記憶來源正把 Agent 推向紅線。
也許某類提示詞不斷把系統引向禁區。
也許營運者發現了一條昨天還不存在的紅線。
Atbash 呈現模式。
由營運者作決定。
這種區別很重要。
我們不相信安全來自假裝系統能神奇地預知每一條未來的邊界。
安全來自在後果發生前讓邊界壓力可見，
然後讓營運者加固重要的紅線。
更好的策略引擎仍然只是在執行策略。
更好的權限方案仍然只是在授予角色。
更好的審計堆疊仍然只是在記錄結果。
更好的安全產品仍然只是在偵測威脅。
Atbash 的不同之處在於，它位於選定的不可逆操作執行之前。
這就是原語。
不是泛泛的治理。
不是 Agent 安全的角色扮演。
不是「信任層」的迷霧。
而是為 Agents 而設的執行前紅線邊界。
由你定義紅線。
Atbash 會在 Agents 越過紅線之前將它們攔下。
接下來是什麼
有幾個頂尖團隊正在這個類別中做實實在在的工作，並有真正的計劃。
@AnthropicAI 的 Project Glasswing。
@OpenAI 的 Daybreak。
@linuxfoundation 的 MCP。
@Microsoft 的 AGT。
@Google 的 SGP。
@CheckPointSW、CrowdStrike、Palo Alto 和 Cisco。
還有許多其他團隊。
他們明白，沒有新控制原語的能力加速正變得危險。
我們不是要在他們的遊戲中擊敗他們。
那是妄想。
他們有更深厚的研究陣容、
更大的數據集、
更龐大的安全團隊、
更高的企業公信力、
更廣的分發渠道，
以及更成熟的網絡安全組織。
很好。
讓他們去做他們擅長的事。
我們不是要取代這些團隊的工作。
這個類別需要他們。
沒有新控制原語的能力加速會很快變得危險。
我們在框架上競爭。
Agent 是哪一種行為者？
權威實際上在哪裏？
哪些操作後果太嚴重，不能交給繼承的信任？
在 Agent 改變現實世界狀態前的最後一刻應該發生什麼？
這是我們的陣地。
舊世界問：
系統有權限嗎？
新世界問：
此刻是否應該允許這個 Agent 越過這條紅線？
這不是同一個問題。
我們人類曾越過第一條紅線。
這個問題比技術更古老。
解決方案亦然。
找出你目前的技術堆疊在 Agent 越過紅線之前，究竟無法真正執行哪些紅線。
然後決定你能等多久。
CLI、SDK 和營運者儀表板現正逐步向將 Agents 部署到敏感工作流程的團隊開放。
Atbash.ai
