在過去一個月裡，我打造的 coding agents 總共處理了 130 億個 token（含輸入與輸出），快取命中率高達 97.24%，實際成本約為每百萬 token R$ 0.04。
當我提到這些數字時，人們的第一反應通常是懷疑——這很正常。成本是企業放棄自主 Agent 的首要原因：試運行有效，帳單來了，專案就死了。所以這篇文章要說明這些數字是如何達成的。沒有單一訣竅，而是一套架構——每個進出 Agent 的 token 都經過壓縮、路由與計量。
這就是 Velua Code，我們正在一家新創公司 Velua AI（https://velua.aihttps://velua.ai/)）打造的 Agent。在談架構之前，先說說我們的核心理念。
核心理念：三個問題，一次解決
Coding agents 會在三個環節出問題，只解決其中一個是不夠的。
成本。 自主 Agent 消耗 token 的規模足以嚇壞任何財務長。如果每次迭代都很昂貴，沒有人會讓 Agent 持續迭代——而不迭代的 Agent 其實什麼也解決不了。
上下文。 上下文視窗有限且昂貴。典型的做法是把整個檔案與 grep 結果塞進提示詞裡，每次呼叫都要為數千個無關的 token 付費。
記憶。 每次對話都是從頭開始。Agent 在週二重新學到週一已經學過的東西——而且還得為重學付出 token 與錯誤的代價。
這三者相互加乘：膨脹的上下文增加成本，缺乏記憶又讓上下文更加膨脹。因此 Velua Code 同時對三者下手。
成本：源頭壓縮 + 主動路由
第一個架構決策：在源頭壓縮上下文，而不是在末端壓縮。每個工具輸出——讀檔、搜尋結果、建置日誌——在進入對話歷史之前，都會先經過一個壓縮管線。核心是我們專有的壓縮模型，以 ONNX 格式在開發者機器或 Agent 容器中本地執行。壓縮過程不需要網路呼叫：省下的成本不會消耗 token。
在它周圍，較簡單的層負責主要工作：讀取去重（Agent 是否重複讀取同一個檔案？舊版本會被移出上下文）、結構化 JSON 壓縮、保留簽章的程式碼主體省略，以及一個自適應閾值——隨著上下文增長而加強壓縮。所有環節都用目標模型的實際 tokenizer 來計量——節省的是真實 token，而非估算值。
還有一個 不做 的決策：我們從不在執行階段修改系統提示詞。穩定的提示詞是維持 97.24% 快取命中率的關鍵——而快取命中是最便宜的成本槓桿，因為快取中的 token 成本僅為完整 token 的一小部分。
第二個決策：Agent 不自行選擇模型。一個本地分類器會先根據類別與複雜度對任務進行分類，然後 Velua Gateway——它能看到 50 多個模型的即時價格與效能——會路由到 在必要範圍內 最合適的模型，同時也應用護欄並透過 RAG 進行補充。重新命名變數不需要前沿模型，但設計資料庫遷移就需要。透過主動路由，大多數呼叫會交給較小的模型，而昂貴的模型只有在任務複雜度要求時才會上場。
閘道還會計量每次請求的實際成本。這讓我們能夠實現我認為生產環境中的 Agent 不可或缺的條件：以預算作為停止條件。自主迴圈運行時設有貨幣成本上限，而不是憑空指望。
正是這三者的組合——源頭壓縮、高快取率、在較小模型之間路由——才產生了 R$ 0.04 每百萬 token 的成本。任何一項單獨都做不到。
上下文：用圖譜取代 Grep
Agent「理解」程式碼庫的標準方式是 grep 與讀檔——既昂貴又盲目。Velua Code 維護一個 程式碼知識圖譜：函式、類別、路由，以及它們之間的關係（誰呼叫誰、誰實作誰）。
這改變了迴圈的兩端。在輸入端，Agent 透過 查詢圖譜（專案的架構視圖與任務相關的節點）來組合精簡的上下文套件，而不是把整個檔案丟進提示詞。在輸出端，它改變了 驗證 方式：當 Agent 修改一個函式時，圖譜會列出所有受影響的呼叫點，然後一個擁有乾淨上下文、不受撰寫者偏誤影響的審查 Agent 會逐一檢查這些呼叫點，再加上執行測試、lint 與建置。「你改了 processOrder 的簽章；有七個地方呼叫它」——這種驗證是 grep 做不到的。
記憶：會學習的迴圈
這是整個系統的閉環。在每次通過驗證的迭代結束時，Agent 會記錄 工程決策：做了什麼決定、為什麼、考慮過哪些替代方案、什麼失敗了。而且每個決策都會 連結到它所說明的程式碼節點，存在圖譜中。
在下一次迭代中，上下文收集階段會擷取這些決策——包括已經失敗的方法，以免重蹈覆轍。這個迴圈不再只是重複執行任務的工具，而成為一個 累積程式碼庫知識 的系統。這也是最好的成本攤銷方式：便宜的記憶取代了昂貴的重新探索。
因此完整的迴圈是：收集上下文（圖譜 + 記憶 + RAG）、根據問題規模用正確的模型規劃、透過子 Agent 執行、用乾淨上下文的審查者與圖譜感知進行驗證、記錄決策以學習——然後重複，並設有成本上限。這是經典的 Agent 迴圈，只是每個通用階段都被替換成專屬能力。
為什麼第一個客戶是我們自己
產品策略刻意反直覺：在賣給任何客戶之前，Velua Code 先在 SIGE Cloud 內部運行。真正的自家產品試用——一個上線的 ERP 系統，真實團隊每天用真實程式碼操作 Agent。
正是這個內部使用產生了 130 億個 token，也正在塑造產品。生產環境中的自主 Agent 會暴露基準測試無法暴露的問題：權限、累積成本、停滯的任務、腐化的上下文。我寧願讓它在痛苦屬於我們的時候成熟。
接下來：企業統一記憶
目前決策記憶是按專案儲存的。下一步最令我興奮：將它提升為 企業統一的工程記憶層。
想像一下：A 團隊的 Agent 記錄的決策——「我們因為 Y 而遷移到 X；我們避開了 Z 因為它會破壞 W」——可以被 B 團隊的 Agent 以及操作這些 Agent 的人類開發者檢索，並附有存取控制、來源與稽核。問題「為什麼這段程式碼長這樣？」可以用原始決策來回答，連結到程式碼，供組織內的任何人或任何 Agent 查詢。更快的入職、團隊間的一致性，而公司的工程知識不再只存在於人的腦袋裡。
透過閘道提供服務，這個記憶會成為基礎設施：公司內任何 Agent、任何工具，都能繼承累積的學習。
自主 Agent 將會成為商品。它們所累積的關於
你的
系統的知識則不會。
這就是我們的賭注。
如果你正在用生產環境中的 Agent 開發——或者正為上下文成本而困擾——我的私訊開著。
