與 @VaishShrivas 合著
我們在 RL 過程中,除了對動作計算一般的 GRPO loss 之外,還教 CLI agent 預測終端機的回應。改動非常小:rollout 和 forward pass 完全一樣,只是不再把終端機輸出的 token mask 掉。但效果卻非常大:所有 eval 都有提升,而且訓練出來的模型明顯學會了終端機的行為模式。
CLI agent 可以免費學到一個終端機模型——並且用它來做出更好的動作!
這就是 ECHO:一個混合式目標函數,同時在互動的兩邊進行訓練——agent 寫了什麼,以及終端機回覆了什麼。
如果你太忙沒時間讀完整篇文章,以下是我們的發現:
- 標準的 agent RL 會丟掉環境的回應。GRPO 只在動作 token 上訓練,並把終端機回應 mask 掉,即使這些回應已經在 context 之中、已經經過模型運算,而且是反映 agent 動作如何影響環境的 ground truth 訊號。
- ECHO 透過在互動的兩邊同時訓練來修正這個問題。它保留一般對動作 token 的 GRPO loss,並在終端機輸出 token 上加上一個簡單的環境 cross-entropy loss。在任何 GRPO trainer 之上只需加幾行程式碼。Rollout 和 forward pass 都一樣,只是 logits 上的 mask 不同。
- ECHO 有效,而且是免費的!ECHO 在我們測試的所有 benchmark 上都提升了 Qwen3-8B、OpenThinker-Agent-v1-SFT 和 Qwen3-14B 的表現。ECHO 達到相同效能的訓練速度亦快達 2.3 倍。TerminalBench-2.0 的 pass@1 在 8B(2.7 → 5.2)和 14B(5.2 → 10.8)規模下幾乎翻倍。
- ECHO 教會模型終端機的動態!在 held-out 的軌跡上,使用 ECHO 時環境 token 的 cross-entropy 大幅下降,而只用 GRPO 則幾乎沒有變化。這直接證明 ECHO 讓模型學會了終端機實際的回應方式。那些能更好預測終端機輸出的 checkpoint,同時也能解決更多任務。
- ECHO 可以取代專家教師。從沒有任何專家示範的 base Qwen3-8B 出發,ECHO 的表現幾乎追得上先做 SFT(使用專家示範)再跑 GRPO 的效果。
- ECHO 讓 agent 無需 verifier reward 也能自我改進!在完全沒有 verifier reward 的情況下,ECHO(甚至不用 GRPO)讓 agent 單靠在環境中行動並預測結果,就能進一步提升表現。
一切源於一個簡單的問題:如果每個指令都會產生終端機回應,為什麼 RL 只針對指令來訓練?
Vaish 完成了所有找出答案的工作。我則貢獻了一個無聊的迷宮實驗*、對標題的強烈意見,以及在她給我看第一個結果時說了一句「holy shit」。感謝 Ahmed Awadallah 給我們空間——還有 GPU——去追逐這類想法,即使它們最初只是一種研究上的癮。
值得一提:ECHO 第一次在 cluster 上跑是 3 月 29 日 😊
這項研究是在 AI Frontiers 完成的,它是 Microsoft Research 內的一個精品研究實驗室。
你如何持續學習?
這個想法第一次出現時,是源於一個關於自我改進和持續學習的簡單問題。Agent 如何單靠在世界上行動就變得更好?
自去年秋天起,我和 Vaish 一直在討論 CLI agent 的自我改進,也就是透過與環境(即終端機)互動來進步意味着什麼,尤其是在沒有 verifier 的情況下。
無 verifier 的 RL 是人們研究了多年的問題,而大部分嘗試都面對同一個難題:如果沒有 reward,監督訊號從何而來?
大約同一時間,我一則無聊的 twitter 貼文引來了與 @willccbb 的通話,再次討論持續學習。在那次對話中,我記得自己說過類似這樣無聊的話:
也許持續學習就是拿環境對你動作所作出的任何回應來訓練。

這應該能教會模型一些東西吧?
結果是,真的可以!
世界就是一個 loss function!
當 agent 在環境中行動時,環境對該動作的回應永遠是真實的。
舉個物理世界的例子:如果你按下燈掣,燈會亮,或者不會亮。如果不亮,那也是一個合理的回應:它告訴你一些關於燈泡、線路或斷路器等等的資訊。無論如何,回來的都是一小塊資訊,說明世界因為你的動作而發生了什麼改變。你並未接觸到電力、開關和燈泡運作的完整機制,但你看到了結果。燈亮了嗎?而這已足夠讓你開始建立一個心智模型,理解按開關如何令燈亮起。
終端機的運作方式也差不多。
bash 指令之後的輸出,是電腦/容器狀態在指令執行後如何改變的一個簡短總結。你會看到 stdout、stderr、exit code、檔案列表等等。你不會看到 kernel 狀態、process tree 或任何極度詳細的資訊。

你看到的回應,是背景發生事情的低維投影,而這也正是 CLI agent 用來選擇下一步動作以完成任務的依據。就像燈掣一樣,這個訊號已足夠建立一個心智模型——或者你可以稱之為世界模型——來理解系統的行為。
最棒的是,終端機輸出(同樣是系統狀態改變的反映)本身就是一個監督訊號,每一輪都自動為你計算好,而且完全免費。
很酷吧!
問題在於,標準的 agent RL(例如 SkyRL 中的 GRPO)只會透過動作 token 傳遞 gradient,而忽略終端機輸出 token。儘管終端機輸出已經在 context 之中。模型有 attend 到它,forward pass 也有為它計算 logits,但 trainer 卻在 loss 中把它 mask 掉。
真是浪費了好 token 😊
那麼,如果我們不 mask 呢?
模型本來就是以這些 token 作為條件。它本來就已經對它們產生了概率分佈。加一個 cross-entropy loss 基本上沒有成本。
而如果我們這樣做……模型就有理由去學習終端機實際的行為,因此可以在內部建立一個隱式的系統模型,理解它所操作的對象。要預測 ls 會返回什麼,模型必須追蹤它剛剛建立了哪些檔案、什麼東西在哪裡等等。
正如 Ilya 所說:
能夠準確預測下一個 token,意味着你理解了導致該 token 產生的底層現實。
在我們的設定中,這意味着:一個擅長預測終端機輸出的 agent,在某種微小但真實的意義上,已經建立了一個終端機的隱式模型。
那麼,我們如何讓 agent 去預測終端機輸出?
ECHO:免費學習一個世界模型
terminal-agent 的 rollout 本身已經交織着兩個 token 流:agent 的動作 token 和環境的觀察 token。標準 GRPO 只在動作 token 上計算 loss。
這特別浪費,因為終端機的 reward 稀疏、延遲且二元。在我們的 Qwen3-8B 設定中,很多任務只有少於 15% 的 on-policy rollout 是成功的。但失敗的軌跡並不是失敗的數據:它們仍然包含檔案列表、錯誤訊息、log、stack trace、grep 輸出,以及 agent 指令帶來的其他結果。
我們的方法,是從這些結果中學習的最簡單直接的方式 😊
我們在環境觀察 token 上加上一個長度正規化的 cross-entropy loss,與標準對動作 token 的 GRPO loss 並存。ECHO 就是這個混合目標函數:
其中 Actions 是 agent 動作的位置,Observations 是終端機輸出的位置。
幾個技術細節:
- ECHO 是 on-policy 學習。它不是在 base model 或教師模型的固定終端機記錄上訓練,而是從當前模型在 RL 過程中產生的終端機回應中學習。隨着 agent 變強,它會探索環境的新部分,並從新的「動作 → 觀察」轉換中獲得新鮮的監督訊號。更好的 policy 帶來更好的反饋;更好地預測反饋又為 policy 提供更好的動作先驗。一個循環!很有趣吧?
- 在聯合目標函數中,λ 很重要。如果太小,環境 loss 對模型的塑造作用不大;如果太大,policy 可能會為了追求可預測的輸出而非任務進度而優化。必須取得平衡!
- 目標 token 也很重要。我們在真正的終端機輸出上訓練,而不是 harness 的警告。警告很容易背下來;有用的訊號是真正的終端機回應——檔案名稱、stack trace 和錯誤訊息。
那麼代價是什麼?
敏銳的讀者可能會問:
如果你在更多 token 位置上反向傳播 gradient,backward pass 不是更昂貴嗎?
幾乎不是。Backprop 昂貴的部分是經過 attention 和 MLP layer 的 matmul,而這些運算都是跑在同一個 token 序列上,不論哪些輸出位置貢獻了 loss。每個回應位置的 logits 本來就已經為 GRPO 計算好了。動作 mask 和觀察 mask 只是為不同的 loss term 抽取不同的子集。
在這裡停一停:我們加了一個世界建模 loss,而成本基本上是零!不需要額外的 rollout、教師模型,也不需要額外的 forward pass。
ECHO 有助訓練出更好的 CLI Agent 嗎?
我們在多輪終端機任務上做了最乾淨的比較:相同的模型、相同的 GRPO 配方、相同的任務、相同的 rollout 和回合預算、相同的訓練步數。如果 agent 在 n 輪後通過測試案例,Reward=1;失敗則為 0。
唯一的分別是終端機輸出 token 是否也進入 loss。
粉紅色曲線是 ECHO,青綠色是 GRPO。在不同模型規模和評估切片中,答案都一樣:加入環境預測會讓 agent 大幅變強。

ECHO 在三個 held-out validation set 上都一致地提升了表現——粉紅色曲線很早就與青綠色分開,並且普遍保持在上方。
ECHO 的學習速度也快得多:ECHO 只需比 GRPO 少 280 步,就在 Terminal-Bench Lite 上達到 GRPO 500 步的表現!2.3 倍的加速,而且還在繼續上升 😊
這些結果印證了我們對 ECHO 的直覺。GRPO 只用稀疏、二元的結果 reward 來訓練。對於像終端機任務這種困難領域,小模型的通過率很低,這意味着很多任務幾乎沒有或完全沒有訊號。
ECHO 把失敗的動作轉化為監督訊號,令訓練的樣本效率大幅提升。即使某個動作未能解決任務,終端機回應仍然教會模型該動作造成了什麼結果!而預測失敗動作的後果,可以幫助 agent 選擇更好的動作。
如果你更想看各 eval 的數字,以下是表格形式的同一個故事:

看看每個區塊的最後一行:ECHO。TerminalBench-2.0 的 pass@1 在 8B(2.7 → 5.2)和 14B(5.2 → 10.8)規模下幾乎翻倍。而重要的是,這不是來自額外數據、額外 rollout、教師模型或不同的 verifier。Rollout 本來就包含了終端機回應。ECHO 只是從中學習。
「表現幾乎翻倍而無需額外成本」這句話,在你整個研究生涯中都很少見到 😊。
ECHO 在所有 benchmark 和模型規模上都大幅超越 GRPO,樣本效率高得多,而且成本基本為零。隨着 policy 改進,你同時學到一個世界模型,而這又幫助它改進得更快。
不過懷疑者可能會反駁:你真的學到世界模型了嗎?
讓我們來看看!
ECHO 真的學會了終端機動態嗎?
這裡我們要稍微保守一點,因為世界模型圈子的人有時會相當激烈。
我們不會聲稱 ECHO 在最嚴格的意義上學到了世界模型。但我們會說,ECHO 訓練出一個 policy,其 hidden state 吸收了某些關於終端機行為的知識,而且它預測終端機將會做什麼的能力有了可量度的提升。
如果你把 Ilya 的話反過來說,會得到一個更容易被證偽的版本。在我們的設定中大概是這樣:
如果模型學會了終端機動態,它就必須擅長預測終端機輸出。
因為沒有其他方法可以穩定地對正確的 token 賦予高概率。用資訊理論的說法,一個更好的預測器,就是它所預測系統的一個更好的壓縮器。
所以問題變成了實證性的:ECHO 真的讓模型成為更好的終端機輸出預測器嗎?
是的。而且好很多。
為了讓這個測試乾淨,我們使用一個更強的教師模型 Qwen 3 32B(未用於我們任何一次訓練)為每個 validation set 生成軌跡。然後我們評估起始 policy、用 GRPO 訓練的 policy,以及用 ECHO 訓練的 policy,量度每個模型對最終終端機輸出 token 有多「驚訝」。
每張圖的模式都一樣:相對於起始 policy,GRPO 幾乎沒有改變環境 token 的 cross-entropy。ECHO 則大幅降低它。

所以我們不會用大寫的 W 來說 World Model。但我們會這樣說:
ECHO 產生的 policy,在它們自己沒有生成的軌跡上,壓縮終端機動態的能力有可量度的提升。
這就是標題所宣稱的操作型版本,也是完全站得住腳的版本。
意外發現 1:ECHO 減少對專家 SFT 的依賴
Agent RL 常見的配方是:先從更強的模型行為複製(behavior-clone)專家軌跡,然後再跑 RL。這在 terminal agent 中尤其常見,因為 reward 稀疏而動作空間巨大。
在我們的設定中,專家 SFT baseline 是 OpenThoughts-Agent-v1-SFT(OT-SFT):Qwen3-8B 在由更強的 GLM-4.6 教師生成的 terminal-agent 示範上進行微調。
於是我們問:在不行為複製教師的情況下,ECHO 能恢復多少專家 SFT 的好處?
ECHO 能讓你跳過專家 SFT 嗎?在我們的設定中,大致上可以!

這張圖比較了三次訓練:base model 上的純 GRPO、base model 上的 ECHO,以及 SFT 模型上的 GRPO(SFT + GRPO)。相對於 GRPO 與 SFT+GRPO 之間的差距(即從 SFT 出發所帶來的增益),ECHO 在 ITD 上恢復了 104% 的增益,在 Terminal Bench Lite(TBLite)上恢復了 89%,在 TerminalBench-2.0(TB2)pass@1 上恢復了 50%。
結果顯示,專家 SFT 的大部分價值可能來自教會模型一個互動先驗,而不僅僅是專家策略先驗。專家示範既展示了如何像 terminal agent 一樣行事——檢查檔案、跑測試、追蹤 traceback 等——也展示了專家在特定狀態下會做什麼。ECHO 並不模仿這些專家選擇。相反,它訓練模型預測自身動作的終端機後果,因此它學會了哪些指令能暴露有用的狀態、哪些錯誤具診斷性,以及哪些終端機輸出 token 代表進展。更好的策略便可以透過互動而非模仿湧現出來。
這也有助解釋 benchmark 的分佈差異。在 ITD 和 TBLite 上,ECHO 幾乎追上專家 SFT,顯示這些任務中 SFT 的優勢大部分來自更好的終端機互動模型。在 TB2 上,ECHO 在沒有示範的情況下仍恢復了高達 50% 的差距。剩餘的差距與 TB2 更困難、且與訓練集分佈距離更遠這一點一致。
我們不會把這視為固定的上限:在類似 TB2 的任務上進行更廣泛或更長的訓練,應該能進一步提升 agent。
所以重點不是專家 SFT 已經過時,而是專家 SFT 買到的很大一部分可能是更好的終端機互動模型,而這部分可以直接從環境中學習。
結論:終端機就是老師!
意外發現 2:沒有 Reward 的自我改進火花
到目前為止,ECHO 一直是帶有輔助環境 loss 的 GRPO。Verifier 仍然會告訴 agent 它是否解決了任務,而 GRPO 在動作 token 上更新模型。所以是標準的 RL 設定,只是多了一個小項。
但如果 ECHO 真的教會了 policy 一些關於終端機行為的知識,那麼也許我們根本不需要 verifier 訊號。
我們問:如果關掉 verifier 會怎樣?沒有 reward 可以學習,只有這個:
也就是說,模型行動、觀察,僅透過預測自身動作所導致的終端機輸出來更新。
聽起來這不應該提升任務表現。沒有 label 指出哪個動作是好的。如果 policy 變強了,那一定是因為學習預測終端機間接重塑了 policy 的動作先驗。
所以我們試了!
我們拿出最強的 Qwen3-8B+ECHO checkpoint,完全移除 GRPO 項,然後在 held-out 任務上只用環境 cross-entropy loss 再訓練 100 步。\\\\問題是:模型能否純粹透過與環境互動並預測回傳結果,在它從未見過的 OOD 任務上有所進步?
這個瘋狂的想法有用嗎?有點用!

在 val100(in-distribution)上:+3.8 pp。在 ITD 上:+5.2 pp。在 PyTerm(一個 held-out 的 OOD Python 重度終端機任務集)上:過濾至乾淨的 tool-call 軌跡後 +10.0 pp。
當終端機輸出是有用的監督訊號時,純 env 訓練能改善 policy。在沒有 reward 訊號的情況下,模型只訓練去預測自身動作造成的輸出,因此增益取決於這些輸出是否暴露了有用的動態。
在接近訓練分佈的 val100 上,增益真實但很小:飽和前 +3.8 pp。Policy 在 ECHO 訓練期間已經學會了大部分局部動態。
在 ITD 上,較弱的起始 policy 產生了雜訊軌跡——無效指令、parse error、死胡同循環。過濾至乾淨的 rollout 能去除訊號雜訊,帶來 +5.2 pp。
不過,單靠乾淨的軌跡並不足夠。同樣的過濾並沒有穩定地改善 TBLite,而 PyTerm 起始通過率相近卻在同一配方下有所提升——這顯示瓶頸不只是 policy 強度。關鍵差異在於觀察的資訊量:Python 任務提供密集且與動作相關的回饋——程式碼 → traceback → 修復——而更廣泛的終端機任務則透過檔案、config 和多步設置更間接地揭示狀態。
我們相信無 verifier 的適應是可能的:一旦 RL 產生了一個尚可的探索模型,agent 有時可以單靠後果繼續進步——但前提是它的 rollout 夠乾淨,且終端機回饋具資訊量。這才是令人意外的部分。不是 agent 完美地自我改進,而是它竟然能自我改進,而且只靠行動和預測回傳結果。
我們的結論
ECHO 的核心教訓很簡單:agent rollout 所包含的監督訊號不止最終 reward,而我們應該利用它。
Agent 執行的每個指令都會產生終端機回應——stdout、錯誤、trace、檔案、log 等——而標準 RL 只把這些 token 當作下一步動作的 context。ECHO 把它們變成訓練目標。不需要教師模型、額外 rollout 或獨立的世界模型。我們只是不再丟掉 transcript 中已有的環境 token。
這個小小的改動帶來了三個意外結果:更強的 RL 表現、大幅減少對專家 SFT 的依賴,以及在某些設定下僅靠環境互動實現無 verifier 的自我改進。我們不認為這代表 reward 或示範已經過時。專家軌跡仍然能教會策略,而 verifier 提供最乾淨的任務級訊號。但 ECHO 顯示,在「模仿專家」和「等待稀疏 reward」之間,存在一個密集而未被充分利用的監督來源:agent 自身動作的後果。
這個更宏觀的想法是輔助預測的延續,它在 RL 中有悠久歷史,而近期研究重新喚起了 LLM agent 的世界建模目標,例如 Agent Learning via Early Experience 把動作後果訊號用作 pre-RL 階段,VAGEN 為 VLM agent 加入世界建模 reward,RWML 在 next-state 預測上進行預訓練,而 CWM 則在觀察—動作軌跡上對程式碼模型進行 mid-train。ECHO 是同一個想法的 online、在 RL 循環內、CLI 風格的版本。
這個想法能走多遠?
下一步是讓這個環境訊號更強大——並測試它能泛化到什麼程度。ECHO 使用原始終端機輸出,因為它們已在 rollout 中,但最佳的學習目標可能是更乾淨、更緊湊的表示:摘要或與任務相關的狀態視圖。另外:我們應該在哪些觀察上訓練?何時應該過濾軌跡?我們該如何權衡環境預測與 policy 優化?同一個想法能否在終端機以外生效:瀏覽器 agent、多工具系統、長週期 coding agent,或用戶面向的助手(其中後續提問、修正和偏好是另一種互動回饋)?
我們押注:只要 agent 採取行動而世界以 token 回應,那些回應 token——或它們更好的表示——就應該成為學習訊號的一部分。ECHO 是我們能想到這個想法最簡單的版本,而我們懷疑到 2026 年底,某種形式的環境 token 預測將成為 agent RL trainer 的標準配置。
試試 ECHO,然後告訴我們你的 agent 訓練快了多少。
註腳:在我的筆記型電腦上訓練迷宮世界模型……算是吧
還記得我說過我「貢獻了一個無聊的迷宮實驗」嗎?這就是那個無聊的迷宮實驗
設定是 ECHO 的超迷你版本:一個小型終端機裡的網格迷宮。Agent(一個 10M 參數的 transformer 放在迴圈中)發出一個方向——上、下、左、右——而終端機回覆 agent 相對於「鄰居」的位置(基本上是一個 2D 網格上的尋路問題),以及到目的地的距離。所以 rollout 看起來(在小範圍的「看起來」意義上)完全像 CLI agent 的 rollout,只是簡單得多 😊:動作 → 環境回應 → 動作 → 環境回應,如此類推。
我在一個從頭訓練的 10M 參數 transformer 上測試了兩種情況:1) 只在動作 token 上訓練 2) 在動作 token 和終端機回應(鄰居、距離等)上訓練。全部在全新的 6×6 / 7×7 / 8×8 迷宮上訓練

這個迷宮玩意是一篇 Nature 論文嗎?不是。但:我認為我一直在提出的一個論點不斷被驗證。
幾乎每個乾淨的想法都有一個微縮版:一個你可以在一晚內在筆記型電腦上跑完的縮小版本,告訴你這個想法是否值得擴大規模。
迷宮並沒有證明 ECHO 會成功。它給了我足夠的信心去發 Teams 訊息給 Vaish,而不是把這個想法忘掉。結果 Vaish 也在獨立地圍繞同一個想法打轉,當她第一次 cluster 跑出來的結果回來時,我既興奮又真心感到意外。ECHO 迷宮暗示了方向正確,但它不可能預測到 TerminalBench 分數翻倍、恢復大部分專家 SFT 效果,或無 reward 的自我改進。那些都是 Vaish 的成果。「算是解開一個 6×6 迷宮」和「在 TerminalBench 上翻倍」是完全不同的認知狀態。
但這個附錄的重點,並不是說用筆記本電腦就能取代集群實驗。重點在於,我的大部分想法都是錯的,而筆記本電腦實驗(在 Claude Code 和 Codex 的協助下)能讓我在這些錯誤想法浪費其他人時間之前,就知道該放棄哪些。偶爾會有一個想法存活下來,而當它真的撐過去了,或許就值得合作夥伴投入時間和 GPU 資源。
ECHO 就是其中之一。





