當他們在思考的時候，幾乎就像又聾又瞎一樣。他們完全無法感知周圍正在發生的其他事情。 -
讓我很不解的是，大多數語音 Agent 居然還是靠文字稿來做決策。
每一通電話都會先從音訊轉成文字，然後才送到 Agent 的「思考層」。這個轉換過程是有損的，最後只剩下文字。那些猶豫、「嗯」的聲音、句尾下降的語調、背景噪音、講到一半轉頭跟別人說話的動作：全都不見了。
於是 Agent 只能猜。它會在對方話還沒說完時打斷、在對方講完後等太久，或是聽不出客氣句子背後的怒氣。
我認為這是目前語音 AI 最大的缺口。
這篇文章是我對現況的看法，並探討以下幾個問題：
- 如果 Agent 從來沒「聽過」這通電話，它能做出好決策嗎？
- 為什麼用一堆 LLM 組成的架構還是補不起這個缺口？
- 為什麼不直接用語音對語音（speech-to-speech）模型？
- 一個真正會「聽」的思考層，會長什麼樣子？
目前市場走到哪了？
https://x.com/jordan_dearsley/status/2085602471918064064
多年來，大家一直預測語音會成為人類與軟體互動的通用方式。到了 2026 年，這個預測開始成真。多虧了 @ElevenLabs、@DeepgramAI 這些公司，以及 超過 800 款語音 AI 產品，AI 現在每年處理數十億通商業電話。
但就像每一波技術浪潮的初期一樣，普及速度跑在了品質前面。大約只有 五分之一 的企業對自家上線的 Agent 非常滿意。所以多數 Agent 還是守著便宜又可靠的應用：照腳本打的外呼電話，或簡單到可以預測的進線需求。
幾乎所有語音 Agent 都是串接式的：先做語音轉文字（STT），再丟給 LLM，最後用文字轉語音（TTS）。工程師喜歡這種設計，因為每個環節都能挑最強的模型、能看懂每一步的中間結果，也能嚴格控制 Agent 說什麼、做什麼。
雖然 STT 和 TTS 在延遲和成本上已經進步很多，但最弱的一環是思考層。
文字稿丟掉了什麼
思考層的任務很簡單：搞清楚對話現在處於什麼狀態，然後選出能把它推向正確下一個狀態的動作——開口說、執行操作、轉交，或繼續聽。
你的程式碼永遠知道這通電話走到流程的哪一步，但它不知道電話另一頭的人正在發生什麼事。這正是思考層每一輪都必須解讀的部分：
- 使用者是講完了，還是只是停頓一下？
- 他們在說什麼語言？
- 他們是好奇，還是因為服務太差而生氣？
- 背景那是電視聲，還是小孩在玩？
- 他是在跟我說話，還是在跟旁邊的人說話？
- 他們想要什麼：退款、開新帳號、查進度？
兩段音訊的文字稿一模一樣，都是「好，請說。」一段是對 Agent 說的，另一段是對房間裡其他人說的。只有音訊本身才能分辨兩者。
上面粗體的問題告訴我們某句話是怎麼說的，而不只是說了什麼。文字稿留下了字詞，卻丟掉了語調、語速、停頓和環境。
拿第一個問題來說。我們都知道，在沉默出現之前，就能感覺一個人快講完了：語調下降、語速變慢、聲音漸漸收尾。能聽到音訊的模型學會了運用這些線索（Ekstedt & Skantze, 2022）。但只看文字稿的模型做不到，因為語韻特徵根本沒被寫下來（Rajaa, 2026）。
第五個問題也是一樣。當 Apple 測試一段話是不是對著它的助理說的時候，比起只用文字稿，把音訊加進去最多能減少 39% 的錯誤。
最好的決策是同時使用音訊和文字。可惜，今天的 Agent 只拿得到文字。
只用文字稿：74.8% 的回合過早插話。加入音訊：7.8%。資料來源：Uniphore, arXiv 2609.11066。
為什麼 LLM 矩陣會撞上牆
工程師在建構「思考層」時選了貪婪解法。他們衝向那條最快見效、立即回報最高的路：找當下最頂尖的前沿 LLM，然後塞給它一本超大的操作手冊。整個 2023 到 2024 年都是這麼做的。
但這有幾個問題。
- 第一，團隊發現 LLM 既不可預測又慢，而且會在冗長密集的提示詞中漏掉指令。
- 第二，單次 LLM 呼叫根本不足以理解一句話。
所以下一步理所當然就是改用更快、更便宜的 LLM 組成網路：每個負責不同任務，上面再加一個協調器。Demo 看起來超棒，客戶印象深刻，營收也開始進來。
這就是今天的前沿技術堆疊。
但在實際生產環境中，這個架構露出了兩個破綻：
- 每個環節讀的都還是同一份文字稿。多加幾個 LLM，也救不回文字稿早就丟掉的停頓和語氣。
- 各個環節互相等待。每一次呼叫都在增加延遲。辨識發言回合、決定要做什麼、執行任務，最多會佔掉 80% 的回應時間。
串接式語音 Agent：來電者的音訊先送去做語音轉文字，接著經過幾次 LLM 呼叫，最後做文字轉語音。語調、停頓、語氣、背景音和說話對象，都在語音轉文字那一關被丟掉了。
業界把思考層按「任務」切分，但其實應該按「輸入」切分：需要音訊訊號的決策該交給原生音訊模型，LLM 則只處理文字。
為什麼不乾脆跳過文字稿？
語音對語音（STS）模型今年開始展現出真正的生命力。吸引力很明確：把 STT、LLM 和 TTS 壓縮進單一模型，換來更低延遲、更好的對話理解，以及更少的工程負擔。
最大的缺點是缺乏控制力和可驗證的資料。你沒辦法確定 STS 模型到底會說什麼，而且對一個用音訊思考的模型來說，工具呼叫和程式碼執行並不自然。
我認為短期內 STS 離實用還很遠。就算發展加速，它也會先適合 FAQ 問答這類較簡單的場景。開發者會繼續留在串接架構上，一部分是因為慣性，但主要是因為他們需要那種控制力和彈性。
這就是為什麼我在打造能讓串接架構更容易控制、且在成本和延遲上都具備部署可行性的模型。
會傾聽的那一層
我相信有一種方法既能控制 Agent，又能去掉臃腫的設計：決策模型。
仔細看看 GPT-Live，你會發現它的核心是一個決策引擎。每秒好幾次，它要決定該說話、繼續聽、暫停、打斷，還是呼叫工具。串接架構也需要同樣的引擎，而且必須是你看得見、控得住的元件。
決策模型接收當前狀態和一組有限的選項（說話或等待、升級處理或繼續、屬於哪個意圖），然後回傳一個選擇及其機率，速度比 LLM 快得多，成本也低得多。@typesafeai 讓人驚訝的地方在於，這套做法用在文字上效果有多好。
我的提案是：
- 決策模型負責聽電話，並做出那些有限範圍的決策。
- 你的軟體負責維護工作流程狀態、權限和工具。
- LLM專心做它最擅長的事：一旦決定了要做什麼，就由它來撰寫回覆。
決策模型接收音訊、目前的對話內容和一組選項，然後回傳每個選項的機率：refund_status 0.91、cancel_order 0.06、escalate 0.03（範例）。
信心分數是讓這一切可行的關鍵。你問 LLM 有多確定，它通常會說「非常確定」，即使它錯了（Xiong et al., 2024）。但分類器的分數可以被校準到名副其實：當分類器說它很確定時，它通常真的很確定（Guo et al., 2017）。
我們與早期設計合作夥伴的實驗顯示，Agent 內部由 LLM 處理的工作中，有 30% 到 40% 正是這類工作：路由、分流、在有限選項中做選擇。
但目前的決策模型只處理文字或影像。TypeSafe AI 指出，包括 Jev 在內的每一個模型，只要在文字之外再加入一種模態，決策品質就會變差，而 Jev 也沒有任何支援音訊的文件紀錄。
你沒辦法直接把音訊硬接到文字決策模型上。要建一個會聽的模型，需要三樣東西：
- 真實的對話音訊，並在每個時間點標註正確的決策
- 一個能同時利用音訊和文字做決策的模型
- 在不同口音、噪音和糟糕電話線路下都站得住腳的信心分數。
語音領域真正需要的決策模型，是一個會傾聽的模型，也就是原生音訊的決策層。
當決策層能聽見，會改變什麼
有了原生音訊的決策模型，你可以解鎖以下應用場景：
- 可以除錯的 Agent。現在很多團隊把 Agent 設計成狀態圖：打招呼、驗證身分、處理退款、升級。每一輪歸根究底就是兩個決策：對話真正處於哪個狀態？接下來該去哪個狀態？只要其中一個判斷錯，整通電話就會走偏。
如果在每一步都放上決策模型，每次狀態轉移都會變成一個小型、可解釋的單元：聽到了什麼、有哪些選項、選了哪一個、信心有多高。當一通電話出錯時，你不用去 debug 一份巨大的提示詞。你只需要找出滑掉的那個齒輪，修好那個零件。
- 在來電者講完之前就準備好的答案。人們往往話還沒說完，就已經透露了自己想要什麼。「我打來是想問我上週下的那筆訂單……」這句話本身就已經是訂單查詢了。以文字為主的 Agent 會等使用者講完、等最終文字稿出來、決定要呼叫哪個工具，然後才真的去呼叫。每一步都在增加沉默的時間。
來電者說「我打來是想問我上週的訂單」的時間軸。以文字為主的 Agent 會等到最後，才轉錄、決策、呼叫 get_order。會傾聽的路由器則在句子說到一半就觸發 get_order，並在來電者一停下時立刻回覆，省下時間。
會傾聽的決策模型就像一個能搶先行動的路由器。它在句子中途就辨識出意圖，趁使用者還在說話時就觸發查詢，這樣一來，對方一停下來，訂單細節就已經準備好了。
Meta 和 CMU 的研究人員證明了這樣做的價值：在使用者說話的同時平行預測工具查詢，能把工具延遲降低 20%，並讓答案更準確。
- 感覺瞬間回應的個人 Agent。個人 Agent 整天透過語音備忘錄接收指令，地點可能在廚房、車裡或熱鬧的街上。它們聽到的大部分內容只需要一次快速判斷：這是一個任務、提醒、隨口想到的念頭，還是根本不是對我說的？
把每句話都送去前沿 LLM 既慢又貴。一個會傾聽的小型模型能在極短時間內完成這個判斷，只有在真的有活要幹時才喚醒 LLM。Agent 之所以感覺瞬間回應，是因為第一個決策永遠不必等大模型。
https://x.com/signulll/status/2077444321243013306
語音 AI 的未來
語音本來應該成為通用的介面。但今天，它只在對話可預測的情況下才管用。
不過，沒有腳本的對話並不代表毫無邊界。在每一輪對話中，合理的動作其實就那幾個：說話、等待、提問、執行、轉交。沒人寫得出順序的腳本。要控制一場對話，你不需要寫腳本。你需要根據真正聽到的內容，把每個決策做好。
這就是我押注的轉變：先決策，再提示。由會傾聽的模型做判斷，你的軟體維護狀態，LLM 負責寫出文字。每個決策都可見、快速且可衡量。當這套機制跑通之後，語音就不再只是處理簡單電話的管道，而是人們與軟體對話的方式。
我正在 @tazolabs 建構這個決策層，接下來幾天會分享更多關於我們模型的資訊。
如果你也在做語音 Agent，我很想聽聽你的 Agent 目前在哪些決策上最吃力。如果你認同這個願景，歡迎來 Tazo Labs 和我們一起打造。
你的語音 Agent 最常做錯的決策是哪一個？
