当它们在思考时，几乎就像又聋又瞎一样。它们无法感知周围正在发生的任何其他事情。 -
让我感到困惑的是，大多数语音 Agent 依然靠文字转录来做决策。
每一通电话都会先被转成文本，然后才进入 Agent 的“思考层”。这种转换是有损的。只有文字留了下来。那些犹豫、“嗯”、句尾下降的语调、背景噪音、转头跟别人说话的半句话：全都没了。
于是 Agent 只能猜。它会在对方话说到一半时打断，会在对方说完后等太久，会听不出礼貌句子背后的愤怒。
我认为这是当今语音 AI 最大的短板。
这篇文章是我对现状的看法，并探讨了以下几个问题：
- 如果 Agent 从来没听过这通电话，它能做出好决策吗？
- 为什么一堆 LLM 拼起来还是没能补上这个缺口？
- 为什么不直接用语音到语音模型？
- 一个真正在“听”的“思考层”应该长什么样？
目前市场处于什么阶段？
https://x.com/jordan_dearsley/status/2085602471918064064
多年来，人们一直预测语音会成为与软件交互的通用方式。到了 2026 年，这个预测开始成真。多亏了 @ElevenLabs 和 @DeepgramAI 这样的公司，以及 800 多款语音 AI 产品，AI 每年正在处理数十亿通商业电话。
但就像任何技术浪潮的早期阶段一样，普及速度跑在了质量前面。只有大约 五分之一 的企业对自己生产环境中的 Agent 非常满意。所以大多数 Agent 只能做那些既便宜又靠谱的事：照着脚本打外呼电话，或者处理简单到可以预测的呼入请求。
几乎所有语音 Agent 都是级联式的：先语音转文字（STT），再交给 LLM，最后文字转语音（TTS）。工程师喜欢这种设计，因为可以为每个环节挑选最好的模型，能看清每一个中间步骤，还能严格控制 Agent 说什么、做什么。
虽然 STT 和 TTS 在延迟和成本上已经有了长足进步，但薄弱环节在于思考层。
文字转录丢掉了什么
思考层的任务很简单：知道对话当前处于什么状态，然后选择能把对话推向正确下一个状态的动作——开口说、执行操作、转接，或者继续听。
你的代码永远知道这通电话走到了工作流的哪一步。但它不知道电话那头的人正在经历什么。而这正是思考层必须在每一轮对话中读懂的部分：
- 用户是说完了，还是只是停顿了一下？
- 他们在说什么语言？
- 他们是好奇，还是在为糟糕的服务生气？
- 背景里是电视声，还是小孩在玩？
- 他们是在跟我说话，还是在跟身边的人说话？
- 他们想要什么：退款、开新账户，还是查进度？
两段音频的转录文本一模一样：“好的，你说吧。”一段是对 Agent 说的，另一段是对房间里的其他人说的。只有音频才能把它们区分开。
上面加粗的问题告诉我们某句话是怎么说的，而不只是说了什么。文字转录留下了词语，却丢掉了语调、语速、停顿和环境。
拿第一个问题来说。我们都知道，在沉默到来之前，就能感觉到一个人快说完了：语调下降、语速变慢、声音渐渐收住。能听到音频的模型学会了利用这些线索（Ekstedt & Skantze, 2022）。但只读转录文本的模型做不到，因为韵律从来没有被写下来（Rajaa, 2026）。
第五个问题也一样。当 Apple 测试一句话是不是在对自己的助手说时，在转录文本之外加上音频，错误率比只用文本降低了最多 39%。
最好的决策需要同时利用音频和文本。遗憾的是，今天的 Agent 只能拿到文本。
只用转录文本：74.8% 的轮次过早打断。使用音频：7.8%。Uniphore，arXiv 2609.11066。
为什么 LLM 组合架构会撞墙
工程师们用了一种贪心的方式来搭建“思考层”。他们选了最容易上手、短期回报最高的路：雇来当时最强的前沿 LLM，然后塞给它一本巨大的操作手册。整个 2023 到 2024 年都是这么干的。
但这有几个问题。
- 首先，团队发现 LLM 不可预测、速度慢，而且会在冗长密集的提示词中漏掉指令。
- 其次，单次 LLM 调用根本不足以理解一句话。
所以下一步顺理成章地变成了用更快、更便宜的 LLM 组成网络：每个负责不同任务，上面再加一个调度器。演示效果非常惊艳。客户被打动了，收入也开始进账。
这就是今天的前沿技术栈。
但在生产环境中，这套架构暴露出两个裂缝：
- 每个模块读的依然是同一份转录文本。 多加几个 LLM，也找不回已经被转录丢掉的那些停顿和语气。
- 各个模块互相等待。 每一次调用都在增加延迟。识别话轮、决定做什么、执行任务，加起来占用了高达 80% 的响应时间。
一个级联式语音 Agent：来电者的音频先进入语音转文字，接着经过多次 LLM 调用，最后进入文字转语音。语调、停顿、语气、背景和说话对象在语音转文字这一步就全丢了。
行业把思考层按任务拆分了。其实应该按输入来拆分： 需要音频信号的决策应该交给原生音频模型，而 LLM 只处理文本。
为什么不干脆跳过转录？
语音到语音（STS）模型今年开始真正有了起色。吸引力很明显：把 STT、LLM 和 TTS 压缩进一个模型，延迟更低、对话理解更好、工程量也更少。
最大的缺点是缺乏控制力和可验证的数据。你没法确定 STS 模型到底会说什么，而且对一个用音频思考的模型来说，工具调用和代码执行并不自然。
我认为短期内 STS 离落地还很远。就算它加速发展，也会先适用于 FAQ 问答这类更简单的场景。开发者会继续留在级联架构上，一部分是因为惯性，但主要是因为他们需要那种控制力和灵活性。
这也是为什么我在构建一些模型，让级联架构更容易控制，同时在成本和延迟上都具备部署可行性。
会倾听的那一层
我相信有一种方法既能控制 Agent，又能去掉臃肿的部分：决策模型。
仔细看看 GPT-Live，你会发现它的核心是一个决策引擎。每秒许多次，它在决定该说话、继续听、暂停、打断还是调用工具。级联架构需要同样的引擎，只不过要作为一个你能看见、能控制的组件。
决策模型接收当前状态和一组有限的选项（说还是等、升级还是继续、属于哪个意图），然后返回一个带概率的选择，比 LLM 更快、也便宜得多。@typesafeai 让人们惊讶地发现，这套方法用在文本上效果有多好。
我提出的方案是：
- 决策模型负责听电话，并做出那些有限范围内的决策。
- 你的软件负责维护工作流状态、权限和工具。
- LLM 只做它最擅长的事：在决定了要做什么之后，写出回复内容。
决策模型接收音频、目前的对话内容和一组选项，然后返回每个选项的概率：refund_status 0.91、cancel_order 0.06、escalate 0.03（示例）。
置信度分数是让这一切成立的关键。问 LLM 有多大把握，它通常会说“非常大”，哪怕它是错的（Xiong et al., 2024）。而分类器的分数可以被校准，直到它名副其实：当分类器说自己有把握时，通常确实有把握（Guo et al., 2017）。
我们与设计合作伙伴的早期实验表明，Agent 内部由 LLM 完成的工作中，有 30% 到 40% 正是这类工作：路由、分流、在有限选项中做选择。
但今天的决策模型只处理文本或图像。TypeSafe AI 报告称，包括 Jev 在内的所有模型，一旦在文本之外加入另一种模态，决策质量就会下降，而 Jev 也没有公开支持音频的文档。
你不能把音频硬接到文本决策模型上。要造一个会听的模型，需要三样东西：
- 真实的对话音频，并在每个时刻标注正确的决策
- 一个能同时利用音频和文本做决策的模型
- 在各种口音、噪音和糟糕的电话线路下都站得住脚的置信度分数。
适合语音的决策模型，就是那个会听的模型——一个原生的音频决策层。
当决策层能听见时会发生什么变化
有了原生音频决策模型，你可以解锁以下场景：
- 可调试的 Agent。 现在很多团队把 Agent 设计成一个状态图：问候、核实身份、处理退款、升级。每一轮对话归根结底就是两个决策：对话真正处在哪个状态？下一步该去哪个状态？只要错一个，整通电话就跑偏了。
如果在每一步都有决策模型，每次状态转移就变成了一个小型、可解释的单元：听到了什么、有哪些选项、选了什么、把握有多大。当一通电话出问题，你不需要去调试一个巨大的提示词。你只需要找到那个滑脱的齿轮，修好那一小块。
- 来电者还没说完，答案就准备好了。 人们往往话没说完就已经暴露了需求。“我打电话是想问上周下的那单……”这句话本身就已经是一次订单查询。以文本为先的 Agent 会等用户停下，等最终转录出来，决定调用哪个工具，然后才去调用。每一步都在拉长沉默。
来电者说“我打电话是想问我上周的订单”的时间线。以文本为先的 Agent 会等到最后，然后转录、决策、调用 get_order。而会监听的路由器会在句子中途触发 get_order，来电者一停就立刻回复，省下了时间。
一个会听的决策模型就像一个能抢占通话的路由器。它在句子中途识别出意图，趁用户还在说话时就触发查询，这样用户一停，订单详情就已经准备好了。
Meta 和 CMU 的研究人员展示了其中的收益：在用户说话的同时并行预测工具调用，可以把工具延迟降低 20%，并让回答更准确。
- 感觉瞬间响应的个人 Agent。 个人 Agent 整天通过语音消息接收指令，在厨房、车里、嘈杂的街道上。它们听到的大部分内容只需要一次快速判断：这是一个任务、一个提醒、一个一闪而过的念头，还是根本不是对我说的？
把每句话都发给前沿 LLM 既慢又贵。一个会听的小模型能在极短时间内做出判断，只有在真正有活要干时才唤醒 LLM。Agent 之所以感觉瞬间响应，是因为第一次决策从来不用等大模型。
https://x.com/signulll/status/2077444321243013306
语音 AI 的未来
语音本该成为通用的交互界面。但今天它只在对话可预测时才好用。
不过，没有脚本的对话并不意味着毫无边界。在每一轮对话中，合理的动作就那么几个：说、等、问、做、转接。没人能写出脚本的，是它们的顺序。你不需要给对话写脚本来控制它。你需要根据实际听到的内容，把每一个决策做好。
这就是我押注的转变：先决策，再提示。会听的模型做判断，你的软件维护状态，LLM 负责遣词造句。每一个决策都可见、快速、可衡量。当这套机制跑通，语音就不再只是处理简单电话的渠道，而会变成人们与软件交流的方式。
我正在 @tazolabs 构建这个决策层，接下来几天我会分享更多关于我们的模型的信息。
如果你也在做语音 Agent，我很想听听你的 Agent 目前在哪些决策上最吃力。如果你认同这个愿景，欢迎来 Tazo Labs 和我们一起打造。
你的语音 Agent 最常做错的那个决策是什么？
