Пока они думают, они почти как глухие и слепые. Они не способны воспринимать ничего из того, что происходит вокруг. -
Меня поражает, что большинство голосовых агентов до сих пор принимают решения на основе текстовой расшифровки.
Каждый звонок сначала переводится из аудио в текст, и только потом его видит «слой мышления» агента. Это преобразование всегда с потерями. Выживают только слова. Колебания, это самое «э-э», падающая интонация в конце фразы, фоновый шум, то, как человек на полуслове поворачивается к кому-то другому — всё это исчезает.
И агент начинает гадать. Он перебивает людей на полуслове, слишком долго молчит после того, как они закончили говорить, и не замечает злости за вежливой фразой.
Думаю, это самый большой пробел в современном голосовом ИИ.
В этой статье я рассуждаю о текущем положении дел и пытаюсь ответить на следующие вопросы:
- Может ли агент принимать хорошие решения, если он никогда не слышал звонок?
- Почему сеть LLM так и не закрыла этот пробел?
- Почему бы не использовать модели speech-to-speech?
- Как должен выглядеть «слой мышления», который действительно слушает?
Что сейчас происходит на рынке?
https://x.com/jordan_dearsley/status/2085602471918064064
Годами люди предсказывали, что голос станет универсальным способом общения с программами. В 2026 году этот прогноз начинает сбываться. ИИ обрабатывает миллиарды бизнес-звонков каждый год — спасибо таким компаниям, как @ElevenLabs и @DeepgramAI, а также более чем 800 продуктам голосового ИИ.
Но, как это часто бывает на ранних этапах любой технологической волны, скорость внедрения обогнала качество. Лишь примерно одна из пяти компаний полностью довольна своими агентами в продакшене. Поэтому большинство агентов держатся за то, что доступно и надёжно: исходящие звонки по скрипту или входящие запросы, которые достаточно просты для предсказания.
Почти все голосовые агенты построены каскадно: speech-to-text (STT), затем LLM, затем text-to-speech (TTS). Инженеры любят такую архитектуру, потому что можно выбрать лучшую модель для каждой задачи, видеть каждый промежуточный шаг и жёстко контролировать, что агент говорит и делает.
И хотя STT и TTS сильно продвинулись в плане задержек и стоимости, слабым звеном остаётся слой мышления.
Что теряется при расшифровке
Задача слоя мышления проста. Понимать, на каком этапе находится разговор, и выбирать действие, которое переведёт его в правильное следующее состояние: говорить, действовать, передать диалог или продолжать слушать.
Ваш код всегда знает, на каком шаге воркфлоу находится звонок. Чего он не знает — так это того, что происходит с человеком на другом конце провода. Именно эту часть слой мышления должен считывать на каждом шаге:
- Пользователь закончил мысль или просто сделал паузу?
- На каком языке он говорит?
- Ему любопытно или он злится из-за плохого сервиса?
- Это телевизор работает на фоне или играют дети?
- Он обращается ко мне или разговаривает с партнёром?
- Чего он хочет: возврат денег, новый аккаунт, проверку статуса?
Два аудиоклипа с одинаковой расшифровкой: «Да, продолжайте». Один адресован агенту, другой — кому-то в комнате. Различить их можно только по звуку.
Выделенные жирным пункты говорят нам о том, как было сказано нечто, а не только о том, что было сказано. Расшифровка сохраняет слова, но выбрасывает интонацию, темп, паузы и обстановку.
Возьмём первый вопрос. Все мы знаем, что человек вот-вот закончит фразу ещё до наступления тишины: тон понижается, темп замедляется, голос затихает. Модели, которые слышат аудио, учатся использовать именно эти сигналы (Ekstedt & Skantze, 2022). Но модели, читающие только текст, этого не могут, ведь просодия никогда не записывается (Rajaa, 2026).
То же самое с пятым вопросом. Когда Apple тестировала, предназначалась ли речь её ассистенту, добавление аудио к тексту снизило количество ошибок на 39% по сравнению с использованием одного лишь текста.
Лучшие решения принимаются на основе аудио и текста вместе. К сожалению, современные агенты получают только текст.
Только текст: 74,8% реплик прерываются слишком рано. Аудио: 7,8%. Uniphore, arXiv 2609.11066.
Почему сеть LLM упирается в стену
Для создания «слоя мышления» инженеры выбрали жадное решение. Они побежали по самому лёгкому пути с максимальной мгновенной отдачей: нанять лучшую на тот момент frontier-LLM и вручить ей одну гигантскую инструкцию о том, что делать. Так прошли весь 2023–2024 годы.
Но тут есть пара проблем.
- Во-первых, команды поняли, что LLM непредсказуемы и медленны, и что они теряют инструкции в длинных, перегруженных промптах.
- Во-вторых, одного вызова LLM недостаточно, чтобы понять произнесённую фразу.
Поэтому следующим логичным шагом стала сеть более быстрых и дешёвых LLM: каждая под свою задачу, а сверху — оркестратор. Демки выглядели потрясающе. Заказчики были впечатлены, и деньги потекли рекой.
Это и есть современный frontier-стек.
Но в продакшене эта архитектура показала две трещины:
- Каждый элемент всё равно читает ту самую расшифровку. Добавление новых LLM не вернёт паузу или тон, которые уже были потеряны при конвертации в текст.
- Элементы ждут друг друга. Каждый вызов добавляет задержку. Распознавание реплики, принятие решения о действии и выполнение задач занимают до 80% времени ответа.
Каскадный голосовой агент: аудио звонящего идёт в speech-to-text, затем несколько вызовов LLM, затем text-to-speech. Интонация, паузы, тон, фон и адресат теряются уже на этапе speech-to-text.
Индустрия разделила слой мышления по задачам. А нужно было разделить его по типу входных данных: решения, требующие аудиосигналов, должны идти в нативную для аудио модель, а LLM должна работать только с текстом.
Почему бы вообще не отказаться от расшифровки?
В этом году модели speech-to-speech (STS) начали подавать реальные признаки жизни. Их привлекательность очевидна: меньшая задержка, лучшее понимание разговора и меньше инженерной работы, поскольку STT, LLM и TTS сжимаются в одну модель.
Главный минус — отсутствие контроля и верифицированных данных. Вы не можете точно предсказать, что скажет STS-модель, а вызовы инструментов и выполнение кода даются модели, мыслящей звуком, совсем не естественно.
Я считаю, что в краткосрочной перспективе STS всё ещё далека от реальности. Даже если развитие ускорится, сначала она подойдёт для простых сценариев вроде ответов на FAQ. Разработчики останутся на каскаде — частично по инерции, но в основном потому, что им нужны её контроль и гибкость.
Именно поэтому я создаю модели, которые делают каскадный стек проще в управлении и дешевле во внедрении — как по стоимости, так и по задержкам.
Слой, который слушает
Я уверен, что есть способ контролировать агентов и избавиться от лишнего веса: модели принятия решений.
Присмотритесь к GPT-Live, и вы обнаружите в его основе движок принятия решений. Много раз в секунду он решает: говорить, продолжать слушать, сделать паузу, перебить или вызвать инструмент. Каскаду нужен такой же движок, но в виде компонента, который можно видеть и контролировать.
Модель принятия решений берёт текущее состояние и ограниченный набор вариантов (говорить или ждать, эскалировать или продолжить, какой интент) и возвращает один выбор с вероятностью — быстрее и намного дешевле, чем LLM. @typesafeai удивили многих тем, насколько хорошо это работает с текстом.
Я предлагаю следующее:
- Модель принятия решений слушает звонок и делает выборы из ограниченного набора.
- Ваш софт хранит состояние воркфлоу, права доступа и инструменты.
- LLM делает то, что умеет лучше всего: пишет ответ, когда решение о том, что делать, уже принято.
Модель принятия решений берёт аудио, историю разговора и набор вариантов, а возвращает вероятность для каждого: refund_status 0.91, cancel_order 0.06, escalate 0.03 (пример).
Всё это работает благодаря показателю уверенности. Спросите LLM, насколько она уверена, и она обычно ответит «очень», даже если ошибается (Xiong et al., 2024). А оценки классификатора можно откалибровать так, чтобы они означали ровно то, что говорят: когда классификатор заявляет об уверенности, он обычно прав (Guo et al., 2017).
Наши ранние эксперименты с партнёрами показывают, что от 30 до 40% того, что LLM делает внутри агента, — это именно такая работа: маршрутизация, сортировка, выбор из ограниченного числа вариантов.
Но сегодняшние модели принятия решений работают с текстом или изображениями. TypeSafe AI сообщает, что любая модель, включая Jev, принимает худшие решения, когда к тексту добавляется другая модальность, а у Jev вообще нет задокументированной поддержки аудио.
Нельзя просто прикрутить аудио к текстовой модели принятия решений. Чтобы создать слушающую модель, нужны три вещи:
- Реальные записи разговоров, размеченные правильными решениями в каждый момент времени
- Модель, которая принимает решения, используя аудио и текст вместе
- Показатели уверенности, которые остаются точными при разных акцентах, шуме и плохой связи.
Правильная модель принятия решений для голоса — это та, которая слушает, то есть нативный для аудио слой принятия решений.
Что меняется, когда слой принятия решений умеет слышать
С нативной для аудио моделью принятия решений вам открываются следующие сценарии:
- Агенты, которых можно дебажить. Многие команды сейчас проектируют агента как граф состояний: поздороваться, подтвердить личность, оформить возврат, эскалировать. Каждый шаг сводится к двум решениям: в каком состоянии на самом деле находится разговор и в какое состояние он должен перейти дальше? Ошибитесь в любом из них — и весь звонок пойдёт не туда.
С моделью принятия решений на каждом шаге любой переход становится небольшим, объяснимым блоком: что было услышано, какие варианты существовали, что было выбрано и с какой уверенностью. Если звонок пошёл не так, вам не нужно дебажить гигантский промпт. Вы находите одну буксующую шестерёнку и чините именно её.
- Ответы готовы ещё до того, как звонящий закончит фразу. Люди раскрывают свои намерения раньше, чем договаривают предложение. «Я звоню по поводу заказа, который оформил на прошлой неделе...» — это уже запрос на поиск заказа. Агент, ориентированный на текст, ждёт, пока пользователь замолчит, ждёт финальную расшифровку, решает, какой инструмент вызвать, и только потом вызывает его. Каждый шаг увеличивает паузу.
Таймлайн звонящего, говорящего: «Я звоню по поводу моего заказа с прошлой недели». Текстовый агент ждёт конца фразы, затем расшифровывает, принимает решение и вызывает get_order. Слушающий роутер запускает get_order на середине фразы и отвечает сразу, как только звонящий замолкает, экономя время.
Слушающая модель принятия решений работает как роутер, опережающий ход звонка. Она распознаёт интент на середине фразы и запускает поиск, пока пользователь ещё говорит, так что детали заказа готовы в ту же секунду, когда он замолкает.
Исследователи из Meta и CMU показали выгоду: параллельное с речью пользователя предсказание запросов к инструментам снизило задержку их вызова на 20% и сделало ответы точнее.
- Персональные агенты, которые кажутся мгновенными. Персональные агенты целыми днями слушают голосовые команды на кухнях, в машинах и на шумных улицах. Для большей части услышанного нужен один быстрый вопрос: это задача, напоминание, мимолётная мысль или вообще не мне адресовано?
Отправлять каждую фразу в frontier-LLM — медленно и дорого. Небольшая слушающая модель решает этот вопрос за долю времени и будит LLM только тогда, когда есть реальная работа. Агент кажется мгновенным, потому что первое решение никогда не ждёт большую модель.
https://x.com/signulll/status/2077444321243013306
Будущее голосового ИИ
Голос должен был стать универсальным интерфейсом. Сегодня он работает только тогда, когда разговор предсказуем.
Но живой разговор без скрипта — это не хаос. На каждом шаге разумных действий немного: говорить, ждать, спрашивать, действовать, передавать диалог. Никто не может прописать скриптом их порядок. Вам не нужно писать скрипт разговора, чтобы им управлять. Вам нужно принимать каждое решение правильно, опираясь на то, что реально было услышано.
Именно на этот сдвиг я делаю ставку: сначала решай, потом пиши промпт. Слушающая модель принимает решения, ваш софт хранит состояние, а LLM пишет слова. Каждое решение прозрачно, быстро и измеримо. Когда это заработает, голос перестанет быть каналом для простых звонков и станет тем, как люди общаются с программами.
Я создаю этот слой принятия решений в @tazolabs и в ближайшие дни расскажу больше о наших моделях.
Если вы разрабатываете голосовых агентов, мне было бы интересно узнать, с какими решениями ваш агент сегодня справляется хуже всего. А если вам близка эта концепция — приходите создавать будущее вместе с нами в Tazo Labs.
Какое одно решение ваш голосовой агент чаще всего принимает неправильно?
