Enquanto estão pensando, é quase como se fossem surdos e cegos. Não conseguem perceber mais nada do que está acontecendo ao redor. -
Me impressiona que a maioria dos agentes de voz ainda tome decisões a partir de uma transcrição.
Toda chamada é convertida de áudio para texto antes que a "camada de raciocínio" do agente a veja. Essa conversão gera perdas. Só as palavras sobrevivem. A hesitação, o "humm", a queda no tom no final da frase, o ruído de fundo, a meia-virada para falar com outra pessoa: tudo isso desaparece.
Então o agente chuta. Ele interrompe as pessoas no meio do pensamento, demora demais para responder depois que elas terminam e não percebe a raiva escondida atrás de uma frase educada.
Acho que essa é a maior lacuna da IA de voz hoje.
Este artigo é a minha visão sobre o status quo e explora as seguintes perguntas:
- Um agente consegue decidir bem se nunca ouve a chamada?
- Por que uma rede de LLMs ainda não resolveu esse problema?
- Por que não usar modelos speech-to-speech?
- Como seria uma "camada de raciocínio" que realmente escuta?
Onde está o mercado hoje?
https://x.com/jordan_dearsley/status/2085602471918064064
Durante anos, previram que a voz se tornaria a forma universal de interagir com softwares. Em 2026, essa previsão começa a se concretizar. A IA já atende bilhões de chamadas corporativas todos os anos, graças a empresas como @ElevenLabs e @DeepgramAI, e aos mais de 800 produtos de IA de voz.
Mas, como na fase inicial de qualquer onda tecnológica, a adoção avançou mais rápido que a qualidade. Apenas cerca de uma em cada cinco empresas está muito satisfeita com seus agentes em produção. Por isso, a maioria dos agentes fica no que é barato e confiável: chamadas ativas que seguem um roteiro ou solicitações receptivas simples o suficiente para serem previstas.
Quase todos os agentes de voz funcionam em cascata: speech-to-text (STT), depois um LLM e então text-to-speech (TTS). Os engenheiros adoram esse design porque podem escolher o melhor modelo para cada tarefa, ler cada etapa intermediária e manter controle rigoroso sobre o que o agente diz e faz.
Embora o STT e o TTS tenham evoluído muito em latência e custo, o ponto fraco é a camada de raciocínio.
O que uma transcrição descarta
O trabalho da camada de raciocínio é simples. Saber em que estado a conversa está e escolher a ação que a leva ao próximo estado correto: falar, agir, transferir ou continuar ouvindo.
Seu código sempre sabe em qual etapa do fluxo a chamada está. O que ele não sabe é o que está acontecendo com a pessoa do outro lado. Essa é a parte que a camada de raciocínio precisa interpretar a cada turno:
- O usuário terminou ou só fez uma pausa?
- Que idioma ele está falando?
- Ele está curioso ou irritado com um atendimento ruim?
- Aquilo é uma TV ligada ao fundo ou crianças brincando?
- Ele está falando comigo ou com o parceiro dele?
- O que ele quer: um reembolso, uma nova conta, consultar um status?
Dois clipes de áudio com a mesma transcrição: "Sim, pode ir". Um é dito para o agente; o outro, para outra pessoa na sala. Só o áudio permite diferenciá-los.
Os itens em negrito acima nos dizem como algo foi dito, não apenas o que foi dito. Uma transcrição guarda as palavras e joga fora o tom, o ritmo, a pausa e o ambiente.
Pegue a primeira pergunta. Todos sabemos que alguém vai terminar de falar antes mesmo do silêncio chegar: o tom cai, o ritmo desacelera, a voz vai sumindo. Modelos que escutam o áudio aprendem a usar exatamente essas pistas (Ekstedt & Skantze, 2022). Mas modelos que só leem transcrições não conseguem, porque a prosódia nunca foi registrada por escrito (Rajaa, 2026).
O mesmo vale para a quinta pergunta. Quando a Apple testou se uma fala era direcionada à sua assistente, adicionar o áudio à transcrição reduziu os erros em até 39% em comparação com a transcrição sozinha.
As melhores decisões usam áudio e texto juntos. Infelizmente, os agentes de hoje recebem apenas o texto.
Só transcrição: 74,8% dos turnos foram interrompidos cedo demais. Com áudio: 7,8%. Uniphore, arXiv 2609.11066.
Por que a rede de LLMs bate num muro
Os engenheiros escolheram a solução gananciosa para construir a "camada de raciocínio". Foram pelo caminho mais fácil e de maior retorno imediato: contratar o melhor LLM de fronteira do momento e entregar a ele um manual gigante sobre o que fazer. Isso resumiu todo o período de 2023-24.
Há alguns problemas aqui.
- Primeiro, as equipes perceberam que os LLMs são imprevisíveis e lentos, e que eles perdem instruções em prompts longos e densos.
- Segundo, uma única chamada de LLM não basta para entender uma fala.
Então o próximo passo lógico foi uma rede de LLMs mais rápidos e baratos: cada um para tarefas diferentes, com um orquestrador no topo. As demos eram fantásticas. Os compradores ficaram impressionados e a receita começou a entrar.
Esse é o stack de fronteira hoje.
Mas, em produção, essa arquitetura mostrou duas rachaduras:
- Cada peça continua lendo a mesma transcrição. Adicionar mais LLMs não traz de volta a pausa ou o tom que a transcrição já descartou.
- As peças ficam esperando umas pelas outras. Cada chamada adiciona atraso. Reconhecer o turno, decidir o que fazer e executar as tarefas consomem até 80% do tempo de resposta.
Um agente de voz em cascata: o áudio de quem liga vai para o speech-to-text, depois para várias chamadas de LLM e então para o text-to-speech. Tom, pausas, entonação, ruído de fundo e destinatário são perdidos logo no speech-to-text.
A indústria dividiu a camada de raciocínio por tarefas. Deveria tê-la dividido por entrada: decisões que precisam de sinais de áudio deveriam ir para um modelo nativo de áudio, e o LLM deveria trabalhar apenas com texto.
Por que não pular a transcrição de vez?
Modelos speech-to-speech (STS) começaram a dar sinais reais de vida neste ano. O apelo é claro: menor latência, melhor compreensão da conversa e menos engenharia, ao comprimir STT, LLM e TTS em um único modelo.
A maior desvantagem é a falta de controle e de dados verificáveis. Você não consegue prever exatamente o que um modelo STS vai dizer, e chamadas de ferramentas e execução de código não são naturais para um modelo que pensa em áudio.
Acredito que o STS ainda está longe da realidade no curto prazo. Mesmo que acelere, primeiro servirá para casos de uso mais simples, como responder FAQs. Os desenvolvedores vão continuar na cascata, em parte por inércia e principalmente porque precisam do controle e da flexibilidade que ela oferece.
É por isso que estou construindo modelos que tornam o stack em cascata mais fácil de controlar e viável de implantar tanto em custo quanto em latência.
A camada que escuta
Acredito que existe uma forma de controlar agentes e eliminar o excesso: modelos de decisão.
Olhe de perto para o GPT-Live e você encontrará um motor de decisão no seu núcleo. Várias vezes por segundo, ele decide se deve falar, continuar ouvindo, pausar, interromper ou chamar uma ferramenta. A cascata precisa desse mesmo motor, como um componente que você possa ver e controlar.
Um modelo de decisão pega o estado atual e um conjunto limitado de opções (falar ou esperar, escalar ou continuar, qual intenção) e devolve uma escolha com uma probabilidade, de forma mais rápida e muito mais barata que um LLM. A @typesafeai surpreendeu as pessoas com o quão bem isso funciona em texto.
Estou propondo:
- O modelo de decisão escuta a chamada e toma as decisões limitadas.
- Seu software mantém o estado do fluxo, as permissões e as ferramentas.
- O LLM faz o que faz de melhor: escrever a resposta, depois que a decisão sobre o que fazer já foi tomada.
Um modelo de decisão recebe o áudio, a conversa até ali e um conjunto de opções, e retorna uma probabilidade para cada uma: refund_status 0,91, cancel_order 0,06, escalate 0,03 (exemplo).
A pontuação de confiança é o que faz isso funcionar. Pergunte a um LLM o quanto ele tem certeza, e ele geralmente dirá "muita", mesmo quando estiver errado (Xiong et al., 2024). Já as pontuações de um classificador podem ser ajustadas até significarem exatamente o que dizem: quando um classificador afirma ter certeza, normalmente tem (Guo et al., 2017).
Nossos primeiros experimentos com parceiros de design mostram que de 30 a 40% do que um LLM faz dentro de um agente é exatamente esse tipo de trabalho: roteamento, triagem, escolha entre opções delimitadas.
Mas os modelos de decisão atuais trabalham com texto ou imagens. A TypeSafe AI relata que todo modelo, incluindo o Jev, toma decisões piores quando outra modalidade é adicionada junto ao texto, e o Jev não tem suporte a áudio documentado.
Você não pode simplesmente acoplar áudio a um modelo de decisão de texto. Construir um que escute exige três coisas:
- Áudio conversacional real rotulado com a decisão correta em cada momento
- Um modelo que decida usando áudio e texto juntos
- Pontuações de confiança que se mantenham consistentes entre sotaques, ruídos e linhas telefônicas ruins.
O modelo de decisão certo para voz é aquele que escuta: uma camada de decisão nativa de áudio.
O que muda quando a camada de decisão consegue ouvir
Com um modelo de decisão nativo de áudio, você desbloqueia os seguintes casos de uso:
- Agentes que você consegue depurar. Muitas equipes hoje projetam um agente como um grafo de estados: cumprimentar, verificar identidade, processar o reembolso, escalar. Cada turno se resume a duas decisões: em qual estado a conversa realmente está e para qual estado ela deve ir em seguida? Erre qualquer uma delas e a chamada inteira sai dos trilhos.
Com um modelo de decisão em cada etapa, toda transição vira uma unidade pequena e explicável: o que foi ouvido, quais opções existiam, o que foi escolhido e qual era o nível de confiança. Quando uma chamada dá errado, você não depura um prompt gigante. Você encontra a engrenagem que travou e conserta aquela peça.
- Respostas prontas antes de quem ligou terminar de falar. As pessoas revelam o que querem antes de concluir a frase. "Estou ligando por causa do pedido que fiz semana passada..." já é uma consulta de pedido. Um agente focado em texto espera o usuário parar, aguarda a transcrição final, decide qual ferramenta chamar e só então a chama. Cada passo aumenta o silêncio.
Linha do tempo de alguém dizendo "Estou ligando por causa do meu pedido da semana passada". Um agente focado em texto espera o fim, depois transcreve, decide e chama get_order. Um roteador que escuta dispara get_order no meio da frase e responde assim que a pessoa para, economizando tempo.
Um modelo de decisão que escuta funciona como um roteador que antecipa a chamada. Ele reconhece a intenção no meio da frase e dispara a consulta enquanto o usuário ainda está falando, para que os detalhes do pedido estejam prontos no instante em que ele parar.
Pesquisadores da Meta e da CMU mostraram o ganho: prever consultas de ferramentas em paralelo com a fala do usuário reduziu a latência das ferramentas em 20% e tornou as respostas mais precisas.
- Agentes pessoais que parecem instantâneos. Agentes pessoais ouvem comandos por notas de voz o dia inteiro, em cozinhas, carros e ruas movimentadas. A maior parte do que escutam exige apenas uma decisão rápida: isso é uma tarefa, um lembrete, um pensamento passageiro ou nem era para mim?
Enviar cada fala para um LLM de fronteira é lento e caro. Um modelo pequeno que escuta toma essa decisão numa fração do tempo e só acorda o LLM quando há trabalho real a ser feito. O agente parece instantâneo, porque a primeira decisão nunca depende do modelo grande.
https://x.com/signulll/status/2077444321243013306
O futuro da IA de voz
A voz deveria ser a interface universal. Hoje, só funciona quando a conversa é previsível.
Mas uma conversa sem roteiro não é ilimitada. A cada turno, as jogadas sensatas são poucas: falar, esperar, perguntar, agir, transferir. O que ninguém consegue roteirizar é a ordem. Você não precisa roteirizar uma conversa para controlá-la. Precisa tomar cada decisão bem, com base no que foi realmente ouvido.
É nessa mudança que estou apostando: decida, depois faça o prompt. Um modelo que escuta toma as decisões, seu software mantém o estado e o LLM escreve as palavras. Toda decisão se torna visível, rápida e mensurável. Quando isso funcionar, a voz deixará de ser um canal para chamadas simples e passará a ser a forma como as pessoas falam com softwares.
Estou construindo essa camada de decisão na @tazolabs e vou compartilhar mais sobre nossos modelos nos próximos dias.
Se você cria agentes de voz, adoraria saber com quais decisões o seu agente mais sofre hoje. E se essa visão faz sentido para você, venha construir com a gente na Tazo Labs.
Qual é a decisão que o seu agente de voz mais erra?
