Los agentes de voz no escuchan. Leen.

Mientras están pensando, es casi como si fueran sordos y ciegos. No pueden percibir nada más de lo que está pasando. -

@miramurati

Me desconcierta que la mayoría de los agentes de voz sigan tomando decisiones a partir de una transcripción.

Cada llamada se convierte de audio a texto antes de que la "capa de pensamiento" del agente la vea. Esa conversión pierde información. Solo sobreviven las palabras. La vacilación, el "ehhh", la caída del tono al final, el ruido de fondo, el giro a medias para hablar con otra persona: todo eso desaparece.

Así que el agente adivina. Interrumpe a las personas a mitad de una idea, espera demasiado después de que han terminado y no capta el enojo detrás de una frase educada.

Creo que esta es la mayor brecha en la IA de voz hoy en día.

Este artículo es mi visión sobre el status quo y explora las siguientes preguntas:

• ¿Puede un agente decidir bien si nunca escucha la llamada?
• ¿Por qué una red de LLMs no ha cerrado esa brecha?
• ¿Por qué no usar modelos de voz a voz (speech-to-speech)?
• ¿Cómo sería una "capa de pensamiento" que realmente escuche?

¿Dónde está el mercado hoy?

https://x.com/jordan_dearsley/status/2085602471918064064

Durante años, la gente predijo que la voz se convertiría en la forma universal de interactuar con el software. En 2026, esa predicción empieza a hacerse realidad. La IA gestiona miles de millones de llamadas comerciales cada año, gracias a empresas como @ElevenLabs y @DeepgramAI, y a más de 800 productos de IA de voz.

Pero, como en la fase inicial de cualquier ola tecnológica, la adopción ha superado a la calidad. Solo alrededor de una de cada cinco empresas está muy satisfecha con sus agentes en producción. Por eso, la mayoría de los agentes se limitan a lo que es económico y fiable: llamadas salientes que siguen un guion o solicitudes entrantes lo bastante simples como para predecirlas.

Casi todos los agentes de voz funcionan en cascada: voz a texto (STT), luego un LLM y luego texto a voz (TTS). A los ingenieros les encanta este diseño porque pueden elegir el mejor modelo para cada tarea, leer cada paso intermedio y mantener un control estricto sobre lo que el agente dice y hace.

Aunque el STT y el TTS han avanzado mucho en latencia y coste, la parte débil es la capa de pensamiento.

Lo que una transcripción descarta

El trabajo de la capa de pensamiento es simple. Saber en qué estado está la conversación y elegir la acción que la lleve al siguiente estado correcto: hablar, actuar, transferir o seguir escuchando.

Tu código siempre sabe en qué paso del flujo de trabajo se encuentra una llamada. Lo que no sabe es qué está pasando con la persona al otro lado. Esa es la parte que la capa de pensamiento tiene que interpretar en cada turno:

• ¿El usuario terminó o solo hizo una pausa?
• ¿Qué idioma está hablando?
• ¿Siente curiosidad o está enfadado por un mal servicio?
• ¿Eso de fondo es un televisor o niños jugando?
• ¿Me habla a mí o a su pareja?
• ¿Qué quiere: un reembolso, una cuenta nueva, consultar un estado?

Dos clips de audio con la misma transcripción: "Sí, adelante". Uno va dirigido al agente; el otro, a otra persona en la habitación. Solo el audio permite distinguirlos.

Las preguntas en negrita nos dicen cómo se dijo algo, no solo qué se dijo. Una transcripción conserva las palabras y descarta el tono, el ritmo, la pausa y el entorno.

Tomemos la primera pregunta. Todos sabemos que una persona está a punto de terminar antes de que llegue el silencio: el tono baja, el ritmo se ralentiza, la voz se apaga. Los modelos que escuchan el audio aprenden a usar exactamente esas señales (Ekstedt y Skantze, 2022). Pero los modelos que solo leen transcripciones no pueden hacerlo, porque la prosodia nunca quedó escrita (Rajaa, 2026).

Lo mismo ocurre con la quinta pregunta. Cuando Apple probó si una frase iba dirigida a su asistente, añadir el audio a la transcripción redujo los errores hasta en un 39 % en comparación con usar solo la transcripción.

Las mejores decisiones usan el audio y el texto juntos. Lamentablemente, los agentes de hoy solo reciben el texto.

Solo transcripción: el 74,8 % de los turnos se interrumpieron antes de tiempo. Con audio: el 7,8 %. Uniphore, arXiv 2609.11066.

Por qué la red de LLMs choca contra un muro

Los ingenieros eligieron la solución codiciosa para construir la "capa de pensamiento". Tomaron el camino más fácil con el mayor retorno inmediato: contratar el mejor LLM frontier del momento y entregarle un manual gigante sobre qué hacer. Eso fue todo durante 2023-24.

Aquí hay un par de problemas.

• Primero, los equipos se dieron cuenta de que los LLMs son impredecibles y lentos, y de que pierden instrucciones en prompts largos y densos.
• Segundo, una sola llamada a un LLM no basta para entender una intervención.

Así que el siguiente paso lógico fue una red de LLMs más rápidos y baratos: cada uno para distintas tareas, con un orquestador por encima. Las demos fueron fantásticas. Los compradores quedaron impresionados y los ingresos empezaron a fluir.

Este es el stack frontier de hoy.

Pero en producción, esta arquitectura mostró dos grietas:

• Cada pieza sigue leyendo la misma transcripción. Añadir más LLMs no puede recuperar la pausa o el tono que la transcripción ya descartó.
• Las piezas se esperan unas a otras. Cada llamada suma retraso. Reconocer el turno, decidir qué hacer y ejecutar las tareas consume hasta el 80 % del tiempo de respuesta.

Un agente de voz en cascada: el audio del interlocutor pasa a voz a texto, luego a varias llamadas a LLMs y finalmente a texto a voz. El tono, las pausas, el timbre, el fondo y el destinatario se pierden en la etapa de voz a texto.

La industria dividió la capa de pensamiento por tareas. Debería haberla dividido por tipo de entrada: las decisiones que necesitan señales de audio deberían ir a un modelo nativo de audio, y el LLM debería trabajar solo con texto.

¿Por qué no saltarse la transcripción por completo?

Los modelos de voz a voz (STS) empezaron a mostrar señales reales de vida este año. El atractivo es claro: menor latencia, mejor comprensión de la conversación y menos ingeniería, al comprimir STT, LLM y TTS en un único modelo.

La mayor desventaja es la falta de control y de datos verificables. No puedes predecir con exactitud qué dirá un modelo STS, y las llamadas a herramientas o la ejecución de código no le resultan naturales a un modelo que piensa en audio.

Creo que el STS aún está lejos de ser una realidad a corto plazo. Incluso si se acelera, primero servirá para casos de uso más simples, como responder preguntas frecuentes. Los desarrolladores seguirán apostando por la cascada, en parte por inercia y, sobre todo, porque necesitan su control y flexibilidad.

Por eso estoy construyendo modelos que hacen que el stack en cascada sea más fácil de controlar y viable de implementar tanto en coste como en latencia.

La capa que escucha

Creo que hay una forma de controlar los agentes y eliminar el exceso: los modelos de decisión.

Observa de cerca GPT-Live y encontrarás un motor de decisiones en su núcleo. Muchas veces por segundo, decide si hablar, seguir escuchando, hacer una pausa, interrumpir o llamar a una herramienta. La cascada necesita ese mismo motor, pero como un componente que puedas ver y controlar.

Un modelo de decisión toma el estado actual y un conjunto acotado de opciones (hablar o esperar, escalar o continuar, qué intención) y devuelve una elección con una probabilidad, de forma más rápida y mucho más barata que un LLM. @typesafeai sorprendió a muchos con lo bien que esto funciona en texto.

Propongo lo siguiente:

• El modelo de decisión escucha la llamada y toma las decisiones acotadas.
• Tu software mantiene el estado del flujo de trabajo, los permisos y las herramientas.
• El LLM hace lo que mejor sabe hacer: redactar la respuesta, una vez que se ha tomado la decisión sobre qué hacer.

Un modelo de decisión recibe el audio, la conversación hasta ese punto y un conjunto de opciones, y devuelve una probabilidad para cada una: refund_status 0.91, cancel_order 0.06, escalate 0.03 (ejemplo).

La puntuación de confianza es lo que hace que esto funcione. Pregúntale a un LLM qué tan seguro está y normalmente dirá "mucho", incluso cuando se equivoque (Xiong et al., 2024). Las puntuaciones de un clasificador se pueden ajustar hasta que signifiquen lo que dicen: cuando un clasificador afirma estar seguro, normalmente lo está (Guo et al., 2017).

Nuestros primeros experimentos con socios de diseño muestran que entre el 30 y el 40 % de lo que hace un LLM dentro de un agente es exactamente este tipo de trabajo: enrutamiento, triaje, elección entre opciones acotadas.

Pero los modelos de decisión actuales trabajan con texto o imágenes. TypeSafe AI informa de que todos los modelos, incluido Jev, toman peores decisiones cuando se añade otra modalidad junto al texto, y Jev no tiene soporte de audio documentado.

No puedes simplemente pegarle audio a un modelo de decisión basado en texto. Construir uno que escuche requiere tres cosas:

• Audio conversacional real etiquetado con la decisión correcta en cada momento.
• Un modelo que decida usando el audio y el texto juntos.
• Puntuaciones de confianza que se mantengan sólidas frente a distintos acentos, ruidos y líneas telefónicas deficientes.

El modelo de decisión adecuado para la voz es aquel que escucha: una capa de decisión nativa de audio.

Qué cambia cuando la capa de decisión puede oír

Con un modelo de decisión nativo de audio desbloqueas los siguientes casos de uso:

1. Agentes que puedes depurar. Muchos equipos diseñan hoy un agente como un grafo de estados: saludar, verificar identidad, gestionar el reembolso, escalar. Cada turno se reduce a dos decisiones: ¿en qué estado está realmente la conversación y a qué estado debería pasar después? Si te equivocas en cualquiera de las dos, toda la llamada se desvía.

Con un modelo de decisión en cada paso, cada transición se convierte en una unidad pequeña y explicable: qué se escuchó, qué opciones había, qué se eligió y con cuánta confianza. Cuando una llamada sale mal, no depuras un prompt gigante. Encuentras el engranaje que falló y arreglas esa pieza.

1. Respuestas listas antes de que el interlocutor termine. Las personas revelan lo que quieren antes de terminar la frase. "Llamo por el pedido que hice la semana pasada..." ya es una consulta de pedido. Un agente centrado en el texto espera a que el usuario se detenga, espera la transcripción final, decide qué herramienta llamar y solo entonces la llama. Cada paso suma silencio.

Línea temporal de un interlocutor diciendo "Llamo por mi pedido de la semana pasada". Un agente centrado en el texto espera al final, luego transcribe, decide y llama a get_order. Un enrutador que escucha dispara get_order a mitad de frase y responde en cuanto el interlocutor se detiene, ahorrando tiempo.

Un modelo de decisión que escucha funciona como un enrutador que se anticipa a la llamada. Reconoce la intención a mitad de frase y lanza la consulta mientras el usuario sigue hablando, de modo que los detalles del pedido estén listos en el instante en que se detenga.

Investigadores de Meta y CMU demostraron el beneficio: predecir consultas a herramientas en paralelo con el habla del usuario redujo la latencia de las herramientas en un 20 % y logró respuestas más precisas.

1. Agentes personales que se sienten instantáneos. Los agentes personales escuchan comandos mediante notas de voz todo el día, en cocinas, coches y calles concurridas. La mayor parte de lo que oyen requiere una única decisión rápida: ¿esto es una tarea, un recordatorio, un pensamiento pasajero o no va dirigido a mí en absoluto?

Enviar cada intervención a un LLM frontier es lento y caro. Un modelo pequeño que escucha toma esa decisión en una fracción del tiempo y solo activa el LLM cuando hay trabajo real que hacer. El agente se siente instantáneo porque la primera decisión nunca depende del modelo grande.

https://x.com/signulll/status/2077444321243013306

El futuro de la IA de voz

Se suponía que la voz sería la interfaz universal. Hoy solo funciona cuando la conversación es predecible.

Pero una conversación sin guion no es ilimitada. En cada turno, los movimientos sensatos son pocos: hablar, esperar, preguntar, actuar, transferir. Lo que nadie puede guionar es el orden. No necesitas guionar una conversación para controlarla. Necesitas tomar bien cada decisión, a partir de lo que realmente se escuchó.

Ese es el cambio por el que apuesto: decidir y luego generar el prompt. Un modelo que escucha toma las decisiones, tu software mantiene el estado y el LLM escribe las palabras. Cada decisión es visible, rápida y medible. Cuando eso funcione, la voz dejará de ser un canal para llamadas simples y se convertirá en la forma en que las personas hablan con el software.

Estoy construyendo esa capa de decisión en @tazolabs, y compartiré más sobre nuestros modelos en los próximos días.

Si desarrollas agentes de voz, me encantaría saber con qué decisiones lucha hoy tu agente. Y si te identificas con esta visión, ven a construir con nosotros en Tazo Labs.

¿Cuál es la decisión en la que tu agente de voz se equivoca con más frecuencia?