Los agentes de voz no están escuchando. Están leyendo.

Mientras están pensando, es casi como si fueran sordos y ciegos. No pueden percibir nada más de lo que está pasando. -

@miramurati

Me desconcierta que la mayoría de los agentes de voz sigan tomando decisiones a partir de una transcripción.

Cada llamada se convierte de audio a texto antes de que la "capa de pensamiento" del agente la vea. Esa conversión pierde información. Solo sobreviven las palabras. La vacilación, el "ehhh", la caída del tono al final, el ruido de fondo, cuando giran a medias para hablar con otra persona: todo eso desaparece.

Así que el agente adivina. Interrumpe a las personas a mitad de una idea, espera demasiado después de que terminaron de hablar y no capta el enojo detrás de una frase educada.

Creo que esta es la mayor brecha en la IA de voz hoy en día.

Este artículo es mi visión sobre el estado actual y explora las siguientes preguntas:

• ¿Puede un agente decidir bien si nunca escucha la llamada?
• ¿Por qué una red de LLMs no ha cerrado esa brecha?
• ¿Por qué no usar modelos de voz a voz (speech-to-speech)?
• ¿Cómo sería una "capa de pensamiento" que realmente escuche?

¿Dónde está el mercado hoy?

https://x.com/jordan_dearsley/status/2085602471918064064

Durante años, muchos predijeron que la voz se convertiría en la forma universal de interactuar con el software. En 2026, esa predicción empieza a hacerse realidad. La IA gestiona miles de millones de llamadas comerciales cada año, gracias a empresas como @ElevenLabs y @DeepgramAI, y a más de 800 productos de IA de voz.

Pero, como en la fase inicial de cualquier ola tecnológica, la adopción superó a la calidad. Solo alrededor de una de cada cinco empresas está muy satisfecha con sus agentes en producción. Por eso, la mayoría de los agentes se limitan a lo que es económico y confiable: llamadas salientes que siguen un guion o solicitudes entrantes lo suficientemente simples como para predecirlas.

Casi todos los agentes de voz funcionan en cascada: voz a texto (STT), luego un LLM y después texto a voz (TTS). A los ingenieros les encanta este diseño porque pueden elegir el mejor modelo para cada tarea, leer cada paso intermedio y mantener un control estricto sobre lo que el agente dice y hace.

Aunque el STT y el TTS han avanzado muchísimo en latencia y costo, la parte débil es la capa de pensamiento.

Lo que una transcripción descarta

El trabajo de la capa de pensamiento es simple. Saber en qué estado está la conversación y elegir la acción que la lleve al siguiente estado correcto: hablar, actuar, transferir o seguir escuchando.

Tu código siempre sabe en qué paso del flujo de trabajo va una llamada. Lo que no sabe es qué está pasando con la persona del otro lado. Esa es la parte que la capa de pensamiento tiene que interpretar en cada turno:

• ¿El usuario terminó de hablar o solo hizo una pausa?
• ¿Qué idioma está hablando?
• ¿Siente curiosidad o está enojado por un mal servicio?
• ¿Eso de fondo es un televisor o niños jugando?
• ¿Me está hablando a mí o a su pareja?
• ¿Qué quiere: un reembolso, una cuenta nueva, consultar un estado?

Dos clips de audio con la misma transcripción: "Sí, adelante". Uno se le dice al agente, el otro a alguien más en la habitación. Solo el audio permite distinguirlos.

Las preguntas en negrita nos dicen cómo se dijo algo, no solo qué se dijo. Una transcripción conserva las palabras y descarta el tono, el ritmo, la pausa y el entorno.

Tomemos la primera pregunta. Todos sabemos que una persona está por terminar de hablar antes de que llegue el silencio: el tono baja, el ritmo se ralentiza, la voz se apaga. Los modelos que escuchan el audio aprenden a usar exactamente estas señales (Ekstedt y Skantze, 2022). Pero los modelos que solo leen transcripciones no pueden hacerlo, porque la prosodia nunca se escribió (Rajaa, 2026).

Lo mismo ocurre con la quinta pregunta. Cuando Apple probó si una frase iba dirigida a su asistente, agregar el audio a la transcripción redujo los errores hasta en un 39 % en comparación con usar solo la transcripción.

Las mejores decisiones usan el audio y el texto juntos. Lamentablemente, los agentes de hoy solo reciben el texto.

Solo transcripción: 74.8 % de los turnos interrumpidos antes de tiempo. Con audio: 7.8 %. Uniphore, arXiv 2609.11066.

Por qué la red de LLMs choca contra un muro

Los ingenieros eligieron la solución rápida para construir la "capa de pensamiento". Tomaron el camino más fácil con el mayor retorno inmediato: contratar el mejor LLM de vanguardia del momento y entregarle un manual gigante sobre qué hacer. Eso fue todo durante 2023 y 2024.

Hay un par de problemas aquí.

• Primero, los equipos se dieron cuenta de que los LLMs son impredecibles y lentos, y de que pierden instrucciones en prompts largos y densos.
• Segundo, una sola llamada a un LLM no basta para entender una expresión.

Entonces, el siguiente paso lógico fue una red de LLMs más rápidos y baratos: cada uno para distintas tareas, con un orquestador por encima. Las demos fueron fantásticas. Los compradores quedaron impresionados y los ingresos empezaron a fluir.

Este es el stack de vanguardia hoy.

Pero en producción, esta arquitectura mostró dos grietas:

• Cada pieza sigue leyendo la misma transcripción. Agregar más LLMs no puede recuperar la pausa o el tono que la transcripción ya descartó.
• Las piezas se esperan entre sí. Cada llamada suma demora. Reconocer el turno, decidir qué hacer y ejecutar las tareas consume hasta el 80 % del tiempo de respuesta.

Un agente de voz en cascada: el audio de quien llama pasa a voz a texto, luego a varias llamadas de LLM y finalmente a texto a voz. El tono, las pausas, la intención, el fondo y el destinatario se pierden en la etapa de voz a texto.

La industria dividió la capa de pensamiento por tareas. Debería haberla dividido por tipo de entrada: las decisiones que necesitan señales de audio deberían ir a un modelo nativo de audio, y el LLM debería trabajar solo con texto.

¿Por qué no saltarse la transcripción por completo?

Los modelos de voz a voz (STS) empezaron a mostrar señales reales de vida este año. El atractivo es claro: menor latencia, mejor comprensión de la conversación y menos trabajo de ingeniería, al comprimir STT, LLM y TTS en un solo modelo.

La mayor desventaja es la falta de control y de datos verificables. No puedes predecir con exactitud qué dirá un modelo STS, y las llamadas a herramientas o la ejecución de código no le salen naturales a un modelo que piensa en audio.

Creo que el STS todavía está lejos de ser una realidad a corto plazo. Incluso si acelera su desarrollo, primero servirá para casos de uso más simples, como responder preguntas frecuentes. Los desarrolladores seguirán usando la cascada, en parte por inercia y, sobre todo, porque necesitan su control y flexibilidad.

Por eso estoy construyendo modelos que hacen que el stack en cascada sea más fácil de controlar y viable de implementar tanto en costo como en latencia.

La capa que escucha

Creo que hay una forma de controlar los agentes y eliminar el exceso: los modelos de decisión.

Si observas de cerca GPT-Live, encontrarás un motor de decisiones en su núcleo. Muchas veces por segundo, decide si hablar, seguir escuchando, hacer una pausa, interrumpir o llamar a una herramienta. La cascada necesita ese mismo motor, pero como un componente que puedas ver y controlar.

Un modelo de decisión toma el estado actual y un conjunto limitado de opciones (hablar o esperar, escalar o continuar, qué intención tiene) y devuelve una elección con una probabilidad, de forma más rápida y mucho más económica que un LLM. @typesafeai sorprendió a muchos con lo bien que esto funciona en texto.

Mi propuesta es:

• El modelo de decisión escucha la llamada y toma las decisiones acotadas.
• Tu software mantiene el estado del flujo de trabajo, los permisos y las herramientas.
• El LLM hace lo que mejor sabe hacer: escribir la respuesta, una vez que ya se tomó la decisión sobre qué hacer.

Un modelo de decisión recibe el audio, la conversación hasta ese punto y un conjunto de opciones, y devuelve una probabilidad para cada una: refund_status 0.91, cancel_order 0.06, escalate 0.03 (ejemplo).

El puntaje de confianza es lo que hace que esto funcione. Pregúntale a un LLM qué tan seguro está y normalmente dirá "muy seguro", incluso cuando esté equivocado (Xiong et al., 2024). Los puntajes de un clasificador se pueden ajustar hasta que signifiquen lo que dicen: cuando un clasificador afirma estar seguro, generalmente lo está (Guo et al., 2017).

Nuestros primeros experimentos con socios de diseño muestran que entre el 30 % y el 40 % de lo que hace un LLM dentro de un agente es exactamente este tipo de trabajo: enrutar, priorizar, elegir entre opciones acotadas.

Pero los modelos de decisión actuales trabajan con texto o imágenes. TypeSafe AI reporta que todos los modelos, incluido Jev, toman peores decisiones cuando se agrega otra modalidad junto al texto, y Jev no tiene soporte de audio documentado.

No puedes simplemente pegarle audio a un modelo de decisión basado en texto. Construir uno que escuche requiere tres cosas:

• Audio conversacional real etiquetado con la decisión correcta en cada momento.
• Un modelo que decida usando el audio y el texto juntos.
• Puntajes de confianza que se mantengan sólidos sin importar los acentos, el ruido o las líneas telefónicas malas.

El modelo de decisión adecuado para la voz es aquel que escucha: una capa de decisión nativa de audio.

Qué cambia cuando la capa de decisión puede escuchar

Con un modelo de decisión nativo de audio habilitas los siguientes casos de uso:

1. Agentes que puedes depurar. Muchos equipos ahora diseñan un agente como un grafo de estados: saludar, verificar identidad, gestionar el reembolso, escalar. Cada turno se reduce a dos decisiones: ¿en qué estado está realmente la conversación y a qué estado debería pasar después? Si te equivocas en cualquiera de las dos, toda la llamada se desvía.

Con un modelo de decisión en cada paso, cada transición se convierte en una unidad pequeña y explicable: qué se escuchó, qué opciones había, qué se eligió y con cuánta confianza. Cuando una llamada sale mal, no tienes que depurar un prompt gigante. Encuentras el engranaje que falló y arreglas esa pieza.

1. Respuestas listas antes de que quien llama termine. Las personas revelan lo que quieren antes de terminar la frase. "Llamo por el pedido que hice la semana pasada..." ya es una búsqueda de pedido. Un agente centrado en texto espera a que el usuario se detenga, espera la transcripción final, decide qué herramienta llamar y recién entonces la ejecuta. Cada paso suma silencio.

Línea temporal de alguien llamando y diciendo "Llamo por mi pedido de la semana pasada". Un agente centrado en texto espera el final, luego transcribe, decide y llama a get_order. Un enrutador que escucha dispara get_order a mitad de frase y responde apenas la persona deja de hablar, ahorrando tiempo.

Un modelo de decisión que escucha funciona como un enrutador que se anticipa a la llamada. Reconoce la intención a mitad de frase y dispara la búsqueda mientras el usuario sigue hablando, para que los detalles del pedido estén listos en el momento en que se detiene.

Investigadores de Meta y CMU demostraron el beneficio: predecir consultas de herramientas en paralelo con el habla del usuario redujo la latencia de las herramientas en un 20 % y logró respuestas más precisas.

1. Agentes personales que se sienten instantáneos. Los agentes personales escuchan comandos mediante notas de voz todo el día, en cocinas, autos y calles concurridas. La mayor parte de lo que oyen requiere una sola decisión rápida: ¿esto es una tarea, un recordatorio, un pensamiento pasajero o no va dirigido a mí?

Enviar cada expresión a un LLM de vanguardia es lento y costoso. Un modelo pequeño que escucha toma esa decisión en una fracción del tiempo y solo activa el LLM cuando hay trabajo real que hacer. El agente se siente instantáneo porque la primera decisión nunca depende del modelo grande.

https://x.com/signulll/status/2077444321243013306

El futuro de la IA de voz

Se suponía que la voz sería la interfaz universal. Hoy solo funciona cuando la conversación es predecible.

Pero una conversación sin guion no es ilimitada. En cada turno, los movimientos sensatos son pocos: hablar, esperar, preguntar, actuar, transferir. Lo que nadie puede guionar es el orden. No necesitas guionar una conversación para controlarla. Necesitas tomar bien cada decisión, basándote en lo que realmente se escuchó.

Ese es el cambio por el que apuesto: decidir y luego generar el prompt. Un modelo que escucha toma las decisiones, tu software mantiene el estado y el LLM escribe las palabras. Cada decisión es visible, rápida y medible. Cuando eso funcione, la voz dejará de ser un canal para llamadas simples y se convertirá en la forma en que las personas hablan con el software.

Estoy construyendo esa capa de decisión en @tazolabs, y compartiré más sobre nuestros modelos en los próximos días.

Si desarrollas agentes de voz, me encantaría saber con qué decisiones lucha tu agente hoy. Y si esta visión resuena contigo, ven a construir con nosotros en Tazo Labs.

¿Cuál es la decisión en la que tu agente de voz se equivoca con más frecuencia?