Mentre pensano, è quasi come se fossero sordi e ciechi. Non riescono a percepire nient'altro di ciò che sta succedendo. -
Mi lascia sbalordito il fatto che la maggior parte degli agenti vocali prenda ancora decisioni basandosi su una trascrizione.
Ogni chiamata viene convertita da audio a testo prima che il "livello di pensiero" dell'agente la veda. Quella conversione comporta delle perdite. Sopravvivono solo le parole. L'esitazione, l'"ehm", il calo del tono alla fine della frase, i rumori di sottofondo, quel mezzo giro per parlare con qualcun altro: tutto questo svanisce.
Così l'agente tira a indovinare. Interrompe le persone a metà di un pensiero, aspetta troppo dopo che hanno finito di parlare e non coglie la rabbia nascosta dietro una frase educata.
Credo che questo sia il divario più grande nell'IA vocale di oggi.
Questo articolo rappresenta il mio punto di vista sullo status quo ed esplora le seguenti domande:
- Un agente può prendere buone decisioni se non ascolta mai la chiamata?
- Perché una rete di LLM non ha colmato questa lacuna?
- Perché non usare modelli speech-to-speech?
- Come sarebbe un "livello di pensiero" che ascolta davvero?
A che punto è il mercato oggi?
https://x.com/jordan_dearsley/status/2085602471918064064
Per anni si è previsto che la voce sarebbe diventata il modo universale di interagire con il software. Nel 2026, quella previsione sta iniziando ad avverarsi. L'IA gestisce miliardi di chiamate aziendali ogni anno, grazie ad aziende come @ElevenLabs e @DeepgramAI, e a più di 800 prodotti di IA vocale.
Ma come nella fase iniziale di qualsiasi ondata tecnologica, l'adozione ha superato la qualità. Solo circa un'azienda su cinque è pienamente soddisfatta dei propri agenti in produzione. Quindi la maggior parte degli agenti si limita a ciò che è economico e affidabile: chiamate in uscita che seguono un copione, o richieste in entrata abbastanza semplici da prevedere.
Quasi tutti gli agenti vocali funzionano a cascata: speech-to-text (STT), poi un LLM, poi text-to-speech (TTS). Gli ingegneri adorano questo design perché permette di scegliere il modello migliore per ogni compito, leggere ogni passaggio intermedio e mantenere un controllo rigoroso su ciò che l'agente dice e fa.
Sebbene STT e TTS abbiano fatto molta strada in termini di latenza e costi, il punto debole è il livello di pensiero.
Cosa si perde con una trascrizione
Il compito del livello di pensiero è semplice: capire in che stato si trova la conversazione e scegliere l'azione che la porta allo stato successivo corretto, ovvero parlare, agire, passare la mano o continuare ad ascoltare.
Il tuo codice sa sempre a quale passaggio del flusso di lavoro si trova una chiamata. Quello che non sa è cosa sta succedendo alla persona dall'altra parte. È proprio questa la parte che il livello di pensiero deve interpretare a ogni turno:
- L'utente ha finito o ha solo fatto una pausa?
- Che lingua sta parlando?
- È incuriosito o arrabbiato per un cattivo servizio?
- Quello in sottofondo è un televisore o sono bambini che giocano?
- Sta parlando con me o con il suo partner?
- Cosa vuole: un rimborso, un nuovo account, un aggiornamento sullo stato?
Due clip audio con la stessa trascrizione: "Sì, procedi pure." Una è rivolta all'agente, l'altra a qualcun altro nella stanza. Solo l'audio permette di distinguerle.
Le domande in grassetto qui sopra ci dicono come è stata detta una cosa, non solo cosa è stato detto. Una trascrizione conserva le parole ma scarta il tono, il ritmo, le pause e l'ambiente circostante.
Prendiamo la prima domanda. Sappiamo tutti che una persona sta per finire di parlare prima ancora che arrivi il silenzio: il tono cala, il ritmo rallenta, la voce si affievolisce. I modelli che ascoltano l'audio imparano a usare esattamente questi segnali (Ekstedt & Skantze, 2022). Ma i modelli che leggono solo trascrizioni non possono farlo, perché la prosodia non è mai stata messa per iscritto (Rajaa, 2026).
Lo stesso vale per la quinta domanda. Quando Apple ha testato se una frase era destinata al suo assistente, aggiungere l'audio alla trascrizione ha ridotto gli errori fino al 39% rispetto alla sola trascrizione.
Le decisioni migliori nascono dall'uso combinato di audio e testo. Purtroppo, gli agenti di oggi ricevono solo il testo.
Solo trascrizione: il 74,8% dei turni viene interrotto troppo presto. Con l'audio: il 7,8%. Uniphore, arXiv 2609.11066.
Perché la rete di LLM si scontra con un muro
Per costruire il "livello di pensiero", gli ingegneri hanno scelto la soluzione più avida. Si sono lanciati sulla strada più facile con il massimo ritorno immediato: assumere il miglior LLM frontier del momento e consegnargli un unico gigantesco manuale su cosa fare. Questo è stato l'intero biennio 2023-24.
Ci sono un paio di problemi in questo approccio.
- Primo, i team si sono resi conto che gli LLM sono imprevedibili e lenti, e che perdono le istruzioni nei prompt lunghi e densi.
- Secondo, una singola chiamata LLM non basta per comprendere un enunciato.
Il passo logico successivo è stato quindi una rete di LLM più veloci ed economici: uno per ogni compito diverso, con un orchestratore in cima. Le demo erano fantastiche. I clienti restavano colpiti e i ricavi hanno iniziato ad arrivare.
Questo è lo stack frontier di oggi.
Ma in produzione, questa architettura ha mostrato due crepe:
- Ogni componente legge comunque la stessa trascrizione. Aggiungere altri LLM non può far tornare la pausa o il tono che la trascrizione ha già eliminato.
- I componenti si aspettano a vicenda. Ogni chiamata aggiunge ritardo. Riconoscere il turno, decidere cosa fare ed eseguire le attività assorbe fino all'80% del tempo di risposta.
Un agente vocale a cascata: l'audio del chiamante passa allo speech-to-text, poi a diverse chiamate LLM, infine al text-to-speech. Tono, pause, intonazione, sottofondo e destinatario vengono persi già nello speech-to-text.
Il settore ha suddiviso il livello di pensiero per compiti. Avrebbe dovuto suddividerlo per input: le decisioni che richiedono segnali audio dovrebbero andare a un modello nativo per l'audio, mentre l'LLM dovrebbe lavorare solo sul testo.
Perché non saltare del tutto la trascrizione?
Quest'anno i modelli speech-to-speech (STS) hanno iniziato a mostrare segni di vita concreti. Il loro fascino è evidente: minore latenza, migliore comprensione della conversazione e meno lavoro ingegneristico, comprimendo STT, LLM e TTS in un unico modello.
Lo svantaggio principale è la mancanza di controllo e di dati verificabili. Non puoi prevedere con certezza cosa dirà un modello STS, e le chiamate agli strumenti o l'esecuzione di codice non vengono naturali a un modello che pensa in formato audio.
Credo che nel breve termine l'STS sia ancora lontano dalla realtà. Anche se dovesse accelerare, inizialmente sarà adatto solo a casi d'uso più semplici, come rispondere alle FAQ. Chi sviluppa rimarrà sull'architettura a cascata, in parte per inerzia, ma soprattutto perché ne ha bisogno per il controllo e la flessibilità che offre.
Ecco perché sto costruendo modelli che rendono lo stack a cascata più facile da controllare e fattibile da implementare sia in termini di costi che di latenza.
Il livello che ascolta
Sono convinto che esista un modo per controllare gli agenti ed eliminare il superfluo: i modelli decisionali.
Guarda attentamente GPT-Live e troverai un motore decisionale al suo centro. Molte volte al secondo decide se parlare, continuare ad ascoltare, fare una pausa, interrompere o chiamare uno strumento. La cascata ha bisogno dello stesso motore, ma come componente visibile e controllabile.
Un modello decisionale prende lo stato attuale e un insieme limitato di opzioni (parlare o aspettare, scalare o continuare, quale intento) e restituisce una scelta con una probabilità, in modo più rapido e molto più economico rispetto a un LLM. @typesafeai ha sorpreso tutti dimostrando quanto bene funzioni questo approccio sul testo.
La mia proposta è questa:
- Il modello decisionale ascolta la chiamata e prende le decisioni limitate.
- Il tuo software mantiene lo stato del flusso di lavoro, i permessi e gli strumenti.
- L'LLM fa ciò in cui eccelle: scrivere la risposta, una volta presa la decisione su cosa fare.
Un modello decisionale riceve l'audio, la conversazione fino a quel punto e un insieme di opzioni, e restituisce una probabilità per ciascuna: refund_status 0.91, cancel_order 0.06, escalate 0.03 (esempio).
Il punteggio di confidenza è ciò che fa funzionare tutto questo. Chiedi a un LLM quanto è sicuro e di solito risponderà "molto", anche quando sbaglia (Xiong et al., 2024). I punteggi di un classificatore, invece, possono essere calibrati finché non significano davvero ciò che dicono: quando un classificatore afferma di essere sicuro, di solito lo è (Guo et al., 2017).
I nostri primi esperimenti con i partner di progettazione mostrano che dal 30 al 40% di ciò che un LLM fa all'interno di un agente è esattamente questo tipo di lavoro: instradamento, smistamento, scelta tra opzioni limitate.
Ma i modelli decisionali di oggi lavorano su testo o immagini. TypeSafe AI segnala che ogni modello, Jev incluso, prende decisioni peggiori quando si aggiunge un'altra modalità accanto al testo, e Jev non ha un supporto audio documentato.
Non puoi semplicemente attaccare l'audio a un modello decisionale basato sul testo. Costruirne uno che ascolta richiede tre cose:
- Audio conversazionale reale etichettato con la decisione corretta in ogni momento
- Un modello che decida usando audio e testo insieme
- Punteggi di confidenza che reggano tra accenti diversi, rumori e linee telefoniche scadenti.
Il modello decisionale giusto per la voce è quello che ascolta: un livello decisionale nativo per l'audio.
Cosa cambia quando il livello decisionale può sentire
Con un modello decisionale nativo per l'audio sblocchi i seguenti casi d'uso:
- Agenti che puoi debuggare. Oggi molti team progettano un agente come un grafo di stati: salutare, verificare l'identità, gestire il rimborso, scalare. Ogni turno si riduce a due decisioni: in quale stato si trova realmente la conversazione e verso quale stato dovrebbe muoversi ora? Basta sbagliarne una e l'intera chiamata deraglia.
Con un modello decisionale a ogni passaggio, ogni transizione diventa una piccola unità spiegabile: cosa è stato sentito, quali opzioni c'erano, cosa è stato scelto e con quanta sicurezza. Quando una chiamata va storta, non devi debuggare un prompt gigante. Trovi l'unico ingranaggio che ha ceduto e ripari quel pezzo.
- Risposte pronte prima che il chiamante finisca. Le persone rivelano cosa vogliono prima ancora di completare la frase. "Chiamo per l'ordine che ho fatto la settimana scorsa..." è già una ricerca ordine. Un agente text-first aspetta che l'utente si fermi, attende la trascrizione finale, decide quale strumento chiamare e solo allora lo chiama. Ogni passaggio aggiunge silenzio.
Linea temporale di un chiamante che dice "Chiamo per il mio ordine della settimana scorsa". Un agente text-first aspetta la fine, poi trascrive, decide e chiama get_order. Un router che ascolta avvia get_order a metà frase e risponde appena il chiamante si ferma, risparmiando tempo.
Un modello decisionale che ascolta funziona come un router che anticipa la chiamata. Riconosce l'intento a metà frase e avvia la ricerca mentre l'utente sta ancora parlando, così i dettagli dell'ordine sono pronti nel momento esatto in cui si ferma.
I ricercatori di Meta e CMU hanno dimostrato il vantaggio: prevedere le query agli strumenti in parallelo con il parlato dell'utente ha ridotto la latenza degli strumenti del 20% e reso le risposte più accurate.
- Agenti personali che sembrano istantanei. Gli agenti personali ascoltano comandi tramite note vocali tutto il giorno, in cucina, in auto e per strade trafficate. La maggior parte di ciò che sentono richiede una sola rapida valutazione: è un'attività, un promemoria, un pensiero passeggero, o non era rivolto a me?
Inviare ogni enunciato a un LLM frontier è lento e costoso. Un piccolo modello che ascolta compie quella valutazione in una frazione del tempo e sveglia l'LLM solo quando c'è del vero lavoro da fare. L'agente sembra istantaneo, perché la prima decisione non aspetta mai il modello grande.
https://x.com/signulll/status/2077444321243013306
Il futuro dell'IA vocale
La voce doveva essere l'interfaccia universale. Oggi funziona solo quando la conversazione è prevedibile.
Ma una conversazione senza copione non è priva di limiti. A ogni turno, le mosse sensate sono poche: parlare, aspettare, chiedere, agire, passare la mano. Ciò che nessuno può mettere in un copione è l'ordine. Non serve un copione per controllare una conversazione. Serve prendere bene ogni decisione, partendo da ciò che è stato effettivamente ascoltato.
Questa è la svolta su cui sto scommettendo: prima decidi, poi genera il prompt. Un modello che ascolta prende le decisioni, il tuo software mantiene lo stato e l'LLM scrive le parole. Ogni decisione è visibile, rapida e misurabile. Quando questo funzionerà, la voce smetterà di essere un canale per chiamate semplici e diventerà il modo in cui le persone parlano con il software.
Sto costruendo questo livello decisionale in @tazolabs e nei prossimi giorni condividerò maggiori dettagli sui nostri modelli.
Se sviluppi agenti vocali, mi piacerebbe sapere con quali decisioni il tuo agente fa più fatica oggi. E se ti ritrovi in questa visione, vieni a costruire con noi a Tazo Labs.
Qual è l'unica decisione che il tuo agente vocale sbaglia più spesso?
