Crea agenti vocali più potenti con l'API Gemini Live

Abbiamo migliorato significativamente il function calling e potenziato le capacità audio proattive nella Live API per gestire con grazia interruzioni, pause e conversazioni collaterali.

Ivan Solovyev

, Product Manager, Google DeepMind

Valeria Wu

, Product Manager, Google DeepMind

Mingqiu Wang

, Ingegnere, Google DeepMind

Oggi siamo entusiasti di annunciare un importante aggiornamento della Live API in Gemini API, con un nuovo modello audio nativo, ora disponibile in anteprima. Questo aggiornamento è progettato per aiutarti a creare agenti vocali più affidabili, reattivi e dal suono naturale.

Per questo rilascio del modello, ci siamo concentrati su due aree chiave:

• Function calling più robusto: Rendere più affidabile la connessione del tuo agente a dati e servizi esterni.
• Conversazioni più naturali: Garantire che le interazioni siano più intuitive, con una migliore comprensione del contesto e una ripresa naturale della conversazione in caso di interruzioni o pause.

Un grande passo avanti per l'affidabilità

Le esperienze con agenti vocali più potenti e interessanti vengono sbloccate quando riescono a connettersi in modo affidabile a dati e servizi esterni, consentendo agli utenti di accedere a informazioni in tempo reale, prenotare appuntamenti o completare transazioni. È qui che entra in gioco il function calling. Data la natura in tempo reale delle interazioni vocali, non c'è tempo per riprovare una richiesta fallita, rendendo l'affidabilità del function calling assolutamente critica.

Per vedere come si presenta questa maggiore affidabilità nella pratica, ecco una rapida dimostrazione:

Function calling più affidabile

Il nuovo modello è nettamente migliore nell'identificare la funzione corretta da chiamare, nel sapere quando non chiamare una funzione e nell'aderire in modo coerente allo schema degli strumenti fornito. I nostri benchmark interni mostrano un miglioramento drastico nell'accuratezza del function calling (ad esempio, il modello identifica e chiama correttamente una funzione, anche in scenari complessi con 10 o più funzioni attive). Rispetto alla versione precedente, il successo del function calling è aumentato di 2x nei test a chiamata singola e di 1,5x nei test che coinvolgono da 5 a 10 chiamate. Questo aumento di affidabilità è un grande passo avanti per le applicazioni vocali e continueremo a migliorare l'affidabilità, specialmente per scenari multi-turno, basandoci sul feedback degli sviluppatori.

Testa i miglioramenti del function calling del modello con questa app in Google AI Studio.

Risultati basati su test eseguiti su Google AI Studio e Vertex AI

Conversazioni ancora più naturali

Abbiamo anche aggiunto più capacità audio proattive per rendere le interazioni più fluide. Il modello ora ignora le chiacchiere non rilevanti per la conversazione in corso ed è anche molto più bravo a comprendere le pause naturali e le interruzioni da parte dell'utente.

Immagina di parlare con un agente vocale e qualcuno entra nella stanza per farti una domanda veloce. Il modello ora può mettere in pausa la conversazione con garbo, ignorando le chiacchiere di sottofondo, e riprendere senza soluzione di continuità quando sei pronto a continuare.

Miglior riconoscimento delle conversazioni di sottofondo

Allo stesso modo, il modello ora comprende meglio i ritmi conversazionali, riconoscendo il contesto del tuo discorso e adattandosi alle tue pause, che tu stia prendendo un momento per articolare un pensiero complesso o semplicemente parlando in modo informale. Nelle nostre valutazioni interne, il numero di volte in cui il modello interrompe erroneamente l'utente quando non sta parlando è diminuito significativamente rispetto al modello precedente. Questi miglioramenti avvengono automaticamente, senza alcuna configurazione aggiuntiva, rendendo la conversazione molto più fluida.

Gestione elegante delle pause naturali nella conversazione

Questo aggiornamento porta anche notevoli miglioramenti nell'accuratezza del rilevamento delle interruzioni, riducendo sensibilmente il numero di volte in cui il modello non riconosce quando un utente lo interrompe.

0:32

Rilevamento delle interruzioni significativamente migliorato

Risposte più intelligenti con capacità di "ragionamento"

Come seguito a questo lancio, la prossima settimana implementeremo il supporto per le capacità di "ragionamento", simili a quelle di Gemini 2.5 Flash e Pro. Riconosciamo che non tutte le domande possono o devono avere una risposta immediata. Per query complesse che richiedono un ragionamento più approfondito, potrai impostare un "budget di ragionamento", consentendo al modello di prendersi qualche momento per elaborare la richiesta in modo più approfondito. Come parte del processo di ragionamento, il modello invierà un riepilogo testuale del suo ragionamento.

La Live API nel mondo reale

Abbiamo lavorato a stretto contatto con i nostri partner di accesso anticipato per testare e migliorare le capacità dell'API, e quasi tutti hanno riportato risultati positivi dai test con l'ultimo modello.

Ad esempio, Ava, un sistema operativo familiare basato sull'IA, utilizza la Live API per agire come un "COO domestico". Ava elabora input reali e disordinati come email scolastiche, PDF e note vocali, trasformandoli in azioni come eventi del calendario.

"La capacità di avere una chat vocale naturale e bidirezionale era un requisito imprescindibile", afferma Joe Alicata, co-fondatore e CTO di Ava. "I miglioramenti dell'ultimo modello nell'accuratezza del function calling sono stati un punto di svolta. Stiamo riscontrando una maggiore precisione al primo passaggio su input rumorosi e meno stratagemmi fragili per i prompt, il che ha permesso al nostro piccolo team di spedire un prodotto multimodale, agentivo e affidabile molto più velocemente."

Inizia oggi

Puoi iniziare a creare con la Live API subito:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Get audio data, e.g., from microphone
22        audio_bytes = record_audio()
23
24        # Send audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receive responses
30        async for response in session.receive():
31            if response.data is not None:
32                # Play audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Vai alla documentazione della Live API per saperne di più e trovare esempi di codice end-to-end nei cookbook.

Crediamo che questi aggiornamenti sbloccheranno nuove possibilità per creare esperienze vocali potenti e intuitive, e avremo presto altro da condividere sulla Live API. Buon sviluppo!