Créez des agents vocaux plus performants avec l'API Gemini Live

Nous avons considérablement amélioré l'appel de fonctions et renforcé les capacités audio proactives de l'API Live pour gérer les interruptions, les pauses et les conversations parallèles de manière fluide.

Ivan Solovyev

, Chef de produit, Google DeepMind

Valeria Wu

, Chef de produit, Google DeepMind

Mingqiu Wang

, Ingénieur, Google DeepMind

Aujourd'hui, nous sommes ravis d'annoncer une mise à jour majeure de l'API Live dans l'API Gemini, avec un nouveau modèle audio natif, désormais disponible en aperçu. Cette mise à jour vise à vous aider à créer des agents vocaux plus fiables, réactifs et naturels.

Pour cette version du modèle, nous nous sommes concentrés sur deux aspects clés :

• Un appel de fonctions plus robuste : le rendant plus fiable pour que votre agent se connecte à des données et services externes.
• Des conversations plus naturelles : des interactions plus intuitives grâce à une meilleure compréhension du contexte et une reprise naturelle de la conversation en cas d'interruptions ou de pauses.

Un Grand Bond en Avant pour la Fiabilité

Les expériences d'agents vocaux les plus puissantes et intéressantes sont débloquées lorsqu'ils peuvent se connecter de manière fiable à des données et services externes, permettant aux utilisateurs d'accéder à des informations en temps réel, de prendre rendez-vous ou d'effectuer des transactions. C'est là qu'intervient l'appel de fonctions. Étant donné la nature en temps réel des interactions vocales, il n'y a pas de temps pour réessayer une requête échouée, ce qui rend la fiabilité de l'appel de fonctions absolument cruciale.

Pour voir à quoi ressemble cette fiabilité améliorée en pratique, voici une démonstration rapide en action :

Appel de fonctions plus fiable

Le nouveau modèle est nettement meilleur pour identifier la fonction correcte à appeler, savoir quand ne pas appeler une fonction, et respecter de manière cohérente le schéma d'outil fourni. Nos benchmarks internes montrent une amélioration spectaculaire de la précision de l'appel de fonctions (par exemple, le modèle identifiant et appelant correctement une fonction, y compris dans des scénarios complexes avec 10 fonctions actives ou plus). Par rapport à la version précédente, le succès de l'appel de fonctions a augmenté de 2x dans les tests à un seul appel et de 1,5x dans les tests impliquant 5 à 10 appels. Ce gain de fiabilité est un grand pas en avant pour les applications vocales et nous continuons à améliorer la fiabilité, en particulier pour les scénarios multi-tours, en fonction des retours des développeurs.

Testez les améliorations de l'appel de fonctions du modèle avec cette application dans Google AI Studio.

Résultats basés sur des tests effectués sur Google AI Studio et Vertex AI

Des Conversations Encore Plus Naturelles

Nous avons également ajouté des capacités audio plus proactives pour rendre les interactions plus naturelles. Le modèle ignore désormais les bavardages non pertinents pour la conversation en cours et comprend beaucoup mieux les pauses naturelles et les interruptions de l'utilisateur.

Imaginez que vous parlez à un agent vocal et que quelqu'un entre dans la pièce pour vous poser une question rapide. Le modèle peut maintenant mettre la conversation en pause gracieusement, tout en ignorant les bavardages environnants, et reprendre de manière transparente lorsque vous êtes prêt à continuer.

Meilleure reconnaissance des conversations en arrière-plan

De même, le modèle comprend mieux les rythmes conversationnels, reconnaît le contexte de votre discours et s'adapte à vos pauses, que vous preniez un moment pour articuler une pensée complexe ou que vous parliez simplement de manière décontractée. Dans nos évaluations internes, le nombre de fois où le modèle interrompt incorrectement l'utilisateur lorsqu'il ne parle pas a considérablement diminué par rapport au modèle précédent. Ces améliorations se produisent automatiquement, sans configuration supplémentaire, rendant la conversation beaucoup plus fluide.

Gestion gracieuse des pauses naturelles dans la conversation

Cette mise à jour apporte également des améliorations significatives dans la précision de la détection des interruptions, réduisant notablement le nombre de fois où le modèle ne parvient pas à reconnaître qu'un utilisateur l'interrompt.

0:32

Détection considérablement améliorée des interruptions

Des Réponses Plus Intelligentes avec des Capacités de « Réflexion »

Dans le prolongement de ce lancement, la semaine prochaine, nous déploierons la prise en charge des capacités de « réflexion », similaires à celles de Gemini 2.5 Flash et Pro. Nous reconnaissons que toutes les questions ne peuvent ou ne doivent pas recevoir de réponse instantanée. Pour les requêtes complexes qui nécessitent un raisonnement plus approfondi, vous pourrez définir un « budget de réflexion », permettant au modèle de prendre quelques instants pour traiter la demande de manière plus approfondie. Dans le cadre du processus de réflexion, le modèle renverra un résumé textuel de sa réflexion.

L'API Live dans le Monde Réel

Nous avons travaillé en étroite collaboration avec nos partenaires en accès anticipé pour tester et améliorer les capacités de l'API, et presque tous ont rapporté des résultats positifs après avoir testé le dernier modèle.

Par exemple, Ava, un système d'exploitation familial alimenté par l'IA, utilise l'API Live pour agir comme un « COO domestique ». Ava traite des entrées désordonnées du monde réel comme des e-mails scolaires, des PDF et des notes vocales, les transformant en actions telles que des événements de calendrier.

« La capacité à avoir un chat vocal naturel et bidirectionnel était une exigence fondamentale », déclare Joe Alicata, cofondateur et CTO d'Ava. « Les améliorations du dernier modèle en matière de précision de l'appel de fonctions ont changé la donne. Nous constatons une précision de premier passage plus élevée sur des entrées bruyantes et moins de bidouilles fragiles de prompts, ce qui a permis à notre petite équipe de livrer un produit multimodal, agentique et fiable beaucoup plus rapidement. »

Commencez Dès Aujourd'hui

Vous pouvez commencer à construire avec l'API Live dès maintenant :

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Get audio data, e.g., from microphone
22        audio_bytes = record_audio()
23
24        # Send audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receive responses
30        async for response in session.receive():
31            if response.data is not None:
32                # Play audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Rendez-vous sur la documentation de l'API Live pour en savoir plus et trouver des exemples de code complets dans les cookbooks.

Nous pensons que ces mises à jour ouvriront de nouvelles possibilités pour créer des expériences vocales puissantes et intuitives, et nous aurons encore plus à partager prochainement sur l'API Live. Bonne création !