Crea agentes de voz más potentes con la API de Gemini Live

Hemos mejorado significativamente la invocación de funciones y mejorado las capacidades de audio proactivo en Live API para manejar interrupciones, pausas y conversaciones paralelas de manera natural.

Ivan Solovyev

, Gerente de Producto, Google DeepMind

Valeria Wu

, Gerente de Producto, Google DeepMind

Mingqiu Wang

, Ingeniero, Google DeepMind

Hoy nos complace anunciar una actualización significativa de la Live API en Gemini API, que incluye un nuevo modelo de audio nativo, ahora disponible en vista previa. Esta actualización está diseñada para ayudarte a crear agentes de voz más fiables, receptivos y con un sonido más natural.

Para este lanzamiento del modelo, nos hemos centrado en dos áreas clave:

• Invocación de funciones más robusta: Haciéndola más fiable para que tu agente se conecte a datos y servicios externos.
• Conversaciones más naturales: Asegurando que las interacciones se sientan más intuitivas con una mejor comprensión del contexto y una reanudación natural de la conversación en caso de interrupciones o pausas.

Un Gran Impulso a la Fiabilidad

Las experiencias de agentes de voz más potentes e interesantes se desbloquean cuando pueden conectarse de manera fiable a datos y servicios externos, permitiendo a los usuarios acceder a información en tiempo real, reservar citas o completar transacciones. Aquí es donde entra la invocación de funciones. Dada la naturaleza en tiempo real de las interacciones de voz, no hay tiempo para reintentar una solicitud fallida, lo que hace que la fiabilidad de la invocación de funciones sea absolutamente crítica.

Para ver cómo se ve esta fiabilidad mejorada en la práctica, aquí tienes una demostración rápida:

Invocación de funciones más fiable

El nuevo modelo es significativamente mejor para identificar la función correcta a invocar, saber cuándo no invocar una función y adherirse consistentemente al esquema de herramientas proporcionado. Nuestros benchmarks internos muestran una mejora dramática en la precisión de la invocación de funciones (por ejemplo, el modelo identificando e invocando correctamente una función, incluso en escenarios complejos con 10 o más funciones activas). En comparación con la versión anterior, el éxito de la invocación de funciones aumentó 2x en pruebas de una sola llamada y 1.5x en pruebas de 5 a 10 llamadas. Este impulso en la fiabilidad es un gran paso adelante para las aplicaciones de voz y seguimos mejorando la fiabilidad, especialmente para escenarios de múltiples turnos, basándonos en los comentarios de los desarrolladores.

Prueba las mejoras de invocación de funciones del modelo con esta aplicación en Google AI Studio.

Resultados basados en pruebas realizadas en Google AI Studio y Vertex AI

Conversaciones Aún Más Naturales

También hemos añadido más capacidades de audio proactivo para hacer que las interacciones se sientan más naturales. El modelo ahora ignora charlas irrelevantes para la conversación activa y también es significativamente mejor para entender las pausas e interrupciones naturales por parte del usuario.

Imagina que estás hablando con un agente de voz y alguien entra a la habitación para hacerte una pregunta rápida. El modelo ahora puede pausar la conversación de manera natural, ignorando la charla secundaria, y reanudarla sin problemas cuando estés listo para continuar.

Mejor reconocimiento de conversaciones de fondo

Del mismo modo, el modelo ahora es mejor para entender los ritmos conversacionales, reconociendo el contexto de tu discurso y adaptándose a tus pausas, ya sea que te estés tomando un momento para articular un pensamiento complejo o simplemente hablando de manera casual. En nuestras evaluaciones internas, el número de veces que el modelo interrumpe incorrectamente al usuario cuando no está hablando disminuyó significativamente en comparación con el modelo anterior. Estas mejoras ocurren automáticamente, sin necesidad de configuración adicional, haciendo que la conversación sea mucho más fluida.

Manejo natural de las pausas en la conversación

Esta actualización también trae mejoras significativas en la precisión de la detección de interrupciones, reduciendo notablemente el número de veces que el modelo no reconoce cuando un usuario interrumpe.

0:32

Detección de interrupciones significativamente mejorada

Respuestas Más Inteligentes con Capacidades de "Razonamiento"

Como continuación de este lanzamiento, la próxima semana implementaremos soporte para capacidades de "razonamiento", similares a las de Gemini 2.5 Flash y Pro. Reconocemos que no todas las preguntas pueden o deben responderse al instante. Para consultas complejas que requieren un razonamiento más profundo, podrás establecer un "presupuesto de razonamiento", permitiendo que el modelo se tome unos momentos para procesar la solicitud más a fondo. Como parte del proceso de razonamiento, el modelo enviará un resumen de texto de su razonamiento.

Live API en el mundo real

Hemos estado trabajando estrechamente con nuestros socios de acceso temprano para probar y mejorar las capacidades de la API, y casi todos han informado resultados positivos al probar el último modelo.

Por ejemplo, Ava, un sistema operativo familiar impulsado por IA, utiliza Live API para actuar como un "director de operaciones del hogar". Ava procesa entradas desordenadas del mundo real, como correos electrónicos escolares, PDFs y notas de voz, convirtiéndolas en acciones como eventos de calendario.

"La capacidad de tener un chat de voz natural y bidireccional era un requisito difícil", dice Joe Alicata, cofundador y CTO de Ava. "Las mejoras del último modelo en la precisión de la invocación de funciones fueron un cambio radical. Estamos viendo una mayor precisión en el primer intento con entradas ruidosas y menos trucos frágiles de prompting, lo que permitió a nuestro pequeño equipo lanzar un producto multimodal, agéntico y fiable mucho más rápido".

Empieza Hoy

Puedes empezar a crear con Live API ahora mismo:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """Eres un asistente de IA útil y amigable.
10Tu tono predeterminado es servicial, atractivo y claro, con un toque de ingenio optimista.
11Anticipa las necesidades del usuario aclarando preguntas ambiguas y siempre concluye tus respuestas con una pregunta de seguimiento interesante para mantener la conversación fluida."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Obtén datos de audio, por ejemplo, del micrófono
22        audio_bytes = record_audio()
23
24        # Envía audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Recibe respuestas
30        async for response in session.receive():
31            if response.data is not None:
32                # Reproduce audio...

Dirígete a la documentación de Live API para obtener más información y encontrar ejemplos de código completos en los cookbooks.

Creemos que estas actualizaciones desbloquearán nuevas posibilidades para crear experiencias de voz potentes e intuitivas, y pronto tendremos más que compartir sobre Live API. ¡Feliz creación!