Crea agentes de voz más potentes con la API de Gemini Live

Hemos mejorado significativamente las llamadas a funciones y reforzado las capacidades de audio proactivas en la Live API para manejar interrupciones, pausas y conversaciones laterales de manera natural.

Ivan Solovyev

, Gerente de Producto, Google DeepMind

Valeria Wu

, Gerente de Producto, Google DeepMind

Mingqiu Wang

, Ingeniero, Google DeepMind

Hoy nos complace anunciar una actualización importante de la Live API en la Gemini API, que incluye un nuevo modelo de audio nativo, ahora disponible en vista previa. Esta actualización está diseñada para ayudarte a crear agentes de voz más confiables, receptivos y de sonido natural.

Para este lanzamiento del modelo, nos hemos centrado en dos áreas clave:

• Llamadas a funciones más robustas: Haciendo que sea más confiable para que tu agente se conecte a datos y servicios externos.
• Conversaciones más naturales: Asegurando que las interacciones se sientan más intuitivas con una mejor comprensión del contexto y la reanudación natural de la conversación en caso de interrupciones o pausas.

Un Gran Impulso para la Confiabilidad

Las experiencias más potentes e interesantes con agentes de voz se logran cuando pueden conectarse de manera confiable a datos y servicios externos, lo que permite a los usuarios acceder a información en tiempo real, reservar citas o completar transacciones. Aquí es donde entran las llamadas a funciones. Dada la naturaleza en tiempo real de las interacciones de voz, no hay tiempo para reintentar una solicitud fallida, lo que hace que la confiabilidad de las llamadas a funciones sea absolutamente crítica.

Para ver cómo se ve esta mejora en la confiabilidad en la práctica, aquí hay una demostración rápida en acción:

Llamadas a funciones más confiables

El nuevo modelo es significativamente mejor para identificar la función correcta a llamar, saber cuándo no llamar a una función y adherirse consistentemente al esquema de herramientas proporcionado. Nuestros puntos de referencia internos muestran una mejora dramática en la precisión de las llamadas a funciones (por ejemplo, el modelo identifica y llama correctamente una función, incluso en escenarios complejos con 10 o más funciones activas). En comparación con la versión anterior, el éxito de las llamadas a funciones aumentó 2x en pruebas de una sola llamada y 1.5x en pruebas que involucran de 5 a 10 llamadas. Este impulso en la confiabilidad es un gran paso adelante para las aplicaciones de voz y continuaremos mejorando la confiabilidad, especialmente para escenarios de múltiples turnos, basándonos en los comentarios de los desarrolladores.

Prueba las mejoras en las llamadas a funciones del modelo con esta aplicación en Google AI Studio.

Resultados basados en pruebas realizadas en Google AI Studio y Vertex AI

Conversaciones Aún Más Naturales

También hemos agregado capacidades de audio más proactivas para que las interacciones se sientan más naturales. El modelo ahora ignora las conversaciones irrelevantes para la conversación activa y también es significativamente mejor para entender las pausas naturales y las interrupciones por parte del usuario.

Imagina que estás hablando con un agente de voz y alguien entra a la habitación para hacerte una pregunta rápida. El modelo ahora puede pausar la conversación de manera natural, ignorando la charla lateral, y reanudarla sin problemas cuando estés listo para continuar.

Mejor reconocimiento de conversaciones de fondo

De manera similar, el modelo ahora es mejor para entender los ritmos conversacionales, reconocer el contexto de tu discurso y adaptarse a tus pausas, ya sea que estés tomando un momento para articular un pensamiento complejo o simplemente hablando de manera casual. En nuestras evaluaciones internas, la cantidad de veces que el modelo interrumpe incorrectamente al usuario cuando no está hablando disminuyó significativamente en comparación con el modelo anterior. Estas mejoras ocurren automáticamente, sin necesidad de configuración adicional, haciendo que la conversación sea mucho más fluida.

Manejo natural de las pausas en la conversación

Esta actualización también trae mejoras significativas en la precisión de detección de interrupciones, reduciendo notablemente la cantidad de veces que el modelo no reconoce cuando un usuario interrumpe.

0:32

Detección de interrupciones significativamente mejorada

Respuestas Más Inteligentes con Capacidades de "Razonamiento"

Como seguimiento a este lanzamiento, la próxima semana implementaremos el soporte para capacidades de "razonamiento", similares a las de Gemini 2.5 Flash y Pro. Reconocemos que no todas las preguntas pueden o deben responderse al instante. Para consultas complejas que requieren un razonamiento más profundo, podrás establecer un "presupuesto de razonamiento", permitiendo que el modelo tome unos momentos para procesar la solicitud de manera más exhaustiva. Como parte del proceso de razonamiento, el modelo enviará un resumen de texto de su razonamiento.

Live API en el mundo real

Hemos estado trabajando estrechamente con nuestros socios de acceso anticipado para probar y mejorar las capacidades de la API, y casi todos han informado resultados positivos al probar el último modelo.

Por ejemplo, Ava, un sistema operativo familiar impulsado por IA, utiliza la Live API para actuar como una "COO del hogar". Ava procesa entradas desordenadas del mundo real, como correos electrónicos escolares, PDFs y notas de voz, convirtiéndolas en acciones como eventos de calendario.

"La capacidad de tener un chat de voz natural y bidireccional fue un requisito indispensable", dice Joe Alicata, cofundador y CTO de Ava. "Las mejoras del último modelo en la precisión de las llamadas a funciones fueron un cambio radical. Estamos viendo una mayor precisión en el primer intento con entradas ruidosas y menos soluciones improvisadas frágiles, lo que permitió a nuestro pequeño equipo lanzar un producto multimodal, agéntico y confiable mucho más rápido."

Comienza Hoy Mismo

Puedes empezar a construir con Live API ahora mismo:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """Eres un asistente de IA amable y servicial.
10Tu tono predeterminado es servicial, atractivo y claro, con un toque de ingenio optimista.
11Anticipa las necesidades del usuario aclarando preguntas ambiguas y siempre concluye tus respuestas con una pregunta de seguimiento atractiva para mantener la conversación fluyendo."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Obtener datos de audio, por ejemplo, del micrófono
22        audio_bytes = record_audio()
23
24        # Enviar audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Recibir respuestas
30        async for response in session.receive():
31            if response.data is not None:
32                # Reproducir audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Dirígete a la documentación de Live API para obtener más información y encuentra ejemplos de código completos en los cookbooks.

Creemos que estas actualizaciones desbloquearán nuevas posibilidades para crear experiencias de voz potentes e intuitivas, y tendremos aún más que compartir sobre la Live API pronto. ¡Feliz construcción!