Crie agentes de voz mais poderosos com a API Gemini Live

Melhoramos significativamente a chamada de funções e aprimoramos as capacidades proativas de áudio na Live API para lidar com interrupções, pausas e conversas paralelas de forma natural.

Ivan Solovyev

, Gerente de Produto, Google DeepMind

Valeria Wu

, Gerente de Produto, Google DeepMind

Mingqiu Wang

, Engenheiro, Google DeepMind

Hoje, temos o prazer de anunciar uma grande atualização da Live API no Gemini API, com um novo modelo de áudio nativo, agora disponível em preview. Esta atualização foi projetada para ajudá-lo a criar agentes de voz mais confiáveis, responsivos e com som natural.

Para este lançamento do modelo, focamos em duas áreas principais:

• Chamada de funções mais robusta: Tornando mais confiável a conexão do seu agente a dados e serviços externos.
• Conversas mais naturais: Garantindo que as interações pareçam mais intuitivas, com melhor compreensão do contexto e retomada natural da conversa em caso de interrupções ou pausas.

Um Grande Impulso para a Confiabilidade

As experiências de agente de voz mais poderosas e interessantes são desbloqueadas quando eles podem se conectar de forma confiável a dados e serviços externos—permitindo que os usuários acessem informações em tempo real, marquem compromissos ou concluam transações. É aqui que entra a chamada de funções. Dada a natureza em tempo real das interações de voz, não há tempo para repetir uma solicitação com falha, tornando a confiabilidade da chamada de funções absolutamente crítica.

Para ver como essa confiabilidade melhorada se parece na prática, aqui está uma demonstração rápida em ação:

Chamada de funções mais confiável

O novo modelo é significativamente melhor em identificar a função correta a ser chamada, saber quando não chamar uma função e aderir consistentemente ao esquema de ferramentas fornecido. Nossos benchmarks internos mostram uma melhoria dramática na precisão da chamada de funções (por exemplo, o modelo identificando e chamando corretamente uma função, inclusive em cenários complexos com 10 ou mais funções ativas). Comparado à versão anterior, o sucesso da chamada de funções aumentou em 2x em testes de chamada única e 1.5x em testes envolvendo 5 a 10 chamadas. Esse aumento na confiabilidade é um grande passo à frente para aplicações de voz e continuamos a melhorar a confiabilidade, especialmente para cenários de múltiplas interações, com base no feedback dos desenvolvedores.

Teste as melhorias da chamada de funções do modelo com este aplicativo no Google AI Studio.

Resultados baseados em testes realizados no Google AI Studio e Vertex AI

Conversas Ainda Mais Naturais

Também adicionamos mais capacidades proativas de áudio para tornar as interações mais naturais. O modelo agora ignora conversas irrelevantes para a conversa ativa e também é significativamente melhor em entender pausas naturais e interrupções do usuário.

Imagine que você está falando com um agente de voz e alguém entra na sala para lhe fazer uma pergunta rápida. O modelo agora pode pausar graciosamente a conversa, ignorando a conversa paralela, e retomar perfeitamente quando você estiver pronto para continuar.

Melhor reconhecimento de conversas ao fundo

Da mesma forma, o modelo agora é melhor em entender os ritmos da conversa, reconhecendo o contexto da sua fala e se adaptando às suas pausas—seja você parando para articular um pensamento complexo ou apenas falando casualmente. Em nossas avaliações internas, o número de vezes que o modelo interrompe incorretamente o usuário quando ele não está falando caiu significativamente em comparação com o modelo anterior. Essas melhorias acontecem automaticamente, sem configuração extra necessária, tornando a conversa muito mais fluida.

Manuseio gracioso de pausas naturais na conversa

Esta atualização também traz melhorias significativas na precisão da detecção de interrupções, reduzindo consideravelmente o número de vezes que o modelo falha ao reconhecer quando um usuário interrompe.

0:32

Detecção significativamente melhorada de interrupções

Respostas Mais Inteligentes com Capacidades de "Raciocínio"

Como acompanhamento deste lançamento, na próxima semana estaremos disponibilizando suporte para capacidades de "raciocínio", semelhantes às do Gemini 2.5 Flash e Pro. Reconhecemos que nem todas as perguntas podem ou devem ser respondidas instantaneamente. Para consultas complexas que exigem raciocínio mais profundo, você poderá definir um "orçamento de raciocínio", permitindo que o modelo leve alguns momentos para processar a solicitação de forma mais completa. Como parte do processo de raciocínio, o modelo enviará de volta um resumo textual de seu raciocínio.

Live API no mundo real

Trabalhamos em estreita colaboração com nossos parceiros de acesso antecipado para testar e melhorar as capacidades da API e quase todos relataram resultados positivos ao testar o modelo mais recente.

Por exemplo, Ava, um sistema operacional familiar com IA, usa a Live API para atuar como um "COO doméstico". A Ava processa entradas confusas do mundo real, como e-mails escolares, PDFs e notas de voz, transformando-as em ações como eventos de calendário.

"A capacidade de ter um chat de voz natural e bidirecional era um requisito difícil," diz Joe Alicata, Co-fundador e CTO da Ava. "As melhorias do modelo mais recente na precisão da chamada de funções foram um divisor de águas. Estamos vendo maior precisão de primeira passagem em entradas ruidosas e menos hacks de prompt frágeis, o que permitiu que nossa pequena equipe lançasse um produto confiável, agêntico e multimodal muito mais rápido."

Comece Hoje

Você pode começar a construir com a Live API agora mesmo:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """Você é um assistente de IA útil e amigável.
10Seu tom padrão é útil, envolvente e claro, com um toque de sagacidade otimista.
11Antecipe as necessidades do usuário esclarecendo perguntas ambíguas e sempre conclua suas respostas com uma pergunta de acompanhamento envolvente para manter a conversa fluindo."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Obter dados de áudio, por exemplo, do microfone
22        audio_bytes = record_audio()
23
24        # Enviar áudio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receber respostas
30        async for response in session.receive():
31            if response.data is not None:
32                # Reproduzir áudio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Acesse a documentação da Live API para saber mais e encontrar exemplos de código completos nos cookbooks.

Acreditamos que essas atualizações desbloquearão novas possibilidades para criar experiências de voz poderosas e intuitivas, e teremos ainda mais novidades sobre a Live API em breve. Boas construções!