Crie agentes de voz mais poderosos com a Gemini Live API

Melhoramos significativamente a chamada de funções e aprimoramos os recursos de áudio proativo na Live API para lidar com interrupções, pausas e conversas paralelas de forma natural.

Ivan Solovyev

, Gerente de Produto, Google DeepMind

Valeria Wu

, Gerente de Produto, Google DeepMind

Mingqiu Wang

, Engenheiro, Google DeepMind

Hoje, temos o prazer de anunciar uma grande atualização da Live API na API Gemini, que traz um novo modelo de áudio nativo, agora disponível em preview. Esta atualização foi projetada para ajudar você a criar agentes de voz mais confiáveis, responsivos e com som natural.

Para este lançamento do modelo, focamos em duas áreas principais:

• Chamada de funções mais robusta: Tornando mais confiável a conexão do seu agente a dados e serviços externos.
• Conversas mais naturais: Garantindo que as interações sejam mais intuitivas, com melhor compreensão do contexto e retomada natural da conversa em caso de interrupções ou pausas.

Um Grande Impulso para a Confiabilidade

As experiências mais poderosas e interessantes com agentes de voz são desbloqueadas quando eles conseguem se conectar de forma confiável a dados e serviços externos — permitindo que os usuários acessem informações em tempo real, agendem compromissos ou concluam transações. É aí que entra a chamada de funções. Dada a natureza em tempo real das interações de voz, não há tempo para repetir uma solicitação com falha, tornando a confiabilidade da chamada de funções absolutamente crítica.

Para ver como essa confiabilidade aprimorada funciona na prática, aqui está uma demonstração rápida:

Chamada de funções mais confiável

O novo modelo é significativamente melhor em identificar a função correta a ser chamada, saber quando não chamar uma função e aderir de forma consistente ao esquema de ferramentas fornecido. Nossos benchmarks internos mostram uma melhora drástica na precisão da chamada de funções (por exemplo, o modelo identificando e chamando corretamente uma função, inclusive em cenários complexos com 10 ou mais funções ativas). Comparado à versão anterior, o sucesso da chamada de funções aumentou em 2x em testes de chamada única e 1,5x em testes envolvendo 5 a 10 chamadas. Esse aumento de confiabilidade é um grande passo para aplicações de voz e continuamos melhorando a confiabilidade, especialmente para cenários de múltiplas interações, com base no feedback dos desenvolvedores.

Teste as melhorias de chamada de funções do modelo com este aplicativo no Google AI Studio.

Resultados baseados em testes realizados no Google AI Studio e Vertex AI

Conversas Ainda Mais Naturais

Também adicionamos mais recursos de áudio proativo para tornar as interações mais naturais. O modelo agora ignora conversas irrelevantes para a conversa ativa e também é significativamente melhor em entender pausas naturais e interrupções do usuário.

Imagine que você está conversando com um agente de voz e alguém entra na sala para lhe fazer uma pergunta rápida. O modelo agora pode pausar a conversa naturalmente, ignorando a conversa paralela, e retomar perfeitamente quando você estiver pronto para continuar.

Melhor reconhecimento de conversas ao fundo

Da mesma forma, o modelo agora é melhor em entender os ritmos da conversa, reconhecer o contexto da sua fala e se adaptar às suas pausas — seja você parando para articular um pensamento complexo ou falando de forma casual. Em nossas avaliações internas, o número de vezes que o modelo interrompe o usuário incorretamente quando ele não está falando caiu significativamente em comparação com o modelo anterior. Essas melhorias acontecem automaticamente, sem necessidade de configuração extra, tornando a conversa muito mais fluida.

Lidando naturalmente com pausas na conversa

Esta atualização também traz melhorias significativas na precisão da detecção de interrupções, reduzindo consideravelmente o número de vezes que o modelo falha em reconhecer quando um usuário o interrompe.

0:32

Detecção de interrupções significativamente melhorada

Respostas Mais Inteligentes com Capacidades de "Thinking"

Como continuação deste lançamento, na próxima semana estaremos implementando suporte para capacidades de "thinking" (raciocínio), semelhantes às do Gemini 2.5 Flash e Pro. Reconhecemos que nem todas as perguntas podem ou devem ser respondidas instantaneamente. Para consultas complexas que exigem raciocínio mais profundo, você poderá definir um "thinking budget", permitindo que o modelo leve alguns instantes para processar a solicitação de forma mais completa. Como parte do processo de raciocínio, o modelo enviará de volta um resumo em texto do seu pensamento.

Live API no Mundo Real

Trabalhamos em estreita colaboração com nossos parceiros de acesso antecipado para testar e melhorar os recursos da API, e quase todos relataram resultados positivos ao testar o modelo mais recente.

Por exemplo, a Ava, um sistema operacional familiar com inteligência artificial, usa a Live API para atuar como uma "COO doméstica". A Ava processa entradas confusas do mundo real, como e-mails escolares, PDFs e notas de voz, transformando-as em ações como eventos de calendário.

"A capacidade de ter um chat de voz natural bidirecional foi um requisito essencial", diz Joe Alicata, cofundador e CTO da Ava. "As melhorias do modelo mais recente na precisão da chamada de funções foram um divisor de águas. Estamos vendo uma maior precisão na primeira tentativa em entradas ruidosas e menos hacks frágeis de prompt, o que permitiu que nossa pequena equipe lançasse um produto multimodal, agentivo e confiável muito mais rápido."

Comece Hoje Mesmo

Você pode começar a criar com a Live API agora mesmo:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Get audio data, e.g., from microphone
22        audio_bytes = record_audio()
23
24        # Send audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receive responses
30        async for response in session.receive():
31            if response.data is not None:
32                # Play audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Acesse a documentação da Live API para saber mais e encontrar exemplos de código completos nos cookbooks.

Acreditamos que essas atualizações abrirão novas possibilidades para criar experiências de voz poderosas e intuitivas, e em breve teremos ainda mais novidades sobre a Live API para compartilhar. Bons projetos!