利用 Gemini Live API 构建更强大的语音 Agent

我们显著改进了函数调用功能，并增强了 Live API 的主动音频能力，使其能够优雅地处理中断、暂停和旁白对话。

Ivan Solovyev

，Google DeepMind 产品经理

Valeria Wu

，Google DeepMind 产品经理

Mingqiu Wang

，Google DeepMind 工程师

今天，我们激动地宣布对 Gemini API 中的 Live API 进行重大更新，推出了新的原生音频模型，目前以预览版形式提供。此次更新旨在帮助你构建更可靠、响应更快且听起来更自然的语音 Agent。

针对这次模型发布，我们聚焦于两个关键领域：

• 更稳健的函数调用： 让你的 Agent 能够更可靠地连接外部数据和服务。
• 更自然的对话： 确保交互更直观，更好地理解上下文，并在发生中断或暂停时自然恢复对话。

可靠性大幅提升

最强大、最有趣的语音 Agent 体验，源于它们能够可靠地连接外部数据和服务——让用户可以获取实时信息、预约或完成交易。这正是函数调用的用武之地。由于语音交互的实时性，没有时间重试失败的请求，因此函数调用的可靠性至关重要。

为了直观展示这种改进后的可靠性，下面是一个快速演示：

更可靠的函数调用

新模型在识别正确的函数、判断何时不调用函数以及始终如一地遵循提供的工具架构方面，能力显著提升。我们的内部基准测试显示，函数调用的准确性有了大幅提高（例如，模型能正确识别并调用函数，包括在涉及 10 个或更多活跃函数的复杂场景中）。与上一版本相比，单次调用测试中函数调用成功率提升了 2 倍，在涉及 5 到 10 次调用的测试中提升了 1.5 倍。这种可靠性的提升是语音应用向前迈出的一大步，我们将根据开发者的反馈继续改进可靠性，特别是针对多轮交互场景。

通过 Google AI Studio 中的这个应用 测试该模型的函数调用改进。

基于在 Google AI Studio 和 Vertex AI 上运行的测试结果

更自然的对话

我们还增加了更多主动音频能力，让交互感觉更自然。现在，模型会忽略与当前对话不相关的闲聊，并且能更好地理解用户的自然停顿和中断。

想象一下，你正在与语音 Agent 对话，有人走进房间问你一个简短的问题。模型现在可以优雅地暂停对话，忽略旁白闲聊，并在你准备好继续时无缝恢复。

更好地识别背景对话

同样，模型现在能更好地理解对话节奏，识别你说话的语境，并适应你的停顿——无论你是在构思复杂想法，还是只是随口闲聊。在我们的内部评估中，与上一个模型相比，模型在用户未说话时错误中断用户的次数显著减少。这些改进是自动发生的，无需额外设置，从而使对话更加流畅。

优雅处理对话中的自然停顿

此次更新还显著提升了中断检测的准确性，明显减少了模型未能识别用户中断的次数。

0:32

显著改进的中断检测

借助"思考"能力实现更智能的响应

作为本次发布的后续，下周我们将推出对"思考"能力的支持，类似于 Gemini 2.5 Flash 和 Pro 中的功能。我们意识到并非所有问题都能或都应该立即回答。对于需要更深层推理的复杂查询，你将能够设置"思考预算"，让模型花一些时间更彻底地处理请求。在思考过程中，模型会发回一个文本摘要，说明其思考内容。

实际应用中的 Live API

我们一直在与早期访问合作伙伴密切合作，测试和改进 API 功能，几乎所有合作伙伴都报告了测试最新模型的积极成果。

例如，Ava 是一个 AI 驱动的家庭操作系统，它利用 Live API 充当"家庭 COO"。Ava 处理杂乱的真实世界输入，如学校邮件、PDF 和语音笔记，并将其转化为日历事件等行动。

"能够进行自然的双向语音聊天是一个硬性要求，"Ava 联合创始人兼 CTO Joe Alicata 表示。"最新模型在函数调用准确性方面的改进改变了游戏规则。我们在嘈杂输入上看到了更高的首次通过准确率，并且减少了脆弱的提示 hack，这使我们的小团队能够更快地交付可靠、具有 Agent 能力的多模态产品。"

立即开始使用

你现在就可以开始使用 Live API 进行构建：

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # 获取音频数据，例如从麦克风获取
22        audio_bytes = record_audio()
23
24        # 发送音频
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # 接收响应
30        async for response in session.receive():
31            if response.data is not None:
32                # 播放音频...
33
34if __name__ == "__main__":
35    asyncio.run(main())

前往 Live API 文档 了解更多信息，并在 cookbooks 中查找端到端代码示例。

我们相信，这些更新将为创造强大且直观的语音体验开启新的可能性，我们很快还会分享更多关于 Live API 的内容。祝开发愉快！