利用 Gemini Live API 打造更強大的語音 Agent

我們大幅改進了函式呼叫功能，並增強了 Live API 的主動式音訊能力，使其能優雅地處理中斷、停頓和旁白對話。

Ivan Solovyev

，Google DeepMind 產品經理

Valeria Wu

，Google DeepMind 產品經理

Mingqiu Wang

，Google DeepMind 工程師

今天，我們很高興宣布 Gemini API 的 Live API 迎來重大更新，推出全新的原生音訊模型，即日起提供預覽版。這項更新旨在協助你打造更可靠、反應更快、聽起來更自然的語音代理。

針對此次模型發布，我們聚焦於兩個關鍵領域：

• 更強大的函式呼叫： 讓你的代理能更可靠地連結外部資料與服務。
• 更自然的對話： 確保互動更直覺，能更好地理解上下文，並在遇到中斷或停頓時自然地恢復對話。

可靠性大幅提升

最強大、最有趣的語音代理體驗，來自於代理能可靠地連結外部資料與服務，讓使用者能存取即時資訊、預約或完成交易。而這正是函式呼叫發揮作用的地方。由於語音互動具有即時性，沒有時間重新嘗試失敗的請求，因此函式呼叫的可靠性至關重要。

實際的可靠性提升效果如何？以下快速展示：

更可靠的函式呼叫

新模型在辨識正確函式、判斷何時不該呼叫函式，以及一致遵循工具模式方面，表現顯著提升。我們的內部基準測試顯示，函式呼叫準確率大幅進步（例如在 10 個以上作用中函式的複雜情境中，模型能正確辨識並呼叫函式）。與前一版相比，單次呼叫測試的函式呼叫成功率提升 2 倍，5 到 10 次呼叫的測試則提升 1.5 倍。這項可靠性提升對語音應用來說是一大步，我們也將持續根據開發者回饋，針對多輪對話情境進一步改善。

你可以在 Google AI Studio 中透過這個應用程式測試模型的函式呼叫改進成果。

上述結果基於在 Google AI Studio 及 Vertex AI 上進行的測試

更自然的對話體驗

我們也加入了更多主動式音訊功能，讓互動更貼近自然。模型現在會忽略與當前對話無關的雜音，同時更擅長理解使用者的自然停頓與中斷。

想像你正在與語音代理對話，此時有人走進房間問你一個簡單問題。模型現在能優雅地暫停對話，忽略旁人的交談，並在你準備好繼續時無縫接續。

更佳的背景對話辨識

同樣地，模型現在能更好地理解對話節奏，辨識你說話的上下文，並適應你的停頓——無論你是需要時間組織複雜想法，還是只是隨興交談。在我們的內部評估中，與上一版模型相比，模型在使用者並未說話時錯誤中斷的次數大幅減少。這些改進會自動生效，無需額外設定，讓對話更流暢。

優雅處理對話中的自然停頓

此次更新也顯著改善了中斷偵測的準確度，大幅降低了模型未能辨識使用者中斷的次數。

0:32

中斷偵測能力顯著提升

具備「思考」能力的更智慧回應

緊接此次發布，下週我們將推出「思考」能力支援，類似 Gemini 2.5 Flash 與 Pro 的功能。我們理解並非所有問題都應立即回答。對於需要更深層推理的複雜查詢，你將可以設定「思考預算」，讓模型花費幾秒鐘更仔細地處理請求。在思考過程中，模型會回傳其思考過程的文字摘要。

Live API 的實際應用

我們與早期合作夥伴密切合作，測試並改善 API 功能，幾乎所有合作夥伴都回報最新模型的測試結果正向。

例如 Ava 這個 AI 驅動的家庭作業系統，便利用 Live API 扮演「家庭營運長」的角色。Ava 處理混亂的真實世界輸入，如學校電子郵件、PDF 及語音筆記，並將其轉化為日曆事件等行動。

「能夠進行自然的雙向語音對話是我們的基本要求，」Ava 共同創辦人兼技術長 Joe Alicata 表示。「最新模型在函式呼叫準確度上的改進是關鍵轉折點。我們看到在雜訊輸入上，首次通過的準確率更高，提示詞的脆弱破解也減少了，這讓我們的小團隊能更快地推出可靠、具代理能力且多模態的產品。」

立即開始使用

你現在就可以開始使用 Live API 進行開發：

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """你是一位樂於助人且親切的 AI 助手。
10你的預設語氣是友善、有參與感且清晰，帶有一點樂觀的機智。
11透過釐清模糊的問題來預測使用者需求，並總是以一個引人入勝的後續問題來結束你的回應，讓對話持續流暢。"""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # 取得音訊資料，例如從麥克風
22        audio_bytes = record_audio()
23
24        # 傳送音訊
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # 接收回應
30        async for response in session.receive():
31            if response.data is not None:
32                # 播放音訊...
33
34if __name__ == "__main__":
35    asyncio.run(main())

前往 Live API 文件 了解更多資訊，並在 cookbooks 中尋找端到端的程式碼範例。

我們相信這些更新將為打造強大且直覺的語音體驗開啟全新可能，我們也很快會分享更多關於 Live API 的內容。祝你開發愉快！