Gemini Live API でより強力な音声エージェントを構築する

Live API において、割り込み、一時停止、横からの会話を適切に処理するため、関数呼び出し (function calling) を大幅に改善し、プロアクティブな音声機能を強化しました。

Ivan Solovyev

, Product Manager, Google DeepMind

Valeria Wu

, Product Manager, Google DeepMind

Mingqiu Wang

, Engineer, Google DeepMind

本日、Gemini API の Live API に大幅なアップデートを発表できることを嬉しく思います。新しいネイティブ音声モデルが搭載され、現在プレビューで利用可能です。このアップデートにより、より信頼性が高く、応答性に優れ、自然な響きの音声エージェントを構築できるようになります。

このモデルリリースでは、次の 2 つの主要領域に焦点を当てました。

• より堅牢な関数呼び出し (function calling): エージェントが外部データやサービスに接続する際の信頼性を向上させます。
• より自然な会話: コンテキストの理解を深め、割り込みや一時停止があった場合でも会話を自然に再開できるよう、インタラクションをより直感的にします。

信頼性の大幅な向上

最も強力で興味深い音声エージェントの体験は、外部データやサービスに確実に接続できることで実現します。ユーザーがリアルタイム情報にアクセスしたり、予約をしたり、取引を完了したりできるようになります。ここで関数呼び出し (function calling) が重要になります。音声インタラクションのリアルタイム性を考慮すると、失敗したリクエストを再試行する時間はなく、関数呼び出しの信頼性は極めて重要です。

この改善された信頼性が実際にどのように機能するかを見るために、実際のデモをご紹介します。

より信頼性の高い関数呼び出し

新しいモデルは、呼び出すべき正しい関数を特定し、関数を呼び出すべきでないタイミングを認識し、提供されたツールスキーマに一貫して従う能力が大幅に向上しています。内部ベンチマークでは、関数呼び出しの精度が劇的に向上していることが示されています（例：モデルが正しく関数を識別して呼び出すこと、10 個以上のアクティブな関数がある複雑なシナリオでも）。以前のバージョンと比較して、関数呼び出しの成功率は、単一呼び出しテストで 2 倍、5 ～ 10 回の呼び出しを含むテストで 1.5 倍 向上しました。この信頼性の向上は音声アプリケーションにとって大きな前進であり、開発者のフィードバックに基づいて、特にマルチターンシナリオでの信頼性を引き続き改善していきます。

このモデルの関数呼び出しの改善を、Google AI Studio の こちらのアプリ でテストしてください。

結果は、Google AI Studio および Vertex AI で実行されたテストに基づいています。

さらに自然な会話

さらに、より自然なインタラクションを実現するために、プロアクティブな音声機能を追加しました。モデルは、アクティブな会話に関係ない雑音を無視し、ユーザーによる自然な一時停止や割り込みをより適切に理解できるようになりました。

あなたが音声エージェントと話しているときに、誰かが部屋に入ってきて簡単な質問をする場面を想像してください。モデルは周囲の雑音を無視しながら会話を適切に一時停止し、あなたが続ける準備ができたらシームレスに再開できます。

背景の会話の認識が向上

同様に、モデルは会話のリズムをよりよく理解し、あなたの発話のコンテキストを認識して、複雑な考えを表現するために一呼吸置く場合でも、カジュアルに話す場合でも、一時停止に適応できるようになりました。内部評価では、ユーザーが話していないのにモデルが誤って割り込む回数が、前回のモデルと比較して大幅に減少しました。これらの改善は自動的に行われ、追加の設定は不要で、会話がよりスムーズになります。

会話中の自然な一時停止を適切に処理

このアップデートでは、割り込み検出の精度も大幅に向上し、ユーザーが割り込んだ際にモデルが認識できないケースが著しく減少しました。

0:32

割り込み検出の大幅な改善

「思考」機能によるスマートな応答

このローンチのフォローアップとして、来週、Gemini 2.5 Flash および Pro と同様の「思考」機能のサポートを展開します。すべての質問に即座に答えられるべきではない、または答えるべきではないという認識のもと、より深い推論を必要とする複雑なクエリに対しては、「thinking budget」（思考予算）を設定できるようになり、モデルがリクエストをより徹底的に処理するために数秒間かけることができます。思考プロセスの一環として、モデルは思考のテキスト要約を返します。

実際の世界での Live API

私たちは、API 機能のテストと改善を早期アクセスパートナーと緊密に連携して進めており、ほとんどのパートナーが最新モデルのテストから良好な結果を報告しています。

例えば、Ava（AI を活用した家族向けオペレーティングシステム）は、Live API を使って「家庭の COO」として機能しています。Ava は、学校のメール、PDF、音声メモなどの複雑な実世界の入力を処理し、カレンダーイベントなどのアクションに変換します。

「自然で双方向の音声チャットができることは必須の要件でした」と Ava の共同創業者兼 CTO の Joe Alicata は述べています。「最新モデルによる関数呼び出しの精度向上はゲームチェンジャーでした。ノイズの多い入力でもファーストパス精度が向上し、脆弱なプロンプトハックが減少したため、少人数のチームで信頼性の高いエージェンティックなマルチモーダル製品をはるかに迅速にリリースできました。」

今すぐ始める

今すぐ Live API の構築を始められます：

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """あなたは、親切でフレンドリーな AI アシスタントです。
10デフォルトのトーンは、役に立つ、魅力的で、明確で、楽観的な機知を帯びています。
11曖昧な質問を明確にすることでユーザーのニーズを先取りし、会話を継続させるために、常に魅力的なフォローアップの質問で応答を締めくくってください。"""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # 音声データを取得（例：マイクから）
22        audio_bytes = record_audio()
23
24        # 音声を送信
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # 応答を受信
30        async for response in session.receive():
31            if response.data is not None:
32                # 音声を再生...
33
34if __name__ == "__main__":
35    asyncio.run(main())

詳細については、Live API ドキュメント をご覧いただき、クックブック でエンドツーエンドのコードサンプルをご確認ください。

これらのアップデートにより、パワフルで直感的な音声体験を生み出す新たな可能性が広がると確信しています。Live API については、まもなくさらに多くの情報をお届けする予定です。素晴らしいものを築いてください！