Entwickeln Sie leistungsfähigere Sprachassistenten mit der Gemini Live API

Wir haben die Funktionsaufrufe (Function Calling) deutlich verbessert und die proaktiven Audiofunktionen in der Live API erweitert, um Unterbrechungen, Pausen und Nebengespräche elegant zu handhaben.

Ivan Solovyev

, Produktmanager, Google DeepMind

Valeria Wu

, Produktmanagerin, Google DeepMind

Mingqiu Wang

, Ingenieur, Google DeepMind

Heute freuen wir uns, ein bedeutendes Update für die Live API in der Gemini API ankündigen zu können, das ein neues natives Audiomodell enthält und jetzt in der Vorschau verfügbar ist. Dieses Update wurde entwickelt, um dir zu helfen, zuverlässigere, reaktionsschnellere und natürlicher klingende Sprachassistenten zu erstellen.

Für diese Modellveröffentlichung haben wir uns auf zwei Schlüsselbereiche konzentriert:

• Robustere Funktionsaufrufe: Sie ermöglichen es deinem Assistenten, zuverlässiger eine Verbindung zu externen Daten und Diensten herzustellen.
• Natürlichere Gespräche: Sie sorgen dafür, dass Interaktionen intuitiver wirken, mit einem besseren Verständnis des Kontexts und einer natürlichen Wiederaufnahme des Gesprächs bei Unterbrechungen oder Pausen.

Ein großer Schub für die Zuverlässigkeit

Die leistungsstärksten und interessantesten Sprachassistenten-Erlebnisse werden ermöglicht, wenn sie zuverlässig eine Verbindung zu externen Daten und Diensten herstellen können – so können Benutzer auf Echtzeitinformationen zugreifen, Termine buchen oder Transaktionen abschließen. Hier kommen Funktionsaufrufe ins Spiel. Aufgrund der Echtzeit-Natur von Sprachinteraktionen gibt es keine Zeit, eine fehlgeschlagene Anfrage zu wiederholen, was die Zuverlässigkeit von Funktionsaufrufen absolut kritisch macht.

Um zu sehen, wie diese verbesserte Zuverlässigkeit in der Praxis aussieht, hier eine kurze Demo in Aktion:

Zuverlässigere Funktionsaufrufe

Das neue Modell ist deutlich besser darin, die richtige Funktion zum Aufrufen zu identifizieren, zu wissen, wann eine Funktion nicht aufgerufen werden sollte, und sich konsistent an das bereitgestellte Tool-Schema zu halten. Unsere internen Benchmarks zeigen eine dramatische Verbesserung der Genauigkeit von Funktionsaufrufen (z. B. das korrekte Identifizieren und Aufrufen einer Funktion durch das Modell, auch in komplexen Szenarien mit 10 oder mehr aktiven Funktionen). Im Vergleich zur vorherigen Version stieg der Erfolg von Funktionsaufrufen um das 2-Fache bei Einzelaufruf-Tests und um das 1,5-Fache bei Tests mit 5 bis 10 Aufrufen. Dieser Zuverlässigkeitssprung ist ein großer Schritt nach vorne für Sprachassistenten, und wir verbessern die Zuverlässigkeit weiter, insbesondere für Multi-Turn-Szenarien, basierend auf dem Feedback von Entwicklern.

Teste die Verbesserungen des Modells bei Funktionsaufrufen mit dieser App in Google AI Studio.

Ergebnisse basierend auf Tests, die in Google AI Studio und Vertex AI durchgeführt wurden.

Noch natürlichere Gespräche

Wir haben auch noch proaktivere Audiofunktionen hinzugefügt, um Interaktionen natürlicher wirken zu lassen. Das Modell ignoriert jetzt Nebengespräche, die nicht zum aktiven Gespräch gehören, und ist deutlich besser darin, natürliche Pausen und Unterbrechungen durch den Benutzer zu verstehen.

Stell dir vor, du sprichst mit einem Sprachassistenten und jemand kommt herein, um dir schnell eine Frage zu stellen. Das Modell kann das Gespräch jetzt elegant pausieren, das Nebengespräch ignorieren und nahtlos fortfahren, wenn du bereit bist, weiterzumachen.

Bessere Erkennung von Hintergrundgesprächen

Ebenso ist das Modell jetzt besser darin, Gesprächsrhythmen zu verstehen, den Kontext deiner Rede zu erkennen und sich an deine Pausen anzupassen – ob du einen Moment brauchst, um einen komplexen Gedanken zu formulieren, oder einfach nur locker sprichst. In unseren internen Evaluierungen ist die Anzahl der Male, in denen das Modell den Benutzer fälschlicherweise unterbricht, wenn er nicht spricht, im Vergleich zum letzten Modell deutlich gesunken. Diese Verbesserungen erfolgen automatisch, ohne zusätzliche Einrichtung, und machen das Gespräch viel flüssiger.

Anmutige Handhabung natürlicher Pausen im Gespräch

Dieses Update bringt auch erhebliche Verbesserungen bei der Erkennungsgenauigkeit von Unterbrechungen und reduziert merklich die Anzahl der Male, in denen das Modell nicht erkennt, wann ein Benutzer unterbricht.

0:32

Deutlich verbesserte Erkennung von Unterbrechungen

Intelligentere Antworten mit Denkfähigkeiten

Im Anschluss an diese Veröffentlichung rollen wir nächste Woche die Unterstützung für "Denkfähigkeiten" aus, ähnlich denen in Gemini 2.5 Flash und Pro. Wir sind uns bewusst, dass nicht alle Fragen sofort beantwortet werden können oder sollten. Für komplexe Anfragen, die ein tieferes Nachdenken erfordern, wirst du ein "Denkbudget" festlegen können, das es dem Modell ermöglicht, sich einen Moment Zeit zu nehmen, um die Anfrage gründlicher zu verarbeiten. Im Rahmen des Denkprozesses sendet das Modell eine textuelle Zusammenfassung seiner Gedanken zurück.

Live API in der realen Welt

Wir haben eng mit unseren Early-Access-Partnern zusammengearbeitet, um die API-Funktionen zu testen und zu verbessern, und fast alle haben positive Ergebnisse beim Testen des neuesten Modells gemeldet.

Zum Beispiel nutzt Ava, ein KI-gestütztes Familienbetriebssystem, die Live API, um als "COO des Haushalts" zu fungieren. Ava verarbeitet unstrukturierte, reale Eingaben wie Schul-E-Mails, PDFs und Sprachnotizen und wandelt sie in Aktionen wie Kalenderereignisse um.

"Die Fähigkeit, natürliche, bidirektionale Sprachgespräche zu führen, war eine harte Anforderung", sagt Joe Alicata, Mitgründer und CTO von Ava. "Die Verbesserungen der Genauigkeit von Funktionsaufrufen im neuesten Modell waren ein Game-Changer. Wir sehen eine höhere Genauigkeit beim ersten Durchlauf bei verrauschten Eingaben und weniger fragile Prompt-Hacks, was es unserem kleinen Team ermöglicht hat, ein zuverlässiges, agentisches, multimodales Produkt viel schneller auszuliefern."

Jetzt loslegen

Du kannst sofort mit der Live API loslegen:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """Du bist ein hilfsbereiter und freundlicher KI-Assistent.
10Dein Standardton ist hilfsbereit, ansprechend und klar, mit einem Hauch von optimistischem Witz.
11Antizipiere die Bedürfnisse des Nutzers, indem du mehrdeutige Fragen klärst, und schließe deine Antworten immer mit einer interessanten Folgefrage ab, um das Gespräch am Laufen zu halten."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Audio-Daten abrufen, z.B. vom Mikrofon
22        audio_bytes = record_audio()
23
24        # Audio senden
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Antworten empfangen
30        async for response in session.receive():
31            if response.data is not None:
32                # Audio abspielen...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Gehe zur Live API-Dokumentation, um mehr zu erfahren und End-to-End-Codebeispiele in den Cookbooks zu finden.

Wir glauben, dass diese Updates neue Möglichkeiten für die Entwicklung leistungsstarker und intuitiver Sprachassistenten eröffnen werden, und wir werden in Kürze noch mehr über die Live API zu berichten haben. Viel Spaß beim Entwickeln!