Echtzeit-Konversations-Agenten mit Gemini 3.1 Flash Live entwickeln

Heute starten wir Gemini 3.1 Flash Live über die Gemini Live API in Google AI Studio. Gemini 3.1 Flash Live hilft Entwicklern, Echtzeit-Sprach- und Bildagenten zu erstellen, die nicht nur ihre Umgebung wahrnehmen, sondern auch in Gesprächsgeschwindigkeit reagieren können.

Dies ist ein bedeutender Fortschritt in puncto Latenz, Zuverlässigkeit und natürlicher klingender Dialoge und bietet die Qualität, die für die nächste Generation von sprachgesteuerter KI erforderlich ist.

Erleben Sie verbesserte Latenz, Zuverlässigkeit und Qualität

Bei Echtzeit-Interaktionen nimmt jede Millisekunde Latenz den natürlichen Gesprächsfluss, den Nutzer erwarten. Das neue Modell versteht Tonfall, Betonung und Absicht besser und ermöglicht Agenten wichtige Verbesserungen:

• Höhere Aufgabenerledigungsrate in lauten, realen Umgebungen: Wir haben die Fähigkeit des Modells, externe Tools auszulösen und während Live-Gesprächen Informationen zu liefern, deutlich verbessert. Durch die bessere Unterscheidung relevanter Sprache von Umgebungsgeräuschen wie Verkehr oder Fernsehen filtert das Modell Hintergrundgeräusche effektiver heraus, um zuverlässig und reaktionsschnell auf Anweisungen zu bleiben.
• Bessere Befolgung von Anweisungen: Die Einhaltung komplexer Systemanweisungen wurde erheblich gesteigert. Ihr Agent bleibt innerhalb seiner operativen Leitplanken, selbst wenn Gespräche unerwartete Wendungen nehmen.
• Natürlicherer und latenzarmer Dialog: Das neueste Modell verbessert die Latenz und ist noch effektiver bei der Erkennung akustischer Nuancen wie Tonhöhe und Tempo im Vergleich zu 2.5 Flash Native Audio, was Echtzeitgespräche viel flüssiger und natürlicher erscheinen lässt.
• Mehrsprachige Fähigkeiten: Das Modell unterstützt über 90 Sprachen für Echtzeit-Multimodal-Gespräche.

Erleben Sie die Gemini Live API in Aktion

Entwickler bauen aktiv Sprachagenten, die mit natürlichem Fluss und Tempo kommunizieren und mit Gemini Flash Live-Modellen zuverlässig handeln. Hier sind einige Beispiele für reale Anwendungen, die das Modell für ihre Konversationsinteraktionen nutzen:

Stitch

Mit der Gemini Live API ermöglicht Stitch seinen Nutzern nun, mit ihrer Stimme zu „vibe designen". Der Agent kann die Leinwand und ausgewählte Bildschirme „sehen" und Designkritiken geben, Variationen erstellen und mehr.

Hey Ato

In dieser Demo nutzt das KI-Begleitgerät für ältere Menschen, Ato, die mehrsprachigen Fähigkeiten von Gemini 3.1 Flash Live, um tägliche Gespräche in echte Verbindungen für seine Nutzer zu verwandeln.

Wits End

Sehen Sie, wie das Weekend-Team die starke Charakterisierung und menschenähnliche Übermittlung von Gemini 3.1 Flash Live integriert, um dem Spielleiter ihres RPGs – Wit’s End – eine einzigartige theatralische Note zu verleihen.

0:52

Bauen Sie mit einem wachsenden Ökosystem von Integrationen

Die Live API ist für Produktionsumgebungen konzipiert, aber reale Systeme erfordern die Verarbeitung vielfältiger Eingaben, von Live-Videostreams bis hin zu Telefongesprächen auf Abruf.

Für Systeme, die WebRTC-Skalierung oder globales Edge-Routing benötigen, empfehlen wir, unsere Partnerintegrationen zu erkunden, um die Entwicklung von Echtzeit-Sprach- und Videoagenten zu optimieren.

Erste Schritte mit der Live API

Gemini 3.1 Flash Live ist ab heute über die Gemini API und in Google AI Studio verfügbar. Entwickler können die Gemini Live API nutzen, um das Modell in ihre Anwendung zu integrieren.

Schauen Sie sich dieses

Video-Tutorial

um Sprachagenten mit Gemini 3 zu bauen:

Erkunden Sie unsere Entwicklerdokumentation, um zu erfahren, wie Sie Echtzeit-Agenten erstellen können.

• Gemini Live API Dokumentation: Erkunden Sie Funktionen wie mehrsprachige Unterstützung, Tool-Nutzung und Funktionsaufrufe, Sitzungsverwaltung (für die Verwaltung langer Gespräche) und flüchtige Tokens.
• Gemini Live API Beispiele: Lassen Sie sich inspirieren, welche Art von Spracherlebnissen Sie heute mit dem Modell erstellen können.
• Gemini Live API Skill: Für Code-Agenten, um mit der Live API zu lernen und zu bauen.

Legen Sie los mit dem Google GenAI SDK:

1import asyncio
2from google import genai
3
4client = genai.Client(api_key="YOUR_API_KEY")
5
6model = "gemini-3.1-flash-live-preview"
7configresponse_modalities": ["AUDIO"]}
8
9async def main():
10    async with client.aio.live.connect(model=model, config=config) as session:
11        print("Session started")
12        # Inhalt senden...
13
14if __name__ == "__main__":
15    asyncio.run(main())