Gemini Live API ile daha güçlü sesli asistanlar oluşturun

We've significantly improved function calling and enhanced proactive audio capabilities in the Live API to handle interruptions, pauses and side conversations gracefully.

Ivan Solovyev

, Ürün Müdürü, Google DeepMind

Valeria Wu

, Ürün Müdürü, Google DeepMind

Mingqiu Wang

, Mühendis, Google DeepMind

Bugün, Gemini API'deki Live API için önemli bir güncellemeyi duyurmaktan heyecan duyuyoruz. Bu güncelleme, artık önizlemede sunulan yeni bir yerel ses modelini içeriyor ve daha güvenilir, duyarlı ve doğal sesli ajanlar oluşturmanıza yardımcı olmak için tasarlandı.

Bu model sürümünde iki temel alana odaklandık:

• Daha sağlam fonksiyon çağırma: Ajanınızın harici verilere ve hizmetlere bağlanmasını daha güvenilir hale getirmek.
• Daha doğal konuşmalar: Kesintiler veya duraklamalar durumunda bağlamı daha iyi anlayarak ve konuşmayı doğal bir şekilde sürdürerek etkileşimlerin daha sezgisel hissettirmesini sağlamak.

Güvenilirlikte Büyük Bir Artış

En güçlü ve ilginç sesli ajan deneyimleri, harici verilere ve hizmetlere güvenilir bir şekilde bağlanabildiklerinde ortaya çıkar. Bu sayede kullanıcılar gerçek zamanlı bilgilere erişebilir, randevu alabilir veya işlemleri tamamlayabilir. İşte bu noktada fonksiyon çağırma devreye giriyor. Sesli etkileşimlerin gerçek zamanlı doğası göz önüne alındığında, başarısız bir isteği yeniden denemek için zaman yoktur, bu da fonksiyon çağırmanın güvenilirliğini son derece kritik hale getirir.

Bu iyileştirilmiş güvenilirliğin pratikte nasıl göründüğünü görmek için işte hızlı bir demo:

Daha güvenilir fonksiyon çağırma

Yeni model, çağrılacak doğru fonksiyonu belirlemede, bir fonksiyonu ne zaman çağırmaması gerektiğini bilmede ve sağlanan araç şemasına tutarlı bir şekilde uymada önemli ölçüde daha iyidir. Dahili kıyaslamalarımız, fonksiyon çağırma doğruluğunda (örneğin, modelin doğru fonksiyonu tanımlaması ve çağırması, 10 veya daha fazla aktif fonksiyon içeren karmaşık senaryolar dahil) çarpıcı bir iyileşme göstermektedir. Önceki sürümle karşılaştırıldığında, tek çağrılı testlerde fonksiyon çağırma başarısı 2 kat, 5 ila 10 çağrı içeren testlerde ise 1,5 kat arttı. Güvenilirlikteki bu artış, sesli uygulamalar için büyük bir adım ve geliştirici geri bildirimlerine dayanarak, özellikle çok turlu senaryolar için güvenilirliği artırmaya devam ediyoruz.

Modelin fonksiyon çağırma iyileştirmelerini Google AI Studio'da bu uygulama ile test edin.

Sonuçlar Google AI Studio ve Vertex AI'da yapılan testlere dayanmaktadır.

Daha da Doğal Konuşmalar

Ayrıca, etkileşimleri daha doğal hissettirmek için daha proaktif ses yetenekleri ekledik. Model artık aktif konuşmayla ilgisi olmayan gevezelikleri görmezden geliyor ve kullanıcının doğal duraklamalarını ve kesintilerini anlamada önemli ölçüde daha iyi.

Bir sesli ajanla konuştuğunuzu ve birinin size hızlı bir soru sormak için odaya girdiğini hayal edin. Model artık konuşmayı kibarca duraklatabilir, aradaki konuşmaları görmezden gelebilir ve devam etmeye hazır olduğunuzda sorunsuz bir şekilde kaldığı yerden devam edebilir.

Arka plandaki konuşmaların daha iyi tanınması

Benzer şekilde, model artık konuşma ritimlerini anlama, konuşmanızın bağlamını tanıma ve duraklamalarınıza uyum sağlama konusunda daha iyidir. İster karmaşık bir düşünceyi ifade etmek için bir an duraklayın, ister sadece rahat bir şekilde konuşun. Dahili değerlendirmelerimizde, modelin kullanıcı konuşmadığında onu yanlışlıkla bölme sayısı, önceki modele kıyasla önemli ölçüde azaldı. Bu iyileştirmeler, ekstra bir kurulum gerektirmeden otomatik olarak gerçekleşir ve konuşmayı çok daha akıcı hale getirir.

Konuşmadaki doğal duraklamaların zarif bir şekilde yönetilmesi

Bu güncelleme aynı zamanda kesinti tespit doğruluğunda önemli iyileştirmeler getiriyor ve modelin bir kullanıcının sözünü kestiğini tanıyamadığı durumların sayısını gözle görülür şekilde azaltıyor.

0:32

Kesintilerin tespitinde önemli ölçüde iyileştirme

"Düşünme" Yetenekleriyle Daha Akıllı Yanıtlar

Bu lansmanın bir devamı olarak, önümüzdeki hafta Gemini 2.5 Flash ve Pro'dakilere benzer "düşünme" yetenekleri desteğini kullanıma sunuyoruz. Tüm soruların anında yanıtlanamayacağını veya yanıtlanmaması gerektiğini biliyoruz. Daha derin akıl yürütme gerektiren karmaşık sorgular için, modelin isteği daha kapsamlı bir şekilde işlemesi için birkaç an ayırmasına olanak tanıyan bir "düşünme bütçesi" belirleyebileceksiniz. Düşünme sürecinin bir parçası olarak model, düşüncesinin bir metin özetini geri gönderecektir.

Gerçek Dünyada Live API

API yeteneklerini test etmek ve iyileştirmek için erken erişim ortaklarımızla yakın bir şekilde çalışıyoruz ve neredeyse tamamı en son modeli test etmekten olumlu sonuçlar bildirdi.

Örneğin, AI destekli bir aile işletim sistemi olan Ava, Live API'yi bir "ev COO'su" gibi kullanıyor. Ava, okul e-postaları, PDF'ler ve sesli notlar gibi karmaşık, gerçek dünya girdilerini işleyerek bunları takvim etkinlikleri gibi eylemlere dönüştürüyor.

"Doğal, çift yönlü sesli sohbet yeteneği katı bir gereklilikti," diyor Ava'nın Kurucu Ortağı ve CTO'su Joe Alicata. "En son modelin fonksiyon çağırma doğruluğundaki iyileştirmeler oyunun kurallarını değiştirdi. Gürültülü girdilerde daha yüksek ilk geçiş doğruluğu ve daha az kırılgan prompt hack'leri görüyoruz; bu da küçük ekibimizin çok daha hızlı bir şekilde güvenilir, aracı, çok modlu bir ürün çıkarmasını sağladı."

Bugün Başlayın

Live API ile hemen oluşturmaya başlayabilirsiniz:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Get audio data, e.g., from microphone
22        audio_bytes = record_audio()
23
24        # Send audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receive responses
30        async for response in session.receive():
31            if response.data is not None:
32                # Play audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Daha fazla bilgi edinmek ve cookbook'larda uçtan uca kod örnekleri bulmak için Live API dokümantasyonuna göz atın.

Bu güncellemelerin, güçlü ve sezgisel ses deneyimleri oluşturmak için yeni olanakların kilidini açacağına inanıyoruz ve yakında Live API hakkında paylaşacak daha çok şeyimiz olacak. İyi inşa etmeler!