Düşünürken neredeyse sağır ve kör oluyorlar. Etrafta olup biten başka hiçbir şeyi algılayamıyorlar. -
Çoğu sesli asistanın hâlâ bir metin dökümüne bakarak karar vermesi beni şaşkına çeviriyor.
Her çağrı, asistanın "düşünme katmanı"na ulaşmadan önce sesten metne dönüştürülüyor. Bu dönüşüm kayıplı bir süreç. Geriye sadece kelimeler kalıyor. Tereddütler, "ııı"lar, cümlenin sonundaki alçalan tonlama, arka plan gürültüsü, başkasıyla konuşmak için yapılan yarım dönüşler: hepsi uçup gidiyor.
Bu yüzden asistan tahmin yürütüyor. İnsanların sözünü düşüncelerinin ortasında kesiyor, onlar sustuktan sonra gereğinden fazla bekliyor ve kibar bir cümlenin ardındaki öfkeyi kaçırıyor.
Bence bu, günümüzde sesli yapay zekânın en büyük açığı.
Bu yazıda mevcut durumu ele alıyor ve şu soruları inceliyorum:
- Bir asistan, çağrıyı hiç duymadan doğru karar verebilir mi?
- LLM'lerden oluşan bir ağ neden bu açığı kapatamadı?
- Neden doğrudan speech-to-speech (konuşmadan konuşmaya) modeller kullanmıyoruz?
- Gerçekten dinleyen bir "düşünme katmanı" nasıl görünürdü?
Pazar bugün nerede?
https://x.com/jordan_dearsley/status/2085602471918064064
Yıllarca insanlar, sesin yazılımla iletişim kurmanın evrensel yolu olacağını öngördü. 2026'da bu öngörü gerçeğe dönüşmeye başladı. @ElevenLabs ve @DeepgramAI gibi şirketler ile 800'den fazla sesli yapay zekâ ürünü sayesinde yapay zekâ her yıl milyarlarca iş görüşmesini yönetiyor.
Ancak her teknoloji dalgasının ilk aşamasında olduğu gibi, benimsenme hızı kaliteyi geride bıraktı. Kurumsal şirketlerin yalnızca yaklaşık beşte biri canlıya aldıkları asistanlardan çok memnun. Bu yüzden çoğu asistan, uygun maliyetli ve güvenilir olanla yetiniyor: bir senaryoyu takip eden giden çağrılar veya öngörülemeyecek kadar basit gelen talepler.
Sesli asistanların neredeyse tamamı kademeli çalışır: önce konuşmadan metne (STT), ardından bir LLM, sonra da metinden konuşmaya (TTS). Mühendisler bu tasarımı sever çünkü her iş için en iyi modeli seçebilir, her ara adımı okuyabilir ve asistanın ne söyleyip ne yapacağı üzerinde sıkı kontrol sağlayabilirler.
Gecikme ve maliyet açısından STT ve TTS çok yol almış olsa da, zayıf halka düşünme katmanıdır.
Metin dökümü neleri çöpe atar?
Düşünme katmanının görevi basittir. Konuşmanın hangi durumda olduğunu bilmek ve onu doğru bir sonraki duruma taşıyacak eylemi seçmek: konuş, harekete geç, aktar ya da dinlemeye devam et.
Kodunuz, bir çağrının iş akışının hangi adımında olduğunu her zaman bilir. Bilmediği şey ise hattın diğer ucundaki kişinin ne yaşadığıdır. İşte düşünme katmanının her turda okuması gereken kısım budur:
- Kullanıcı sözünü bitirdi mi, yoksa sadece duraksadı mı?
- Hangi dili konuşuyor?
- Merak mı ediyor, yoksa kötü hizmete mi sinirlendi?
- Arka plandaki ses televizyon mu, yoksa oynayan çocuklar mı?
- Benimle mi konuşuyor, yoksa yanındaki kişiyle mi?
- Ne istiyor: iade mi, yeni hesap mı, durum sorgulama mı?
Aynı metin dökümüne sahip iki ses kaydı: "Evet, buyurun." Biri asistan söyleniyor, diğeri odadaki başka birine. İkisini birbirinden ayıran tek şey sestir.
Yukarıdaki kalın yazılmış maddeler bize yalnızca ne söylendiğini değil, nasıl söylendiğini de anlatır. Metin dökümü kelimeleri tutar; ancak tonlamayı, hızı, duraksamayı ve ortamı silip atar.
İlk soruyu ele alalım. Sessizlik gelmeden önce birinin sözünü bitirmek üzere olduğunu hepimiz biliriz: ses tonu düşer, tempo yavaşlar, ses sönümlenir. Sesi duyan modeller tam olarak bu ipuçlarını kullanmayı öğrenir (Ekstedt & Skantze, 2022). Ancak yalnızca metin dökümü okuyan modeller bunu yapamaz, çünkü prozodi (vurgu ve tonlama) hiçbir zaman yazıya dökülmemiştir (Rajaa, 2026).
Beşinci soru için de aynı şey geçerli. Apple'ın yaptığı testlerde, konuşmanın asistanına yönelik olup olmadığını anlamak için metin dökümüne sesi eklemek, hataları yalnızca metin dökümüne kıyasla %39'a kadar azalttı.
En iyi kararlar, ses ve metnin birlikte kullanılmasıyla alınır. Ne yazık ki bugünün asistanları yalnızca metni görüyor.
Yalnızca metin dökümü: Turların %74,8'inde erken söz kesildi. Ses kullanıldığında: %7,8. Uniphore, arXiv 2609.11066.
LLM ağı neden duvara tosluyor?
Mühendisler "düşünme katmanını" inşa etmek için açgözlü çözümü seçti. En yüksek anlık getiriyi sunan en kolay yola koştular: günün en iyi frontier LLM'sini kiralamak ve ona ne yapması gerektiğini anlatan devasa bir kullanım kılavuzu vermek. 2023-24'ün tamamı böyle geçti.
Burada birkaç sorun var.
- İlk olarak ekipler, LLM'lerin öngörülemez ve yavaş olduğunu ve uzun, yoğun prompt'larda talimatları unuttuğunu fark etti.
- İkinci olarak, bir ifadeyi anlamak için tek bir LLM çağrısı yeterli değildir.
Bu yüzden bir sonraki mantıklı adım, daha hızlı ve ucuz LLM'lerden oluşan bir ağ kurmaktı: her biri farklı görevler için çalışan ve üstte bir orkestratör bulunan modeller. Demolar harikaydı. Alıcılar etkilendi ve gelir akmaya başladı.
Bugünkü frontier mimarisi budur.
Ancak canlı ortamda bu mimari iki çatlak verdi:
- Her parça hâlâ aynı metin dökümünü okuyor. Daha fazla LLM eklemek, metin dökümünün zaten sildiği duraksamaları veya tonlamaları geri getiremez.
- Parçalar birbirini bekliyor. Her çağrı gecikme ekliyor. Turu tanımak, ne yapılacağına karar vermek ve görevleri yerine getirmek yanıt süresinin %80'ine kadarını kaplıyor.
Kademeli bir sesli asistan: Arayanın sesi önce konuşmadan metne, ardından birkaç LLM çağrısına, sonra da metinden konuşmaya gider. Tonlama, duraksamalar, ses rengi, arka plan ve hitap edilen kişi konuşmadan metne aşamasında kaybolur.
Sektör düşünme katmanını görevlere göre böldü. Oysa girdilere göre bölmeliydi: Ses sinyallerine ihtiyaç duyan kararlar sese özgü bir modele gitmeli, LLM ise yalnızca metin üzerinde çalışmalıydı.
Neden metin dökümünü tamamen atlamıyoruz?
Konuşmadan konuşmaya (STS) modeller bu yıl gerçek anlamda hayat belirtisi göstermeye başladı. Cazibesi açık: STT, LLM ve TTS'yi tek bir modelde sıkıştırarak daha düşük gecikme, daha iyi konuşma anlama ve daha az mühendislik eforu.
En büyük dezavantajı ise kontrol eksikliği ve doğrulanmış veri olmaması. Bir STS modelinin ne söyleyeceğini kesin olarak belirleyemezsiniz; ayrıca araç çağrıları ve kod çalıştırma, sesle düşünen bir modele doğal gelmez.
Bence STS kısa vadede hâlâ gerçeklikten uzak. Hızlansa bile önce SSS yanıtlama gibi daha basit kullanım senaryolarına uygun olacak. Geliştiriciler kısmen alışkanlıktan, ama çoğunlukla sunduğu kontrole ve esnekliğe ihtiyaç duydukları için kademeli yapıda kalmaya devam edecek.
İşte bu yüzden kademeli mimariyi kontrol etmesi daha kolay, hem maliyet hem de gecikme açısından dağıtımı mümkün kılan modeller geliştiriyorum.
Dinleyen katman
Asistanları kontrol etmenin ve gereksiz yükten kurtarmanın bir yolu olduğuna inanıyorum: karar modelleri.
GPT-Live'a yakından bakarsanız, çekirdeğinde bir karar motoru bulursunuz. Saniyede birçok kez konuşmaya mı, dinlemeye devam etmeye mi, duraksamaya mı, araya girmeye mi yoksa bir araç çağırmaya mı karar verir. Kademeli yapının da görebileceğiniz ve kontrol edebileceğiniz bir bileşen olarak aynı motora ihtiyacı vardır.
Bir karar modeli, mevcut durumu ve sınırlı sayıda seçeneği (konuş veya bekle, aktar veya devam et, niyet hangisi) alır ve bir olasılıkla tek bir seçim döndürür; bunu bir LLM'den çok daha hızlı ve çok daha ucuza yapar. @typesafeai, bunun metin üzerinde ne kadar iyi çalıştığını göstererek herkesi şaşırttı.
Şunu öneriyorum:
- Karar modeli çağrıyı dinler ve sınırlı kararları alır.
- Yazılımınız iş akışı durumunu, izinleri ve araçları yönetir.
- LLM en iyi olduğu işi yapar: Ne yapılacağına dair karar verildikten sonra yanıtı yazmak.
Bir karar modeli sesi, o ana kadarki konuşmayı ve bir seçenek kümesini alır, ardından her seçenek için bir olasılık döndürür: refund_status 0.91, cancel_order 0.06, escalate 0.03 (örnek).
Bunu işe yarar kılan şey güven skorudur. Bir LLM'e ne kadar emin olduğunu sorun, yanlış olsa bile genellikle "çok" diyecektir (Xiong ve diğerleri, 2024). Bir sınıflandırıcının skorları ise söyledikleri anlama gelecek şekilde ayarlanabilir: bir sınıflandırıcı emin olduğunu söylediğinde genellikle gerçekten emindir (Guo ve diğerleri, 2017).
Tasarım ortaklarımızla yaptığımız ilk deneyler, bir LLM'nin asistan içinde yaptığı işlerin %30 ila %40'ının tam olarak bu tür işler olduğunu gösteriyor: yönlendirme, önceliklendirme, sınırlı seçenekler arasında tercih yapma.
Ancak bugünün karar modelleri metin veya görüntüler üzerinde çalışıyor. TypeSafe AI'ın bildirdiğine göre, Jev dahil her model, metnin yanına başka bir modalite eklendiğinde daha kötü kararlar veriyor ve Jev'in belgelenmiş bir ses desteği bulunmuyor.
Metin tabanlı bir karar modeline sesi zorla ekleyemezsiniz. Dinleyen bir model inşa etmek üç şey gerektirir:
- Her anda doğru kararla etiketlenmiş gerçek konuşma ses kayıtları
- Sesi ve metni birlikte kullanarak karar veren bir model
- Aksanlar, gürültü ve kötü telefon hatları karşısında tutarlı kalan güven skorları.
Ses için doğru karar modeli, dinleyen modeldir; yani sese özgü bir karar katmanı.
Karar katmanı duyabildiğinde neler değişir?
Sese özgü bir karar modeliyle şu kullanım senaryolarının kilidini açarsınız:
- Hata ayıklayabileceğiniz asistanlar. Bugün birçok ekip asistanı bir durum grafiği olarak tasarlıyor: selamla, kimliği doğrula, iadeyi gerçekleştir, aktar. Her tur iki karara dayanıyor: Konuşma gerçekte hangi durumda ve bir sonraki adımda hangi duruma geçmeli? Bunlardan birini yanlış anlarsanız tüm çağrı raydan çıkar.
Her adımda bir karar modeli olduğunda, her geçiş küçük ve açıklanabilir bir birime dönüşür: ne duyuldu, hangi seçenekler vardı, hangisi seçildi ve ne kadar emindi. Bir çağrı ters gittiğinde devasa bir prompt'ta hata ayıklamazsınız. Kayıp atan tek dişliyi bulur ve o parçayı düzeltirsiniz.
- Arayan daha sözünü bitirmeden hazır olan yanıtlar. İnsanlar ne istediklerini cümleyi bitirmeden ele verir. "Geçen hafta verdiğim sipariş için arıyorum..." ifadesi zaten bir sipariş sorgusudur. Önce metni düşünen bir asistan kullanıcının susmasını bekler, nihai metin dökümünü bekler, hangi aracı çağıracağına karar verir ve ancak o zaman çağırır. Her adım sessizliği uzatır.
"Geçen haftaki siparişim için arıyorum" diyen bir arayanın zaman çizelgesi. Önce metni düşünen bir asistan sonunu bekler, ardından metne döker, karar verir ve get_order'ı çağırır. Dinleyen bir yönlendirici ise get_order'ı cümlenin ortasında tetikler ve arayan sustuğu an yanıt vererek zaman kazandırır.
Dinleyen bir karar modeli, çağrıyı önden karşılayan bir yönlendirici olarak çalışır. Niyeti cümlenin ortasında tanır ve kullanıcı hâlâ konuşurken sorguyu tetikler; böylece kullanıcı sustuğu an sipariş detayları hazır olur.
Meta ve CMU'daki araştırmacılar bunun getirisini gösterdi: Araç sorgularını kullanıcının konuşmasıyla paralel olarak tahmin etmek, araç gecikmesini %20 azalttı ve yanıtları daha doğru hale getirdi.
- Anında hissettiren kişisel asistanlar. Kişisel asistanlar gün boyu mutfaklarda, arabalarda ve kalabalık sokaklarda sesli notlar aracılığıyla komutlar duyar. Duyduklarının çoğu tek bir hızlı karar gerektirir: bu bir görev mi, hatırlatma mı, aklıma gelen rastgele bir düşünce mi, yoksa bana mı söylenmedi?
Her ifadeyi bir frontier LLM'ye göndermek yavaş ve pahalıdır. Dinleyen küçük bir model bu kararı sürenin çok küçük bir kısmında verir ve LLM'yi yalnızca yapılacak gerçek bir iş olduğunda uyandırır. Asistan anında hissettirir, çünkü ilk karar asla büyük modeli beklemez.
https://x.com/signulll/status/2077444321243013306
Sesli yapay zekânın geleceği
Sesin evrensel arayüz olması gerekiyordu. Bugün ise yalnızca konuşma öngörülebilir olduğunda işe yarıyor.
Ancak senaryosuz bir konuşma sınırsız değildir. Her turda mantıklı hamleler sayılıdır: konuş, bekle, sor, harekete geç, aktar. Kimsenin senaryoya dökemeyeceği şey sıralamadır. Bir konuşmayı kontrol etmek için senaryoya dökmenize gerek yoktur. Gerçekte duyulanlara dayanarak her kararı doğru almanız gerekir.
İşte bahse girdiğim değişim bu: önce karar ver, sonra prompt yaz. Dinleyen bir model kararları alır, yazılımınız durumu korur ve LLM kelimeleri yazar. Her karar görünür, hızlı ve ölçülebilirdir. Bu işe yaradığında ses, basit çağrılar için bir kanal olmaktan çıkıp insanların yazılımla konuşma biçimine dönüşecek.
Bu karar katmanını @tazolabs'ta inşa ediyorum ve önümüzdeki birkaç gün içinde modellerimiz hakkında daha fazla bilgi paylaşacağım.
Eğer sesli asistanlar geliştiriyorsanız, asistanınızın bugün hangi kararlarda zorlandığını duymak isterim. Ve bu vizyon size hitap ediyorsa, gelin Tazo Labs'ta birlikte geliştirelim.
Sesli asistanınızın en sık yanlış aldığı karar hangisi?
