Yapay zeka asistanları için hız, bir nevi ölüm kalım meselesidir. Bir asistanın sizin yerinize işleri halletmesi gerekir; ancak iMessage'da isteğiniz üzerinde çalıştığını size göstermesinin çok az yolu var: bir tapback (tepki), yazıyor balonu veya kısa bir yanıt.
Partyline, iMessage'ınızdaki özel bir yapay zeka asistanıdır. Bizim odak noktamız e-postalarınızı tasnif etmek değil: bir insan olarak zaten en başından beri e-postayla hiç işiniz olmaması gerektiğini düşünüyoruz. Amacımız sizi dışarı çıkarmak, başka insanlarla birlikte vakit geçirmenizi ve keyifli anlar yaşamanızı sağlamak. Ürün metriklerimiz ise kullanıcılarımızın yaşamaya değer bulduğu hayat miktarıdır.
Ancak bir asistan için bu, kullanıcılarımızı yormak için elinden geleni yapan son derece yoğun bir dünyada rekabet etmek anlamına geliyor. Onları mutsuz ve depresif hissettiren bir dünyada... Ama hepsinden önemlisi, dikkatleri için yarışılan bir dünyada.
İnsanlar karmaşık ortamlardan mesaj attığı için hızlı olmak zorundayız. Kullanıcımız telefonunu cebine koymadan önce (ki koymalı da!) onunla yalnızca bir anımız oluyor ve ekran gereğinden fazla bakmalarını istemiyoruz.
Partyline'ı ilk geliştirdiğimizde yanıtlarımız çok yavaştı. Bir mekan veya etkinlik bulmak 29 ila 46 saniye sürüyordu. Arkadaşlarınızla dışarıdayken bu gerçekten uzun bir süre. Bir sonraki mekanı bulmak için telefonunu çıkaran kişi sizseniz, sosyal sermayenizi riske atıyorsunuz demektir: çünkü o ortamda neler olup bittiğini bilen, "cool" şeylerden haberdar olan kişi sizsiniz. 46 saniye geçtiğinde ise başka biri çoktan bir mekan önermiş ve sohbetin kontrolünü ele almış olur.
Bu yüzden bir iMessage asistanının çok hızlı olması şarttır. Bir uygulama, biri onu kullanırken size kontrol edebileceğiniz bir ekran sunar. iMessage bunu sunmaz: insanlar onu yoğun ve karmaşık anlarda kullanır, asistan ise etraflarındaki her şeyle rekabet eder.
Rakiplerimizle kıyaslamamız
Partyline'ı iMessage'daki diğer iki kişisel asistanla, Tomo ve Instinct ile karşılaştırdık. En yavaş olan Instinct'ti: aramalara verdiği yanıtlar 42 ila 82 saniye sürüyordu ki bu, arkadaşlarınızla dışarıdayken kullanmak için çok yavaş. Tomo ise sohbette mükemmel. Sohbet yanıtları birkaç saniye içinde ulaşıyor, arama cevapları 28 ila 37 saniye sürüyor; yaklaşık 2 saniyede bir tapback ve 5 saniyede de ilk mesajı gönderiyor.
46 saniyeden 3 saniyeye
Tomo bize temel soruyu sordurdu: Partyline, mekan ve etkinlik bulma gibi daha büyük görevlerde de Tomo'nun sohbetteki kadar hızlı yanıt verebilir miydi? 29 ila 46 saniyeyle başladık. Bugün ise bir arama, gönderimden yanıta kadar 2 ila 3 saniye sürüyor.
Farkı yaratan asıl iki değişiklik oldu.
Birincisi, insanların en çok sorduğu mekanlar için etkinlikleri önceden indeksliyoruz. San Francisco'daki a16z Tech Week sırasında envanterimiz haftalık yaklaşık 1.700 etkinliği barındırıyor ve bir arama bunları saniyenin onda birinden kısa sürede kısa bir listeye daraltıyor. İndekslenmemiş bir bölge söz konusu olduğunda ise eş zamanlı bir web araması çalışıyor ve birkaç saniye sonra yanıt veriyor.
İkincisi, mesaj işlem hattımızın çeşitli adımlarına Jev sınıflandırıcılarını yerleştirdik. Jev, TypeSafe'in sınıflandırıcı modelidir. Yaklaşık 0,2 saniyelik tek bir çağrıyla bir mesaj hakkındaki birçok soruya yanıt verir: ne tür bir talep olduğu, son aramayı devam ettirip ettirmediği, hassas içerik barındırıp barındırmadığı. Jev ayrıca aday etkinlikleri ve mekanları sıralar, bir yanıtın her satırını açıkladığı verilerle karşılaştırarak doğrular. Bu kararları büyük bir model verdiğinde ise her biri yaklaşık 4 saniye sürüyordu.
Sırada ne var?
Partyline artık bir arama yanıtını, Tomo ilk mesajını bile göndermeden tamamlıyor ve Instinct bir kez yanıt verene kadar birçok kez rahatça sohbet edebiliyor. Dezavantajı ise bazı yanıtların bir sohbetten ziyade hızlı bir tepki gibi okunması. Bunun üzerinde çalışıyoruz. Bir sonraki görevimiz, sistemi hâlâ anında hissettiren ama bir sohbet doğallığında okunan bir orta noktaya ayarlamak.
Ayrıca büyüdükçe çıkarım maliyetlerini uygun tutacak araçlar geliştiriyoruz; böylece maliyet uğruna hızdan veya kaliteden ödün vermek zorunda kalmayacağız.
Bugün Partyline, özellikle etkinlik aramalarında dünyanın en hızlı yapay zeka iMessage asistanıdır. Bu hafta San Francisco'daki a16z Tech Week'e katılıyorsanız, şimdiye kadar gördüğünüz en hızlı etkinlik araması için Partyline'a mesaj atın.
