ШІ-асистенти живуть або гинуть залежно від швидкості. Асистент має робити справи за вас, але в iMessage у нього дуже мало способів показати, що він працює над вашим запитом: tapback, індикатор набору тексту або коротка відповідь.
Partyline — це особливий ШІ-асистент у вашому iMessage. Ми не зосереджуємося на сортуванні електронної пошти: вважаємо, що людині взагалі не варто було туди лізти. Наша мета — витягнути вас на вулицю, до інших людей, щоб ви класно проводили час. Наш продуктовий показник — це кількість годин життя наших користувачів, які справді варті того, щоб їх прожити.
Але для асистента це означає конкуренцію в дуже, дуже метушливому світі, який щосили намагається виснажити наших користувачів. Зробити їх пригніченими й нещасними. Але найбільше — боротися за їхню увагу.
Оскільки люди пишуть повідомлення в хаотичних умовах, ми маємо бути швидкими. У нас є лише мить із користувачем, перш ніж він прибере телефон (як і має бути!), і ми не хочемо, щоб він дивився на екран хоча б на секунду довше, ніж потрібно.
Коли ми створювали Partyline, наші відповіді були надто повільними. Пошук місця чи події займав від 29 до 46 секунд. Це ціла вічність, коли ви гуляєте з друзями. Якщо саме ви дістаєте телефон, щоб знайти наступну локацію, ви ставите на кін свій соціальний капітал: адже ви та людина, яка знає, де відбувається щось круте. За 46 секунд хтось інший уже запропонує місце й перехопить розмову.
Тому асистент в iMessage має бути дуже швидким. Звичайний додаток дає вам екран, який ви контролюєте, поки хтось ним користується. iMessage — ні: люди використовують його в метушливі, складні моменти, і асистент конкурує з усім, що відбувається навколо.
Як ми виглядаємо на тлі інших
Ми порівняли Partyline з двома іншими персональними асистентами в iMessage — Tomo та Instinct. Instinct виявився найповільнішим: відповіді на пошукові запити займали від 42 до 82 секунд, що занадто довго, коли ви гуляєте з друзями. Tomo чудово веде бесіду. Його відповіді в чаті приходять за кілька секунд, а результати пошуку — за 28–37 секунд, при цьому tapback з'являється приблизно через 2 секунди, а перше повідомлення — через 5.
Від 46 секунд до 3
Tomo поставив перед нами ключове питання: як зробити так, щоб Partyline відповідав так само швидко, як Tomo у звичайній розмові, але для складніших завдань, як-от пошук місць і подій? Ми починали з 29–46 секунд. Сьогодні пошук від надсилання до відповіді займає 2–3 секунди.
Найбільшу різницю зробили дві зміни.
По-перше, ми заздалегідь індексуємо події для тих місць, про які люди питають найчастіше. Під час Tech Week від a16z у Сан-Франциско наша база містить близько 1700 подій на тиждень, і пошук звужує їх до короткого списку менш ніж за десяту частку секунди. Якщо район не проіндексовано, паралельно запускається вебпошук, і відповідь приходить через кілька секунд.
По-друге, ми впровадили класифікатори Jev на кількох етапах нашого пайплайну обробки повідомлень. Jev — це модель-класифікатор від TypeSafe. За один виклик тривалістю близько 0,2 секунди вона відповідає на безліч запитань щодо повідомлення: що це за тип запиту, чи продовжує він попередній пошук, чи є він конфіденційним. Jev також ранжує події та місця-кандидати й перевіряє кожен рядок відповіді на відповідність даним, які він описує. Коли ці рішення ухвалювала велика модель, кожне з них займало близько 4 секунд.
Що далі
Зараз Partyline завершує пошукову відповідь ще до того, як Tomo надсилає своє перше повідомлення, і встигає провести багато раундів невимушеної бесіди, поки Instinct відповість хоча б раз. Мінус у тому, що деякі відповіді читаються менш як розмова і більш як блискавична реакція. Ми над цим працюємо. Наступне завдання — налаштувати систему на золоту середину: щоб вона все ще здавалася миттєвою, але читалася як жива бесіда.
Ми також розробляємо інструменти, щоб вартість інференсу залишалася доступною в міру нашого зростання, і нам не доводилося жертвувати швидкістю чи якістю заради економії.
Сьогодні Partyline — найшвидший ШІ-асистент для iMessage у світі, особливо в пошуку подій. Якщо цього тижня ви на Tech Week від a16z у Сан-Франциско, напишіть Partyline, щоб побачити найшвидший пошук подій у своєму житті.
