AI-ассистенты выживают или проваливаются в зависимости от скорости. Ассистент должен решать твои задачи, но в iMessage у него совсем мало способов показать, что он работает над запросом: реакция (tapback), индикатор набора текста или короткое сообщение.
Partyline — это особенный AI-ассистент прямо в твоем iMessage. Мы не пытаемся разгребать твою почту: считаем, что человеку вообще не стоит тратить жизнь на электронные письма. Наша цель — вытащить тебя из дома к другим людям, чтобы ты классно проводил время. Главная метрика нашего продукта — сколько жизни, которую действительно хочется прожить, получают наши пользователи.
Но для ассистента это означает конкуренцию в невероятно суетливом мире, который делает всё, чтобы нас вымотать. Вогнать в депрессию и лишить радости. И главное — отвоевать наше внимание.
Люди пишут сообщения в хаотичной обстановке, поэтому мы обязаны работать быстро. У нас есть лишь мгновение, пока пользователь не убрал телефон (а так и должно быть!), и мы не хотим, чтобы он смотрел в экран хоть на секунду дольше необходимого.
Когда мы только создавали Partyline, ответы приходили слишком медленно. Поиск места или события занимал от 29 до 46 секунд. Это целая вечность, когда ты гуляешь с друзьями. Если ты достаешь телефон, чтобы найти, куда пойти дальше, ты ставишь на кон свой социальный капитал: ведь именно ты знаешь, где происходит что-то крутое. Но за 46 секунд кто-то другой уже предложит место и перехватит инициативу в разговоре.
Поэтому ассистент в iMessage обязан быть очень быстрым. Обычное приложение дает тебе экран, которым управляешь ты сам. С iMessage всё иначе: люди пользуются им в суетливые, сложные моменты, и ассистент конкурирует со всем, что происходит вокруг.
Как мы смотримся на фоне других
Мы сравнили Partyline с двумя другими персональными ассистентами в iMessage — Tomo и Instinct. Instinct оказался самым медленным: ответы на поисковые запросы занимали от 42 до 82 секунд, а это слишком долго, когда ты отдыхаешь с друзьями. Tomo отлично справляется с диалогами. Ответы в чате приходят за несколько секунд, результаты поиска — за 28–37 секунд, при этом реакция появляется примерно через 2 секунды, а первое сообщение — через 5.
С 46 секунд до 3
Tomo задал нам планку: как сделать так, чтобы Partyline отвечал так же быстро в диалоге, но при этом справлялся с более сложными задачами вроде поиска мест и событий? Мы начинали с 29–46 секунд. Сегодня поиск занимает от 2 до 3 секунд от отправки сообщения до ответа.
Больше всего помогли два изменения.
Во-первых, мы заранее индексируем события для тех мест, о которых спрашивают чаще всего. Во время Tech Week от a16z в Сан-Франциско наша база содержит около 1700 событий на неделю, и поиск сужает их до короткого списка менее чем за десятую долю секунды. Если район еще не проиндексирован, параллельно запускается веб-поиск, и ответ приходит на несколько секунд позже.
Во-вторых, мы внедрили классификаторы Jev на нескольких этапах обработки сообщений. Jev — это модель-классификатор от TypeSafe. За один вызов (около 0,2 секунды) она отвечает сразу на множество вопросов о сообщении: что это за запрос, продолжает ли он предыдущий поиск, нет ли в нем чувствительных данных. Jev также ранжирует подходящие события и места и сверяет каждую строчку ответа с данными, которые в ней описаны. Раньше эти решения принимала большая модель, и каждое из них занимало около 4 секунд.
Что дальше
Теперь Partyline успевает подготовить ответ на поисковый запрос еще до того, как Tomo отправит свое первое сообщение, и может поддержать много раундов непринужденной беседы, пока Instinct ответит хотя бы раз. Минус в том, что некоторые ответы звучат не столько как живой разговор, сколько как молниеносная реакция. Мы над этим работаем. Следующая задача — настроить систему на золотую середину: чтобы ответы по-прежнему казались мгновенными, но читались как естественный диалог.
Мы также разрабатываем инструменты, чтобы расходы на инференс оставались доступными по мере нашего роста. Так нам не придется жертвовать скоростью или качеством ради экономии.
Сегодня Partyline — самый быстрый AI-ассистент для iMessage в мире, особенно когда речь идет о поиске событий. Если ты на этой неделе на Tech Week от a16z в Сан-Франциско, напиши в Partyline — и увидишь самый быстрый поиск мероприятий в своей жизни.
