Assistentes de IA vivem ou morrem pela velocidade. Um assistente precisa resolver as coisas para você, mas no iMessage ele tem pouquíssimas formas de mostrar que está trabalhando no seu pedido: um tapback, a bolinha de digitação ou uma resposta curta.
O Partyline é um tipo especial de assistente de IA dentro do seu iMessage. Nosso foco não é organizar sua caixa de entrada: na nossa visão, como ser humano, você nem deveria estar no e-mail em primeiro lugar. Nosso objetivo é fazer você sair de casa, estar com outras pessoas e se divertir. Nossa métrica de produto é a quantidade de vida dos nossos usuários que realmente vale a pena ser vivida.
Para um assistente, no entanto, isso significa competir em um mundo absurdamente agitado, que faz de tudo para esgotar nossos usuários. Para deixá-los deprimidos e infelizes. Mas, acima de tudo, para disputar a atenção deles.
Como as pessoas mandam mensagens em ambientes caóticos, precisamos ser rápidos. Temos apenas um instante com o usuário antes que ele guarde o celular (como deve ser!) e não queremos que ele fique olhando para a tela nem um segundo a mais do que o necessário.
Quando criamos o Partyline, nossas respostas eram lentas demais. Encontrar um lugar ou um evento levava de 29 a 46 segundos. Isso é uma eternidade quando você está na rua com os amigos. Se você é quem puxa o celular para achar o próximo point, seu capital social está em jogo: você é a pessoa que sabe onde algo legal está rolando. Em 46 segundos, alguém já sugeriu outro lugar e tomou conta da conversa.
Por isso, um assistente no iMessage precisa ser muito rápido. Um aplicativo te dá uma tela sob seu controle enquanto alguém o usa. O iMessage não: as pessoas o usam em momentos corridos e complicados, e o assistente compete com tudo ao redor delas.
Como nos comparamos
Comparamos o Partyline com outros dois assistentes pessoais no iMessage: Tomo e Instinct. O Instinct foi o mais lento: suas respostas para buscas levavam de 42 a 82 segundos, tempo demais para usar enquanto você está na rua com os amigos. O Tomo é excelente na conversa. Suas respostas no chat chegam em poucos segundos, e as respostas de busca levam de 28 a 37 segundos, com um tapback em cerca de 2 segundos e uma primeira mensagem em cerca de 5.
De 46 segundos para 3
O Tomo definiu a pergunta central para nós: como o Partyline poderia responder tão rápido quanto o Tomo numa conversa, mas em tarefas maiores, como encontrar lugares e eventos? Começamos com 29 a 46 segundos. Hoje, uma busca leva de 2 a 3 segundos entre o envio e a resposta.
Duas mudanças fizeram quase toda a diferença.
Primeiro, indexamos eventos antecipadamente para os lugares sobre os quais as pessoas mais perguntam. Durante a Tech Week da a16z em São Francisco, nosso inventário reúne cerca de 1.700 eventos na semana, e uma busca filtra essa lista em menos de um décimo de segundo. Onde uma região não está indexada, uma busca na web roda em paralelo e responde alguns segundos depois.
Segundo, colocamos classificadores Jev em várias etapas do nosso pipeline de mensagens. O Jev é o modelo classificador da TypeSafe. Em uma única chamada de cerca de 0,2 segundo, ele responde a várias perguntas sobre uma mensagem: que tipo de pedido é, se dá continuidade à última busca, se é sensível. O Jev também ranqueia os eventos e lugares candidatos e verifica cada linha da resposta comparando com os dados que ela descreve. Quando um modelo grande tomava essas decisões, cada uma levava cerca de 4 segundos.
O que vem por aí
Hoje, o Partyline termina de responder a uma busca antes mesmo de o Tomo enviar sua primeira mensagem, e consegue sustentar várias rodadas de papo casual antes de o Instinct responder uma única vez. O lado negativo é que algumas respostas parecem menos uma conversa e mais um retorno automático rápido. Estamos trabalhando nisso. Nosso próximo passo é ajustar o sistema para um meio-termo que continue parecendo instantâneo, mas soe como uma conversa natural.
Também estamos desenvolvendo ferramentas para manter os custos de inferência acessíveis conforme crescemos, assim não precisaremos sacrificar velocidade ou qualidade por causa do preço.
Hoje, o Partyline é o assistente de IA mais rápido do mundo no iMessage, especialmente para busca de eventos. Se você estiver na Tech Week da a16z em São Francisco esta semana, mande uma mensagem para o Partyline e veja a busca de eventos mais rápida que você já experimentou.
