Los asistentes de IA viven o mueren por su velocidad. Un asistente tiene que resolverte las cosas, pero en iMessage tiene muy pocas formas de mostrarte que está trabajando en tu solicitud: un tapback, la burbuja de "escribiendo..." o una respuesta corta.
Partyline es un tipo especial de asistente de IA dentro de iMessage. No nos enfocamos en clasificar tu correo electrónico: creemos que, como ser humano, ni siquiera deberías estar usando el correo en primer lugar. Nuestro objetivo es sacarte de casa, ponerte con otras personas y hacer que la pases bien. Nuestra métrica de producto es la cantidad de vida de nuestros usuarios que realmente vale la pena vivir.
Sin embargo, para un asistente esto significa competir en un mundo sumamente saturado que hace todo lo posible por agotar a nuestros usuarios. Por dejarlos deprimidos e infelices. Pero, sobre todo, por robarse su atención.
Como la gente manda mensajes desde entornos caóticos, tenemos que ser rápidos. Solo tenemos un instante con nuestro usuario antes de que guarde el teléfono (¡como debe ser!), y no queremos que mire la pantalla ni un segundo más de lo necesario.
Cuando creamos Partyline, nuestras respuestas eran demasiado lentas. Encontrar un lugar o un evento tomaba entre 29 y 46 segundos. Eso es muchísimo tiempo cuando estás fuera con amigos. Si eres quien saca el teléfono para buscar el próximo lugar, estás poniendo en juego tu capital social: eres la persona que sabe dónde está pasando algo genial. A los 46 segundos, alguien más ya sugirió un lugar y se adueñó de la conversación.
Por eso, un asistente en iMessage tiene que ser rapidísimo. Una app te da una pantalla que controlas mientras alguien la usa. iMessage no: la gente lo usa en momentos ocupados y complicados, y el asistente compite contra todo lo que pasa alrededor.
Cómo nos comparamos
Comparamos Partyline con otros dos asistentes personales en iMessage: Tomo e Instinct. Instinct fue el más lento: sus respuestas a las búsquedas tardaban entre 42 y 82 segundos, demasiado tiempo si estás fuera con amigos. Tomo es excelente conversando. Sus respuestas de chat llegan en unos pocos segundos y sus resultados de búsqueda toman entre 28 y 37 segundos, con un tapback a los 2 segundos aproximadamente y un primer mensaje a los 5.
De 46 segundos a 3
Tomo nos planteó la pregunta clave: ¿cómo podía Partyline responder tan rápido como Tomo en una conversación, pero para tareas más grandes como encontrar lugares y eventos? Empezamos con tiempos de 29 a 46 segundos. Hoy, una búsqueda toma de 2 a 3 segundos desde que se envía hasta que llega la respuesta.
Dos cambios marcaron casi toda la diferencia.
Primero, indexamos los eventos por adelantado para los lugares sobre los que la gente más pregunta. Durante la Tech Week de a16z en San Francisco, nuestro inventario tiene unos 1,700 eventos para la semana, y una búsqueda los filtra a una lista corta en menos de una décima de segundo. Cuando una zona no está indexada, se ejecuta una búsqueda web en paralelo y responde unos segundos después.
Segundo, integramos clasificadores Jev en varios pasos de nuestro pipeline de mensajes. Jev es el modelo clasificador de TypeSafe. En una sola llamada de unos 0.2 segundos, responde muchas preguntas sobre un mensaje: qué tipo de solicitud es, si continúa la búsqueda anterior o si es contenido sensible. Jev también rankea los eventos y lugares candidatos, y verifica cada línea de una respuesta contra los datos que describe. Cuando un modelo grande tomaba esas decisiones, cada una tardaba unos 4 segundos.
Qué sigue
Hoy, Partyline termina de responder una búsqueda antes de que Tomo envíe siquiera su primer mensaje, y puede sostener muchas rondas de conversación casual antes de que Instinct responda una vez. La desventaja es que algunas respuestas se sienten menos como una charla y más como una reacción rápida. Estamos trabajando en eso. Nuestro siguiente paso es ajustar el sistema para encontrar un punto medio que siga sintiéndose instantáneo, pero que se lea como una conversación natural.
También estamos desarrollando herramientas para mantener los costos de inferencia accesibles a medida que crecemos, y así no tener que sacrificar velocidad o calidad por precio.
Hoy, Partyline es el asistente de IA para iMessage más rápido del mundo, especialmente para buscar eventos. Si estás en la Tech Week de a16z en San Francisco esta semana, escríbele a Partyline para probar la búsqueda de eventos más rápida que hayas visto.
