Gli assistenti AI vivono o muoiono in base alla velocità. Un assistente deve sbrigare le cose per te, ma su iMessage ha pochissimi modi per farti capire che sta lavorando alla tua richiesta: un tapback, il fumetto di digitazione, una risposta breve.
Partyline è un tipo speciale di assistente AI dentro iMessage. Non ci interessa smistare la tua posta elettronica: secondo noi, da essere umano, non dovresti proprio usare l'email. Il nostro obiettivo è farti uscire di casa, stare con gli altri e divertirti. La nostra metrica di prodotto è la quantità di vita dei nostri utenti che vale davvero la pena vivere.
Per un assistente, però, questo significa competere in un mondo frenetico, anzi freneticissimo, che fa di tutto per esaurire le energie dei nostri utenti. Per renderli depressi e infelici. Ma soprattutto, per contendersi la loro attenzione.
Dato che le persone scrivono messaggi in contesti caotici, dobbiamo essere veloci. Abbiamo solo un istante con il nostro utente prima che rimetta via il telefono (come è giusto che faccia!) e non vogliamo che resti a fissare lo schermo un secondo più del necessario.
Quando abbiamo creato Partyline, le nostre risposte erano troppo lente. Trovare un locale o un evento richiedeva dai 29 ai 46 secondi. Un'eternità quando sei fuori con gli amici. Se sei tu quello che tira fuori il telefono per cercare il prossimo posto, stai mettendo in gioco il tuo capitale sociale: sei tu quello che sa cosa c'è di interessante in giro. In 46 secondi, qualcun altro ha già proposto un locale e si è preso la conversazione.
Quindi un assistente su iMessage deve essere velocissimo. Un'app ti offre uno schermo che controlli finché qualcuno la usa. iMessage no: le persone lo usano in momenti concitati e complicati, e l'assistente compete con tutto ciò che li circonda.
Il confronto
Abbiamo messo a confronto Partyline con altri due assistenti personali su iMessage: Tomo e Instinct. Instinct è stato il più lento: le risposte alle ricerche richiedevano dai 42 agli 82 secondi, decisamente troppo per usarlo mentre sei fuori con gli amici. Tomo è eccellente nella conversazione. Le sue risposte in chat arrivano in pochi secondi e quelle alle ricerche richiedono dai 28 ai 37 secondi, con un tapback dopo circa 2 secondi e un primo messaggio dopo circa 5.
Da 46 secondi a 3
Tomo ci ha posto la domanda fondamentale: come poteva Partyline rispondere velocemente quanto Tomo nelle conversazioni, ma anche per compiti più complessi come trovare locali ed eventi? Siamo partiti da 29-46 secondi. Oggi una ricerca richiede dai 2 ai 3 secondi dall'invio alla risposta.
Due modifiche hanno fatto quasi tutta la differenza.
Innanzitutto, indicizziamo in anticipo gli eventi per i luoghi che le persone cercano di più. Durante la Tech Week di a16z a San Francisco, il nostro inventario contiene circa 1.700 eventi per la settimana, e una ricerca li riduce a una breve lista in meno di un decimo di secondo. Dove un'area non è indicizzata, viene eseguita parallelamente una ricerca web che risponde qualche secondo dopo.
In secondo luogo, abbiamo inserito i classificatori Jev in diverse fasi della nostra pipeline dei messaggi. Jev è il modello classificatore di TypeSafe. Con una singola chiamata di circa 0,2 secondi risponde a molte domande su un messaggio: che tipo di richiesta è, se continua la ricerca precedente, se contiene contenuti sensibili. Jev classifica anche gli eventi e i luoghi candidati e verifica ogni riga della risposta confrontandola con i dati che descrive. Quando queste decisioni venivano prese da un modello di grandi dimensioni, ognuna richiedeva circa 4 secondi.
I prossimi passi
Oggi Partyline completa la risposta a una ricerca prima ancora che Tomo invii il suo primo messaggio, e riesce a sostenere molti giri di conversazione informale prima che Instinct risponda una sola volta. Il rovescio della medaglia è che alcune risposte sembrano meno una conversazione e più una reazione fulminea. Ci stiamo lavorando. Il nostro prossimo obiettivo è calibrare il sistema per trovare una via di mezzo che sembri comunque istantanea, ma che si legga come una vera conversazione.
Stiamo anche sviluppando strumenti per mantenere accessibili i costi di inferenza man mano che cresciamo, così non dovremo sacrificare velocità o qualità per contenere le spese.
Oggi Partyline è l'assistente AI per iMessage più veloce al mondo, soprattutto per la ricerca di eventi. Se questa settimana sei alla Tech Week di a16z a San Francisco, scrivi a Partyline per provare la ricerca eventi più rapida che tu abbia mai visto.
