KI-Assistenten stehen und fallen mit ihrer Geschwindigkeit. Ein Assistent muss Dinge für dich erledigen, aber in iMessage hat er nur sehr wenige Möglichkeiten, dir zu zeigen, dass er gerade an deiner Anfrage arbeitet: ein Tapback, eine Tipp-Blase oder eine kurze Antwort.
Partyline ist eine besondere Art von KI-Assistent in deinem iMessage. Wir konzentrieren uns nicht darauf, deine E-Mails zu sortieren: Unserer Meinung nach hättest du als Mensch gar nicht erst bei E-Mails landen sollen. Unser Ziel ist es, dich nach draußen zu bringen – unter Leute, damit du eine gute Zeit hast. Unsere wichtigste Produktkennzahl ist die Menge an Leben unserer Nutzer, das wirklich lebenswert ist.
Für einen Assistenten bedeutet das jedoch, sich in einer extrem hektischen Welt zu behaupten, die alles daransetzt, unsere Nutzer zu erschöpfen. Sie traurig und unglücklich zu machen. Vor allem aber geht es darum, um ihre Aufmerksamkeit zu konkurrieren.
Weil Menschen aus den chaotischsten Situationen heraus schreiben, müssen wir schnell sein. Wir haben nur einen kurzen Moment mit unseren Nutzern, bevor sie ihr Handy wieder wegstecken (und genau so sollte es sein!). Wir wollen nicht, dass sie auch nur eine Sekunde länger auf den Bildschirm starren als unbedingt nötig.
Als wir Partyline entwickelt haben, waren unsere Antworten zu langsam. Einen Ort oder ein Event zu finden, dauerte 29 bis 46 Sekunden. Das ist eine Ewigkeit, wenn du mit Freunden unterwegs bist. Wenn du derjenige bist, der das Handy zückt, um den nächsten Spot zu suchen, setzt du dein soziales Kapital aufs Spiel: Du bist schließlich die Person, die weiß, wo etwas Cooles läuft. Nach 46 Sekunden hat längst jemand anderes einen Ort vorgeschlagen und das Gespräch an sich gerissen.
Ein iMessage-Assistent muss also rasend schnell sein. Eine App gibt dir einen Bildschirm, den du kontrollierst, während jemand sie nutzt. Bei iMessage ist das anders: Die Leute nutzen es in stressigen, komplizierten Momenten, und der Assistent konkurriert mit allem, was um sie herum passiert.
Der Vergleich
Wir haben Partyline mit zwei anderen persönlichen Assistenten in iMessage verglichen: Tomo und Instinct. Instinct war am langsamsten: Die Antworten auf Suchanfragen dauerten 42 bis 82 Sekunden – viel zu langsam, um sie unterwegs mit Freunden zu nutzen. Tomo ist hervorragend im Konversationellen. Chat-Antworten kommen innerhalb weniger Sekunden, Suchergebnisse dauern 28 bis 37 Sekunden, mit einem Tapback nach etwa 2 Sekunden und einer ersten Nachricht nach rund 5 Sekunden.
Von 46 Sekunden auf 3
Tomo hat uns die entscheidende Frage gestellt: Wie könnte Partyline bei größeren Aufgaben wie der Suche nach Orten und Events genauso schnell antworten wie Tomo im normalen Chat? Wir starteten bei 29 bis 46 Sekunden. Heute dauert eine Suche vom Absenden bis zur Antwort nur noch 2 bis 3 Sekunden.
Zwei Änderungen haben den größten Unterschied gemacht.
Erstens indexieren wir Events im Voraus für die Orte, nach denen am häufigsten gefragt wird. Während der Tech Week von a16z in San Francisco umfasst unser Bestand rund 1.700 Events für die Woche, und eine Suche filtert sie in weniger als einer Zehntelsekunde auf eine kurze Liste herunter. Wo ein Gebiet nicht indexiert ist, läuft parallel eine Websuche, die ein paar Sekunden später Ergebnisse liefert.
Zweitens setzen wir Jev-Klassifikatoren an mehreren Stellen unserer Nachrichten-Pipeline ein. Jev ist das Klassifikationsmodell von TypeSafe. In einem einzigen Aufruf von etwa 0,2 Sekunden beantwortet es viele Fragen zu einer Nachricht: Um welche Art von Anfrage handelt es sich? Setzt sie die letzte Suche fort? Ist sie sensibel? Jev bewertet außerdem die potenziellen Events und Orte und prüft jede Zeile einer Antwort gegen die Daten, die sie beschreibt. Als ein großes Modell diese Entscheidungen traf, dauerte jeder einzelne Schritt etwa 4 Sekunden.
Wie es weitergeht
Partyline liefert heute eine vollständige Suchantwort, bevor Tomo überhaupt seine erste Nachricht verschickt hat, und kann viele Runden lockeren Smalltalk führen, bevor Instinct ein einziges Mal antwortet. Der Nachteil: Manche Antworten wirken dadurch weniger wie ein echtes Gespräch und mehr wie eine schnelle Durchsage. Daran arbeiten wir. Unsere nächste Aufgabe ist es, das System auf einen Mittelweg einzustellen, der sich weiterhin blitzschnell anfühlt, aber wie eine natürliche Unterhaltung klingt.
Außerdem entwickeln wir Tools, um die Inferenzkosten auch bei weiterem Wachstum bezahlbar zu halten – damit wir weder Geschwindigkeit noch Qualität opfern müssen, um Kosten zu sparen.
Heute ist Partyline der schnellste KI-Assistent für iMessage weltweit, besonders bei der Event-Suche. Wenn du diese Woche auf der Tech Week von a16z in San Francisco bist, schreib Partyline und erlebe die schnellste Event-Suche, die du je gesehen hast.
