AI アシスタントにとって、スピードは死活問題です。アシスタントはあなたの代わりにタスクをこなさなければなりませんが、iMessage 上で「今リクエストを処理している」と伝える手段はごくわずかしかありません。Tapback（リアクション）、入力中の吹き出し、短い返信くらいです。
Partyline は、iMessage の中で少し変わった存在の AI アシスタントです。私たちはメールの仕分けには興味がありません。そもそも人間がメールに縛られるべきではない、というのが私たちの考えだからです。私たちが目指しているのは、あなたが外に出て、誰かと一緒に楽しい時間を過ごすこと。プロダクトの指標は、「ユーザーが本当に価値を感じて生きた時間」がどれだけ増えたかです。
しかし、アシスタントという立場上、ユーザーを疲れさせようとする非常に混み合った世界で戦わなければなりません。人々を憂鬱にし、不幸にする世界。そして何より、彼らの「注意」を奪い合う世界です。
人々はカオスな環境の中でメッセージを送るため、私たちは速くなければなりません。ユーザーがスマホをしまう（そうすべきです！）までのほんの一瞬しか接点がなく、必要以上に画面を見つめさせるわけにはいかないのです。
Partyline を作り始めた頃、私たちの返信は遅すぎました。お店やイベントを探すのに 29 秒から 46 秒もかかっていました。友達と遊んでいる時、これは永遠のように感じる長さです。次の行き先を探そうとスマホを取り出した瞬間、あなたは自分のソーシャルキャピタルを賭けていることになります。「クールな情報を知っている人」であるはずなのに、46 秒も経てば、誰かが別の場所を提案して会話の主導権を握ってしまいます。
だからこそ、iMessage のアシスタントは圧倒的に速くなければなりません。アプリなら、使っている間は自分でコントロールできる画面があります。しかし iMessage にはそれがありません。人々は忙しく複雑な状況の中でそれを使い、アシスタントは周囲のあらゆるものと注意を奪い合うことになるのです。
他サービスとの比較
私たちは Partyline を、iMessage 上の他の 2 つのパーソナルアシスタント、Tomo と Instinct と比較しました。最も遅かったのは Instinct で、検索に対する回答に 42 秒から 82 秒かかりました。これでは友達と出かけている時に使うのは現実的ではありません。Tomo は会話において非常に優れています。チャットの返信は数秒以内に届き、検索の回答には 28 秒から 37 秒かかります。Tapback は約 2 秒、最初のメッセージは約 5 秒で届きます。
46 秒から 3 秒へ
Tomo が私たちに突きつけた問いはこうでした。「場所やイベント探しのような大きなタスクでも、Tomo のような会話スピードで Partyline は返信できないのか？」スタート地点は 29 秒から 46 秒。現在では、送信から返信までわずか 2〜3 秒で検索が完了します。
この劇的な変化をもたらしたのは、主に 2 つの変更です。
第一に、ユーザーがよく尋ねる場所のイベントを事前にインデックス化しました。サンフランシスコで開催される a16z の Tech Week 期間中、私たちのデータベースには約 1,700 件のイベントが格納されており、検索によって 0.1 秒未満で候補リストに絞り込めます。インデックス化されていないエリアの場合は、並行して Web 検索が走り、数秒後に回答を返します。
第二に、メッセージパイプラインの複数のステップに Jev クラシファイアを組み込みました。Jev は TypeSafe のクラシファイアモデルです。約 0.2 秒の 1 回の呼び出しで、そのメッセージに関する多くの疑問に答えてくれます。どんな種類のリクエストなのか、前回の検索の続きなのか、センシティブな内容かどうかといったことです。さらに Jev は候補となるイベントや場所のランキングを行い、返信の各行が参照データと一致しているかもチェックします。以前は大型モデルがこれらの判断を行っていたため、1 つにつき約 4 秒かかっていました。
今後の展望
現在、Partyline は Tomo が最初のメッセージを送る前に検索結果を返し終え、Instinct が 1 回返信する間に何ターンものカジュアルな会話を成立させられます。一方で、回答が「会話」というよりも「高速レスポンス」のように読めてしまう場面があるのが課題です。ここは現在改善を進めています。次の目標は、体感速度はほぼ一瞬のまま、自然な会話のように読めるバランスを見つけることです。
また、スケールしても推論コストを抑えられるツール群も構築しており、コストのためにスピードや品質を犠牲にする必要がないようにしています。
今日、Partyline は世界最速の AI iMessage アシスタントであり、特にイベント検索においてその力を発揮します。今週サンフランシスコの a16z Tech Week に参加している方は、ぜひ Partyline にメッセージを送って、かつてない爆速のイベント検索を体験してみてください。
