AI 助手的生死存亡取決於速度。助手必須幫你搞定事情，但在 iMessage 上，它能用來證明自己正在處理請求的方式少得可憐：一個 tapback 回應、一個輸入中的氣泡，或一句簡短回覆。
Partyline 是你 iMessage 裡一種很特別的 AI 助手。我們不打算幫你整理信箱：我們的看法是，身為人類，你本來就不該被 Email 綁住。我們的目標是讓你走出門，跟其他人待在一起，好好享受時光。衡量產品的指標，就是使用者真正「值得過」的生活有多少。
但對一個助手來說，這意味著要在一個極度擁擠的世界裡競爭——這個世界正竭盡所能地消耗使用者的精力，讓他們沮喪、不快樂。而最關鍵的，是在爭奪他們的注意力。
因為大家往往在混亂的環境中傳訊息，所以我們必須夠快。在使用者把手機收起來之前（他們本來就該這樣！），我們只有短短一瞬間能抓住他們，而我們不希望他們多盯著螢幕一秒鐘。
剛開始打造 Partyline 時，我們的回覆太慢了。找一間店或一場活動要花 29 到 46 秒。當你跟朋友在外面玩，這段時間真的很久。如果你是那個掏出手機找下一個去處的人，你其實是在押上自己的社交資本：你就是那個知道哪裡有好玩事情的人。但等到 46 秒過去，早就有人提了別的地方，把話題主導權搶走了。
所以 iMessage 助手一定要非常快。App 會給你一個由你掌控的畫面；iMessage 不會。人們總是在忙碌、複雜的時刻使用它，而助手得跟周遭所有事物搶注意力。
我們與對手的比較
我們把 Partyline 和 iMessage 上另外兩款個人助手 Tomo 與 Instinct 做了比較。Instinct 最慢：搜尋結果要等 42 到 82 秒，跟朋友在外面時根本來不及用。Tomo 非常擅長對話，聊天回覆幾秒內就會送達，搜尋答案需要 28 到 37 秒，tapback 大約 2 秒出現，第一則訊息大約 5 秒。
從 46 秒縮短到 3 秒
Tomo 替我們立下了基準問題：Partyline 該怎麼做到像 Tomo 聊天那樣快，同時又能處理找地點、找活動這類更重的任務？我們一開始是 29 到 46 秒。現在，一次搜尋從送出到收到回覆只要 2 到 3 秒。
兩個改變帶來了最大的差異。
首先，我們會針對大家最常問的地區，事先為活動建立索引。在 a16z 於舊金山舉辦的 Tech Week 期間，我們的資料庫裡大約有 1,700 場當週活動，而搜尋能在不到十分之一秒內把它們篩成一份簡短清單。如果某個區域還沒建索引，系統會同步跑網頁搜尋，晚個幾秒再給出答案。
其次，我們在訊息處理流程的多個環節加入了 Jev 分類器。Jev 是 TypeSafe 的分類模型。只要一次約 0.2 秒的呼叫，它就能回答關於一則訊息的許多問題：這是哪種請求、是不是延續上一次搜尋、內容是否敏感。Jev 也會為候選的活動與地點排序，並逐行核對回覆內容與它所描述的資料是否一致。以前這些判斷都交給大型模型，每一項就要花大約 4 秒。
下一步
現在，Partyline 在 Tomo 送出第一則訊息之前就完成了搜尋回覆；而在 Instinct 回一句話的時間裡，它已經能跟你輕鬆聊上好幾個回合。代價是，有些回答讀起來不太像在聊天，反而更像快速回應。我們正在改善這件事。接下來的任務是把系統調校到一個中間點：依然感覺幾乎即時，但讀起來就像在對話。
我們也在打造相關工具，讓推論成本隨著規模成長依然維持在可負擔的範圍，這樣就不必為了省錢而犧牲速度或品質。
今天，Partyline 是全球最快的 AI iMessage 助手，尤其在活動搜尋上。如果你這週正好在舊金山參加 a16z 的 Tech Week，傳個訊息給 Partyline，體驗一下你見過最快的活動搜尋。
