AI 助手的生死取决于速度。助手必须帮你把事情办妥，但在 iMessage 里，它能用来表明“正在处理”的方式少得可怜：一个 tapback 回应、一个输入气泡、一句简短回复。
Partyline 是你 iMessage 里一种特别的 AI 助手。我们不把精力放在帮你分拣邮件上——我们的观点是，作为人类，你本来就不该被邮件绑架。我们的目标是让你走出门，和朋友们待在一起，玩得开心。我们衡量产品的指标，是用户真正值得过的生活有多少。
但对一个助手来说，这意味着要在一个极其拥挤的世界里厮杀，而这个世界正拼尽全力让用户疲惫不堪，让他们抑郁、不快乐。但最关键的，还是争夺他们的注意力。
因为人们往往在兵荒马乱的环境里发消息，所以我们必须快。用户把手机收起来之前（他们就该这么做！），我们只有转瞬即逝的窗口期，我们绝不希望他们在屏幕上多盯哪怕一秒。
刚做 Partyline 的时候，我们的回复太慢了。找个地方或活动要花 29 到 46 秒。和朋友在外面玩时，这简直是一个世纪。如果你就是那个掏出手机找下一个去处的人，那你押上的是自己的社交资本：你是那个知道哪儿有好玩事儿的人。可等上 46 秒，别人早就提议了另一个地方，把话头抢走了。
所以，iMessage 助手必须非常快。App 能在别人使用时给你一块完全由你掌控的屏幕，但 iMessage 不行：人们总是在忙乱、复杂的场景下用它，助手要和周围的一切抢注意力。
我们表现如何
我们把 Partyline 和 iMessage 上的另外两款私人助手 Tomo、Instinct 做了对比。Instinct 最慢：搜索类回答要 42 到 82 秒，和朋友在外面玩时根本没法用。Tomo 非常擅长聊天。它的对话回复几秒内就到，搜索回答需要 28 到 37 秒，tapback 大约 2 秒出现，第一条消息大约 5 秒发出。
从 46 秒到 3 秒
Tomo 给我们立下了一个标杆问题：Partyline 怎么才能在找地点、找活动这类大任务上，做到像 Tomo 聊天那样快？我们起步是 29 到 46 秒。如今，一次搜索从发送到收到回复只需 2 到 3 秒。
两处改动带来了绝大部分提升。
第一，我们会提前为大家最常问到的地点建立活动索引。在旧金山 a16z Tech Week 期间，我们的库里收录了当周约 1,700 场活动，一次搜索不到十分之一秒就能筛出一份精简清单。如果某个区域还没建索引，系统会同步跑网络搜索，几秒后给出答案。
第二，我们在消息处理流程的多个环节引入了 Jev 分类器。Jev 是 TypeSafe 的分类模型。一次调用大约 0.2 秒，它就能回答关于这条消息的很多问题：这是什么类型的请求、是不是接着上一次搜索往下聊、内容是否敏感。Jev 还会对候选活动和地点排序，并逐行核对回复内容与它所描述的数据是否一致。以前让大模型做这些判断，每一步都要花大约 4 秒。
下一步
现在，Partyline 在 Tomo 发出第一条消息前就已经给完了搜索结果；在 Instinct 回一句话的时间里，它能陪你闲聊好几个来回。代价是，有些回答读起来不太像在聊天，更像是在快速应答。我们正在优化这件事。接下来的任务是调整系统，找到一个平衡点：既保持几乎秒回的速度，读起来又像真正的对话。
我们也在搭建配套工具，确保随着规模扩大，推理成本依然可控，这样就不必为了省钱去牺牲速度或质量。
今天，Partyline 是全球最快的 AI iMessage 助手，尤其是在活动搜索上。如果你这周正好在旧金山参加 a16z Tech Week，给 Partyline 发条消息吧，体验一下你见过最快的活动搜索。
