AI 어시스턴트의 운명은 속도에 달려 있습니다. 어시스턴트는 사용자를 위해 일을 처리해 주어야 하지만, iMessage 에서 자신이 요청을 처리하고 있다는 사실을 보여줄 수 있는 방법은 아주 제한적입니다. 탭백(tapback), 입력 중 말풍선, 짧은 답장 정도가 전부죠.
Partyline 은 iMessage 안에서 작동하는 특별한 AI 어시스턴트입니다. 저희는 이메일 분류에 집중하지 않습니다. 애초에 인간이 이메일에 매달려 있을 필요는 없다고 생각하기 때문이죠. 저희의 목표는 여러분이 밖으로 나가 다른 사람들과 함께 즐거운 시간을 보내도록 돕는 것입니다. Partyline 의 핵심 지표는 사용자가 '살 만한 가치가 있다'고 느끼는 삶의 총량입니다.
하지만 어시스턴트 입장에서 이는 매우 치열한 세상에서 경쟁해야 한다는 뜻이기도 합니다. 이 세상은 사용자를 지치게 만들고, 우울하고 불행하게 만드는 데 온 힘을 다하고 있죠. 무엇보다도 사용자의 '주의력(attention)'을 두고 끝없는 쟁탈전을 벌이고 있습니다.
사람들은 혼잡하고 정신없는 환경 속에서 메시지를 보내기 때문에, 우리는 반드시 빨라야 합니다. 사용자가 (당연히 그래야 하듯!) 핸드폰을 다시 주머니에 넣기 전까지 우리에게 허락된 시간은 찰나에 불과하며, 꼭 필요한 시간 이상으로 화면을 들여다보게 만들고 싶지 않기 때문입니다.
처음 Partyline 을 만들었을 때, 우리의 답변은 너무 느렸습니다. 장소나 이벤트를 찾는 데 29 초에서 46 초가 걸렸죠. 친구들과 밖에 나와 있을 때 40 초는 정말 긴 시간입니다. 다음 장소를 찾기 위해 핸드폰을 꺼내는 순간, 당신은 자신의 사회적 자본을 걸게 됩니다. 멋진 일이 벌어지고 있다는 걸 아는 사람이 바로 당신이니까요. 그런데 46 초가 흐르는 동안 누군가 이미 다른 장소를 제안하고 대화의 주도권을 가져가 버립니다.
그래서 iMessage 어시스턴트는 무조건 빨라야 합니다. 일반 앱은 사용자가 앱을 쓰는 동안 개발자가 통제할 수 있는 화면을 제공하지만, iMessage 는 그렇지 않습니다. 사람들은 가장 바쁘고 복잡한 순간에 iMessage 를 사용하며, 어시스턴트는 사용자 주변의 모든 자극과 경쟁해야 합니다.
경쟁사 비교
우리는 Partyline 을 iMessage 기반의 다른 두 개인 비서인 Tomo, Instinct 와 비교했습니다. Instinct 가 가장 느렸습니다. 검색 결과를 내놓는 데 42 초에서 82 초가 걸렸는데, 친구들과 외출했을 때 쓰기에는 너무 느린 속도입니다. Tomo 는 대화 능력이 뛰어납니다. 채팅 답변은 몇 초 안에 도착하고, 검색 결과는 28 초에서 37 초가 소요됩니다. 탭백은 약 2 초, 첫 번째 메시지는 약 5 초 만에 전송됩니다.
46 초에서 3 초로
Tomo 는 우리에게 근본적인 질문을 던졌습니다. Partyline 이 일상 대화에서는 Tomo 만큼 빠르게 응답하면서도, 장소나 이벤트 검색처럼 더 무거운 작업에서도 그 속도를 유지하려면 어떻게 해야 할까? 처음엔 29~46 초가 걸렸습니다. 하지만 지금은 메시지를 보내고 답변을 받기까지 단 2~3 초면 충분합니다.
두 가지 변화가 결정적이었습니다.
첫째, 사람들이 가장 많이 묻는 지역의 이벤트를 미리 인덱싱했습니다. 샌프란시스코에서 열리는 a16z Tech Week 기간 동안 우리 데이터베이스에는 약 1,700 개의 이벤트가 저장되며, 검색 시 0.1 초도 안 되는 시간에 이를 간결한 목록으로 추려냅니다. 인덱싱되지 않은 지역이라면 웹 검색이 동시에 실행되어 몇 초 뒤에 결과를 제공합니다.
둘째, 메시지 파이프라인의 여러 단계에 Jev 분류기를 도입했습니다. Jev 는 TypeSafe 의 분류 모델입니다. 약 0.2 초가 소요되는 한 번의 호출로 메시지에 관한 수많은 질문에 답합니다. 어떤 유형의 요청인지, 이전 검색을 이어가는 것인지, 민감한 내용인지 등을 파악하죠. 또한 후보 이벤트와 장소의 순위를 매기고, 답변의 각 줄이 설명하는 데이터와 일치하는지 검증합니다. 과거 대형 모델이 이러한 판단을 내릴 때는 하나당 약 4 초가 걸렸습니다.
앞으로의 계획
이제 Partyline 은 Tomo 가 첫 번째 메시지를 보내기도 전에 검색 답변을 완료하며, Instinct 가 한 번 답변할 동안 수십 차례의 가벼운 대화를 이어갈 수 있습니다. 단점도 있습니다. 일부 답변이 자연스러운 대화보다는 기계적으로 빠른 응답처럼 느껴진다는 점입니다. 현재 이를 개선하고 있으며, 다음 과제는 즉각적인 반응 속도는 유지하면서도 대화하듯 자연스러운 톤을 찾아 시스템을 미세 조정하는 것입니다.
또한 서비스 규모가 커져도 추론 비용을 감당 가능한 수준으로 유지할 수 있도록 도구를 구축하고 있습니다. 비용 때문에 속도나 품질을 타협하는 일은 없어야 하니까요.
오늘날 Partyline 은 특히 이벤트 검색 분야에서 세계에서 가장 빠른 AI iMessage 어시스턴트입니다. 이번 주 샌프란시스코에서 열리는 a16z Tech Week 에 참석하신다면, Partyline 에 메시지를 보내 직접 경험해 보세요. 지금까지 본 적 없는 가장 빠른 이벤트 검색을 만나실 수 있습니다.
