ผู้ช่วย AI จะอยู่รอดหรือดับสูญขึ้นอยู่กับความเร็ว ผู้ช่วยต้องจัดการเรื่องต่าง ๆ ให้คุณได้ แต่บน iMessage มีวิธีบอกให้คุณรู้แค่นิดเดียวว่ากำลังทำงานตามคำขอของคุณอยู่ เช่น tapback, ฟองพิมพ์ข้อความ หรือการตอบกลับสั้น ๆ
Partyline คือผู้ช่วย AI รูปแบบพิเศษใน iMessage ของคุณ เราไม่ได้มุ่งเน้นเรื่องการคัดกรองอีเมล เพราะเราเชื่อว่าในฐานะมนุษย์ คุณไม่ควรต้องไปยุ่งกับอีเมลตั้งแต่แรก เป้าหมายของเราคือการพาคุณออกไปข้างนอก ไปอยู่กับคนอื่น ๆ และมีความสุขให้เต็มที่ ตัวชี้วัดความสำเร็จของผลิตภัณฑ์เราคือปริมาณช่วงเวลาในชีวิตของผู้ใช้ที่คุ้มค่าแก่การใช้ชีวิต
แต่สำหรับผู้ช่วยแล้ว นั่นหมายถึงการแข่งขันในโลกที่วุ่นวายสุดขีด ซึ่งพยายามทำทุกอย่างเพื่อให้ผู้ใช้ของเราเหนื่อยล้า ทำให้พวกเขาซึมเศร้าและไม่มีความสุข แต่เหนือสิ่งอื่นใด คือการแย่งชิงความสนใจของพวกเขา
เพราะคนมักส่งข้อความจากสภาพแวดล้อมที่วุ่นวาย เราจึงต้องเร็ว เรามีเวลาเพียงชั่วครู่กับผู้ใช้ก่อนที่พวกเขาจะเก็บมือถือ (ซึ่งก็ควรทำแบบนั้น!) และเราไม่อยากให้พวกเขามองหน้าจอนานเกินความจำเป็นแม้แต่วินาทีเดียว
ตอนที่เราสร้าง Partyline ขึ้นมา การตอบกลับของเราช้าเกินไป การค้นหาสถานที่หรือกิจกรรมใช้เวลา 29 ถึง 46 วินาที ซึ่งนานมากเมื่อคุณออกไปเที่ยวกับเพื่อน ถ้าคุณเป็นคนหยิบมือถือขึ้นมาหาที่เที่ยวต่อ คุณกำลังเอาเครดิตทางสังคมของตัวเองเป็นเดิมพัน เพราะคุณคือคนที่รู้ว่ากำลังมีอะไรเจ๋ง ๆ เกิดขึ้น แต่พอผ่านไป 46 วินาที คนอื่นก็เสนอที่ไปแล้วและแย่งบทสนทนาไปได้เรียบร้อย
ดังนั้นผู้ช่วยบน iMessage จึงต้องเร็วสุด ๆ แอปทั่วไปจะให้หน้าจอที่คุณควบคุมได้ขณะใช้งาน แต่ iMessage ไม่ใช่แบบนั้น ผู้คนใช้มันในช่วงเวลาที่วุ่นวายและซับซ้อน และผู้ช่วยก็ต้องแข่งกับทุกสิ่งรอบตัวพวกเขา
เราเทียบกับเจ้าอื่นอย่างไร
เราเปรียบเทียบ Partyline กับผู้ช่วยส่วนตัวอีกสองรายบน iMessage คือ Tomo และ Instinct โดย Instinct ช้าที่สุด การค้นหาคำตอบใช้เวลา 42 ถึง 82 วินาที ซึ่งช้าเกินกว่าจะใช้ตอนออกไปเที่ยวกับเพื่อน ส่วน Tomo เก่งเรื่องการสนทนามาก ข้อความแชทตอบกลับภายในไม่กี่วินาที และการค้นหาคำตอบใช้เวลา 28 ถึง 37 วินาที พร้อม tapback ที่ราว 2 วินาที และข้อความแรกที่ประมาณ 5 วินาที
จาก 46 วินาที สู่ 3 วินาที
Tomo ตั้งคำถามพื้นฐานให้เราว่า Partyline จะตอบได้เร็วเท่า Tomo ในการสนทนาได้อย่างไร แต่สำหรับงานที่ใหญ่กว่าอย่างการค้นหาสถานที่และกิจกรรม เราเริ่มต้นที่ 29 ถึง 46 วินาที แต่วันนี้การค้นหาใช้เวลาเพียง 2 ถึง 3 วินาที นับตั้งแต่กดส่งจนถึงได้รับคำตอบ
การเปลี่ยนแปลงสองอย่างสร้างความแตกต่างมากที่สุด
อย่างแรก เราจัดทำดัชนีกิจกรรมล่วงหน้าสำหรับสถานที่ที่ผู้คนถามถึงบ่อยที่สุด ในช่วง Tech Week ของ a16z ที่ซานฟรานซิสโก คลังข้อมูลของเราเก็บกิจกรรมไว้ราว 1,700 รายการต่อสัปดาห์ และการค้นหาจะคัดให้เหลือรายการสั้น ๆ ในเวลาไม่ถึงหนึ่งในสิบวินาที ส่วนพื้นที่ที่ยังไม่ได้จัดทำดัชนี ระบบจะค้นหาผ่านเว็บควบคู่กันไปและให้คำตอบในอีกไม่กี่วินาทีต่อมา
อย่างที่สอง เราใส่ Jev classifiers ไว้หลายจุดใน message pipeline ของเรา Jev คือโมเดล classifier ของ TypeSafe ในการเรียกใช้ครั้งเดียวที่ใช้เวลาประมาณ 0.2 วินาที มันสามารถตอบคำถามเกี่ยวกับข้อความได้มากมาย เช่น เป็นคำขอประเภทไหน เป็นการค้นหาต่อเนื่องจากครั้งก่อนหรือไม่ หรือเป็นเรื่องละเอียดอ่อนหรือเปล่า Jev ยังจัดอันดับกิจกรรมและสถานที่ที่เป็นตัวเลือก และตรวจสอบข้อความตอบกลับแต่ละบรรทัดเทียบกับข้อมูลที่อธิบายไว้อีกด้วย ตอนที่เราใช้โมเดลขนาดใหญ่ตัดสินใจเรื่องเหล่านี้ แต่ละครั้งใช้เวลาประมาณ 4 วินาที
ก้าวต่อไปคืออะไร
ตอนนี้ Partyline ค้นหาคำตอบเสร็จก่อนที่ Tomo จะส่งข้อความแรกเสียอีก และสามารถคุยเล่นกันได้หลายรอบก่อนที่ Instinct จะตอบกลับมาแม้แต่ครั้งเดียว ข้อเสียคือคำตอบบางอย่างอ่านดูไม่ค่อยเหมือนการสนทนา แต่เหมือนการตอบกลับด่วนมากกว่า เรากำลังแก้ไขเรื่องนี้ งานต่อไปของเราคือการปรับระบบให้อยู่ตรงกลาง ที่ยังรู้สึกเร็วทันใจแต่อ่านแล้วเหมือนกำลังคุยกันจริง ๆ
เรายังกำลังสร้างเครื่องมือเพื่อควบคุมต้นทุน inference ให้จับต้องได้เมื่อเราเติบโตขึ้น เพื่อจะได้ไม่ต้องแลกความเร็วหรือคุณภาพกับต้นทุน
วันนี้ Partyline คือผู้ช่วย AI บน iMessage ที่เร็วที่สุดในโลก โดยเฉพาะสำหรับการค้นหากิจกรรม ถ้าคุณอยู่ที่ Tech Week ของ a16z ในซานฟรานซิสโกสัปดาห์นี้ ลองทักไปหา Partyline ดู แล้วจะได้สัมผัสการค้นหากิจกรรมที่เร็วที่สุดเท่าที่เคยเจอ
