Khi chúng đang "suy nghĩ", chúng gần như bị điếc và mù. Chúng không thể nhận thức được bất cứ điều gì khác đang diễn ra xung quanh. -
Tôi thực sự bối rối khi phần lớn các voice agent (tác nhân giọng nói) hiện nay vẫn đưa ra quyết định dựa trên bản ghi văn bản.
Mọi cuộc gọi đều được chuyển từ âm thanh sang văn bản trước khi "lớp tư duy" của agent nhìn thấy nó. Quá trình chuyển đổi này làm mất mát dữ liệu. Chỉ có câu chữ là còn sót lại. Sự ngập ngừng, tiếng "ờm", ngữ điệu hạ xuống ở cuối câu, tiếng ồn nền, hay việc người nói quay sang trò chuyện với ai đó: tất cả đều biến mất.
Thế nên agent chỉ có thể đoán mò. Nó ngắt lời người dùng khi họ chưa nói hết ý, chờ quá lâu sau khi họ đã nói xong, và bỏ lỡ sự tức giận ẩn sau một câu nói lịch sự.
Tôi cho rằng đây là khoảng trống lớn nhất của AI giọng nói hiện nay.
Bài viết này là góc nhìn của tôi về thực trạng hiện tại và sẽ khám phá những câu hỏi sau:
- Một agent có thể đưa ra quyết định tốt nếu nó chưa từng nghe cuộc gọi không?
- Tại sao một mạng lưới LLM vẫn chưa lấp đầy được khoảng trống này?
- Tại sao không dùng các mô hình speech-to-speech (giọng nói sang giọng nói)?
- Một "lớp tư duy" thực sự biết lắng nghe sẽ trông như thế nào?
Thị trường đang ở đâu?
https://x.com/jordan_dearsley/status/2085602471918064064
Trong nhiều năm, người ta dự đoán rằng giọng nói sẽ trở thành phương thức giao tiếp phổ quát với phần mềm. Đến năm 2026, dự đoán đó đang dần thành hiện thực. AI đang xử lý hàng tỷ cuộc gọi doanh nghiệp mỗi năm, nhờ vào các công ty như @ElevenLabs và @DeepgramAI, cùng với hơn 800 sản phẩm AI giọng nói.
Nhưng giống như giai đoạn đầu của mọi làn sóng công nghệ, tốc độ ứng dụng đã vượt xa chất lượng. Chỉ khoảng một trong năm doanh nghiệp thực sự hài lòng với các agent đang chạy thực tế của họ. Vì vậy, phần lớn agent chỉ bám trụ vào những gì vừa túi tiền và đáng tin cậy: các cuộc gọi đi theo kịch bản, hoặc các yêu cầu gọi đến đủ đơn giản để dự đoán.
Gần như mọi voice agent đều hoạt động theo mô hình nối tầng: chuyển giọng nói thành văn bản (STT), rồi qua một LLM, sau đó chuyển văn bản thành giọng nói (TTS). Các kỹ sư thích thiết kế này vì họ có thể chọn mô hình tốt nhất cho từng tác vụ, đọc được mọi bước trung gian và kiểm soát chặt chẽ những gì agent nói và làm.
Dù STT và TTS đã tiến bộ rất nhiều về độ trễ và chi phí, điểm yếu nhất lại nằm ở lớp tư duy.
Bản ghi văn bản đã vứt bỏ những gì
Nhiệm vụ của lớp tư duy rất đơn giản. Biết cuộc hội thoại đang ở trạng thái nào, và chọn hành động để chuyển nó sang trạng thái tiếp theo phù hợp: nói, hành động, chuyển giao, hoặc tiếp tục lắng nghe.
Mã nguồn của bạn luôn biết cuộc gọi đang ở bước nào trong luồng công việc. Điều nó không biết là chuyện gì đang xảy ra với người ở đầu dây bên kia. Đó chính là phần mà lớp tư duy phải đọc được trong mỗi lượt tương tác:
- Người dùng đã nói xong, hay chỉ đang tạm dừng?
- Họ đang nói ngôn ngữ gì?
- Họ đang tò mò, hay đang tức giận vì dịch vụ kém?
- Tiếng ồn phía sau là tivi, hay trẻ con đang chơi đùa?
- Họ đang nói với mình, hay đang nói với người bên cạnh?
- Họ muốn gì: hoàn tiền, mở tài khoản mới, hay kiểm tra trạng thái?
Hai đoạn âm thanh có cùng bản ghi văn bản: "Vâng, anh cứ nói đi." Một đoạn nói với agent, đoạn kia nói với người khác trong phòng. Chỉ có âm thanh mới phân biệt được chúng.
Những câu in đậm ở trên cho ta biết điều đó được nói như thế nào, chứ không chỉ là nói cái gì. Bản ghi văn bản giữ lại câu chữ nhưng vứt bỏ ngữ điệu, nhịp độ, khoảng dừng và không gian xung quanh.
Hãy xem câu hỏi đầu tiên. Ai cũng biết một người sắp nói xong ngay cả trước khi khoảng lặng xuất hiện: ngữ điệu hạ xuống, nhịp độ chậm lại, giọng nhỏ dần. Các mô hình được nghe âm thanh học cách sử dụng chính những tín hiệu này (Ekstedt & Skantze, 2022). Nhưng các mô hình chỉ đọc bản ghi văn bản thì không thể, vì ngữ điệu không bao giờ được viết ra (Rajaa, 2026).
Tương tự với câu hỏi thứ năm. Khi Apple thử nghiệm xem một lời nói có dành cho trợ lý của họ hay không, việc bổ sung âm thanh vào bản ghi văn bản đã giảm tới 39% lỗi so với việc chỉ dùng văn bản.
Những quyết định tốt nhất cần kết hợp cả âm thanh và văn bản. Đáng tiếc là các agent hiện nay chỉ nhận được văn bản.
Chỉ dùng bản ghi văn bản: 74,8% số lượt bị ngắt lời sớm. Dùng âm thanh: 7,8%. Uniphore, arXiv 2609.11066.
Tại sao mạng lưới LLM lại chạm trần
Các kỹ sư đã chọn giải pháp "tham lam" để xây dựng "lớp tư duy". Họ lao vào con đường dễ nhất mang lại lợi ích tức thời lớn nhất: thuê LLM đỉnh cao nhất thời điểm đó và nhét cho nó một cuốn cẩm nang khổng lồ về những việc cần làm. Đó là toàn bộ câu chuyện của giai đoạn 2023-24.
Có vài vấn đề ở đây.
- Thứ nhất, các nhóm nhận ra LLM khó đoán và chậm, đồng thời chúng bỏ sót chỉ dẫn trong những prompt dài và dày đặc.
- Thứ hai, một lần gọi LLM duy nhất là không đủ để hiểu trọn vẹn một câu nói.
Vậy nên bước logic tiếp theo là một mạng lưới các LLM nhanh hơn, rẻ hơn: mỗi cái lo một tác vụ khác nhau với một bộ điều phối ở trên cùng. Các bản demo trông thật tuyệt vời. Khách hàng ấn tượng và doanh thu bắt đầu chảy về.
Đây chính là kiến trúc tiên tiến nhất hiện nay.
Nhưng khi đưa vào vận hành thực tế, kiến trúc này lộ ra hai vết nứt:
- Mọi mảnh ghép vẫn đọc chung một bản ghi văn bản. Thêm nhiều LLM cũng không thể lấy lại khoảng dừng hay ngữ điệu mà bản ghi văn bản đã loại bỏ.
- Các mảnh ghép phải chờ đợi nhau. Mỗi lần gọi lại thêm độ trễ. Việc nhận diện lượt nói, quyết định hành động và thực thi tác vụ chiếm tới 80% thời gian phản hồi.
Một voice agent nối tầng: âm thanh của người gọi chuyển thành văn bản, qua vài lần gọi LLM, rồi chuyển lại thành giọng nói. Ngữ điệu, khoảng dừng, tông giọng, tiếng ồn nền và đối tượng được nói tới đều bị loại bỏ ngay từ bước chuyển giọng nói thành văn bản.
Ngành công nghiệp đã chia nhỏ lớp tư duy theo tác vụ. Lẽ ra họ nên chia nhỏ nó theo đầu vào: những quyết định cần tín hiệu âm thanh nên giao cho một mô hình thuần âm thanh, còn LLM chỉ nên xử lý văn bản.
Tại sao không bỏ hẳn bản ghi văn bản?
Các mô hình speech-to-speech (STS - giọng nói sang giọng nói) bắt đầu cho thấy sức sống thực sự trong năm nay. Sức hấp dẫn rất rõ ràng: độ trễ thấp hơn, khả năng hiểu hội thoại tốt hơn và ít công sức kỹ thuật hơn, bằng cách nén STT, LLM và TTS vào một mô hình duy nhất.
Nhược điểm lớn nhất là thiếu khả năng kiểm soát và dữ liệu xác minh. Bạn không thể chắc chắn một mô hình STS sẽ nói gì, và việc gọi công cụ hay thực thi mã không hề tự nhiên với một mô hình "suy nghĩ" bằng âm thanh.
Tôi cho rằng STS vẫn còn xa vời thực tế trong ngắn hạn. Ngay cả khi nó tăng tốc, ban đầu nó sẽ chỉ phù hợp với các trường hợp sử dụng đơn giản như trả lời FAQ. Những người xây dựng sẽ bám trụ với mô hình nối tầng, một phần vì quán tính, nhưng chủ yếu vì họ cần sự kiểm soát và linh hoạt của nó.
Đó là lý do tôi đang xây dựng các mô hình giúp kiến trúc nối tầng dễ kiểm soát hơn, đồng thời khả thi để triển khai cả về chi phí lẫn độ trễ.
Lớp biết lắng nghe
Tôi tin rằng có một cách để kiểm soát agent và loại bỏ sự cồng kềnh: các mô hình ra quyết định.
Hãy nhìn kỹ GPT-Live và bạn sẽ thấy cốt lõi của nó là một cỗ máy ra quyết định. Nhiều lần mỗi giây, nó quyết định xem nên nói, tiếp tục nghe, tạm dừng, ngắt lời hay gọi một công cụ. Mô hình nối tầng cũng cần một cỗ máy như vậy, dưới dạng một thành phần mà bạn có thể nhìn thấy và kiểm soát.
Một mô hình ra quyết định nhận vào trạng thái hiện tại cùng một tập hợp giới hạn các lựa chọn (nói hay chờ, leo thang hay tiếp tục, ý định nào) và trả về một lựa chọn kèm xác suất, nhanh hơn và rẻ hơn LLM rất nhiều. @typesafeai đã khiến nhiều người ngạc nhiên về mức độ hiệu quả của cách tiếp cận này trên văn bản.
Tôi đề xuất:
- Mô hình ra quyết định lắng nghe cuộc gọi và đưa ra các quyết định trong phạm vi giới hạn.
- Phần mềm của bạn quản lý trạng thái luồng công việc, quyền hạn và công cụ.
- LLM làm việc nó giỏi nhất: soạn câu trả lời, sau khi quyết định về việc cần làm đã được đưa ra.
Một mô hình ra quyết định nhận vào âm thanh, nội dung hội thoại tính đến lúc đó và một tập hợp các lựa chọn, rồi trả về xác suất cho từng lựa chọn: refund_status 0,91, cancel_order 0,06, escalate 0,03 (ví dụ).
Điểm số độ tin cậy chính là thứ làm nên hiệu quả của hệ thống này. Nếu bạn hỏi một LLM xem nó chắc chắn đến đâu, nó thường sẽ trả lời "rất chắc", ngay cả khi nó sai (Xiong et al., 2024). Điểm số của một bộ phân loại có thể được tinh chỉnh cho đến khi chúng phản ánh đúng thực tế: khi bộ phân loại nói nó chắc chắn, thì thường là nó chắc chắn thật (Guo et al., 2017).
Các thử nghiệm ban đầu của chúng tôi với đối tác thiết kế cho thấy 30 đến 40% những gì LLM làm bên trong một agent chính là loại công việc này: định tuyến, phân loại, lựa chọn giữa các phương án giới hạn.
Nhưng các mô hình ra quyết định hiện nay chỉ hoạt động trên văn bản hoặc hình ảnh. TypeSafe AI báo cáo rằng mọi mô hình, kể cả Jev, đều ra quyết định tệ hơn khi thêm một phương thức khác song song với văn bản, và Jev không có hỗ trợ âm thanh nào được ghi nhận.
Bạn không thể chắp vá âm thanh vào một mô hình ra quyết định chuyên văn bản. Để xây dựng một mô hình biết lắng nghe, cần ba yếu tố:
- Dữ liệu âm thanh hội thoại thực tế được gán nhãn với quyết định đúng tại mỗi thời điểm
- Một mô hình ra quyết định bằng cách kết hợp cả âm thanh và văn bản
- Điểm số độ tin cậy duy trì ổn định qua nhiều giọng vùng miền, tiếng ồn và đường truyền điện thoại kém.
Mô hình ra quyết định đúng đắn cho giọng nói là mô hình biết lắng nghe — một lớp ra quyết định thuần âm thanh.
Điều gì thay đổi khi lớp ra quyết định biết nghe
Với một mô hình ra quyết định thuần âm thanh, bạn sẽ mở khóa các trường hợp sử dụng sau:
- Những agent có thể gỡ lỗi được. Nhiều nhóm hiện thiết kế agent dưới dạng đồ thị các trạng thái: chào hỏi, xác minh danh tính, xử lý hoàn tiền, leo thang. Mỗi lượt tương tác quy về hai quyết định: cuộc hội thoại thực sự đang ở trạng thái nào, và nó nên chuyển sang trạng thái nào tiếp theo? Sai một trong hai là toàn bộ cuộc gọi sẽ chệch hướng.
Với một mô hình ra quyết định ở mỗi bước, mọi quá trình chuyển đổi trở thành một đơn vị nhỏ, có thể giải thích được: đã nghe thấy gì, có những lựa chọn nào, cái gì được chọn, và độ tin cậy ra sao. Khi một cuộc gọi gặp trục trặc, bạn không phải gỡ lỗi một prompt khổng lồ. Bạn tìm ra đúng bánh răng bị trượt và sửa nó.
- Câu trả lời có sẵn trước khi người gọi nói xong. Con người bộc lộ mong muốn của mình trước khi nói hết câu. "Tôi gọi về đơn hàng tôi đặt tuần trước..." vốn dĩ đã là một yêu cầu tra cứu đơn hàng. Một agent ưu tiên văn bản sẽ chờ người dùng dừng lại, chờ bản ghi cuối cùng, quyết định gọi công cụ nào, rồi mới gọi nó. Mỗi bước lại cộng thêm vào khoảng lặng.
Dòng thời gian của một người gọi nói "Tôi gọi về đơn hàng tuần trước của tôi". Agent ưu tiên văn bản chờ đến cuối câu, sau đó chuyển thành văn bản, ra quyết định và gọi get_order. Bộ định tuyến biết lắng nghe kích hoạt get_order ngay giữa câu và phản hồi ngay khi người gọi vừa dứt lời, tiết kiệm thời gian.
Một mô hình ra quyết định biết lắng nghe hoạt động như một bộ định tuyến đón đầu cuộc gọi. Nó nhận diện ý định ngay giữa câu và kích hoạt lệnh tra cứu khi người dùng vẫn đang nói, để thông tin đơn hàng có sẵn ngay khoảnh khắc họ dừng lại.
Các nhà nghiên cứu tại Meta và CMU đã chứng minh lợi ích: việc dự đoán các truy vấn công cụ song song với lời nói của người dùng giúp giảm 20% độ trễ công cụ và làm câu trả lời chính xác hơn.
- Agent cá nhân mang lại cảm giác tức thì. Các agent cá nhân nghe lệnh qua ghi chú giọng nói suốt cả ngày, trong bếp, trên xe hơi và ngoài đường phố nhộn nhịp. Phần lớn những gì chúng nghe được chỉ cần một quyết định nhanh: đây là một tác vụ, một lời nhắc, một suy nghĩ thoáng qua, hay hoàn toàn không dành cho mình?
Gửi mọi câu nói đến một LLM hàng đầu thì chậm và tốn kém. Một mô hình nhỏ biết lắng nghe có thể đưa ra quyết định đó trong tích tắc, và chỉ đánh thức LLM khi có việc thực sự cần làm. Agent mang lại cảm giác tức thì, vì quyết định đầu tiên không bao giờ phải chờ mô hình lớn.
https://x.com/signulll/status/2077444321243013306
Tương lai của AI giọng nói
Giọng nói lẽ ra phải là giao diện phổ quát. Ngày nay nó chỉ hoạt động tốt khi cuộc hội thoại có thể đoán trước.
Nhưng một cuộc trò chuyện không theo kịch bản không có nghĩa là vô hạn. Ở mỗi lượt, số nước đi hợp lý là rất ít: nói, chờ, hỏi, hành động, chuyển giao. Điều không ai có thể lên kịch bản là thứ tự của chúng. Bạn không cần kịch bản hóa một cuộc hội thoại để kiểm soát nó. Bạn cần đưa ra mỗi quyết định thật tốt, dựa trên những gì thực sự nghe được.
Đó là sự chuyển dịch mà tôi đang đặt cược: quyết định trước, rồi mới tạo prompt. Một mô hình biết lắng nghe sẽ đưa ra quyết định, phần mềm của bạn giữ trạng thái, và LLM viết ra câu chữ. Mọi quyết định đều hiển thị, nhanh chóng và đo lường được. Khi điều đó thành hiện thực, giọng nói sẽ không còn là kênh dành riêng cho những cuộc gọi đơn giản nữa, mà trở thành cách con người giao tiếp với phần mềm.
Tôi đang xây dựng lớp ra quyết định đó tại @tazolabs, và sẽ chia sẻ thêm về các mô hình của chúng tôi trong vài ngày tới.
Nếu bạn đang phát triển voice agent, tôi rất muốn nghe xem agent của bạn đang chật vật với những quyết định nào. Và nếu bạn đồng điệu với tầm nhìn này, hãy đến xây dựng cùng chúng tôi tại Tazo Labs.
Quyết định nào mà voice agent của bạn thường xuyên làm sai nhất?
