Nếu bạn đã lướt mạng vài ngày qua, có lẽ bạn đã nghe đến Jev, một mô hình AI mới đang gây sốt trong cộng đồng AI. Jev không phải là một LLM truyền thống. Nó được xây dựng để đưa ra quyết định, chứ không phải để viết văn bản. Sau khi tìm hiểu sâu về Jev trong những ngày gần đây, tôi thực sự tin rằng cơn sốt này là có thật và tiềm năng dành cho các nhà phát triển sản phẩm ở đây là rất lớn.
Như tôi đã từng nói, điều quan trọng là mọi người cần hiểu cách thức hoạt động thực sự của công nghệ đằng sau AI, kể cả những người làm việc ở các vị trí phi kỹ thuật. Việc hiểu cách một hệ thống agent hoạt động sẽ giúp bạn áp dụng công nghệ này một cách tinh tế vào chính sản phẩm của mình.
Nhiều người đã liên hệ với tôi và chia sẻ rằng họ đã đọc mọi thứ về Jev nhưng vẫn chưa hiểu rõ nó thực chất là gì. Vì vậy, bài viết này dành cho họ. Đây là hướng dẫn về Jev dành cho những người dùng phổ thông. Nếu tất cả những gì bạn đã đọc về Jev chỉ khiến bạn thêm nhiều câu hỏi hơn là câu trả lời, thì bài viết này sẽ khác biệt. Kết thúc bài viết, bạn sẽ có một nền tảng hiểu biết cơ bản về Jev là gì, nó khác biệt so với LLM như thế nào, và bạn có thể ứng dụng nó vào các sản phẩm mà bạn xây dựng ra sao.
Tầm quan trọng của quyết định trong phần mềm
Phần mềm chứa đầy những quyết định. Tin nhắn từ khách hàng này có cần xử lý khẩn cấp không? Giao dịch thanh toán này có gian lận không? Chúng ta nên hiển thị trang bằng tiếng Anh hay tiếng Pháp?
Một sản phẩm có thể cần đưa ra những quyết định như vậy hàng triệu lần mỗi ngày.
Nhưng khả năng đưa ra quyết định phức tạp của máy tính còn hạn chế. Những câu hỏi trên có thể được giải đáp bằng một số quy tắc đơn giản. Ví dụ, chúng ta có thể xác định xem nên hiển thị trang bằng tiếng Anh hay tiếng Pháp dựa trên cài đặt ngôn ngữ của người dùng hoặc có thể là địa chỉ IP của họ. Nhưng không phải mọi câu hỏi đều đơn giản như vậy.
Hãy lấy ví dụ về một bức ảnh chụp chiếc xúc xích hotdog. Không một bộ quy tắc đơn giản nào có thể cho phép máy tính xác định liệu bức ảnh của tôi có thực sự chứa một chiếc hotdog hay không.
Vì vậy, các nhà khoa học máy tính đã nghĩ ra một phương pháp mới để máy tính đưa ra những quyết định phức tạp hơn: học máy (machine learning). Hóa ra, bằng cách kết hợp một số thuật toán thông minh với vô số ví dụ về hình ảnh chứa hotdog, máy tính thực sự có thể trở nên khá thành thạo trong việc nhận diện hình ảnh có hotdog.
GIF
Mô hình hotdog của chúng ta là một loại mô hình gọi là classifier (bộ phân loại). Nó được gọi như vậy vì chức năng của nó là phân loại mọi thứ. Các classifier được sử dụng rộng rãi trong phần mềm ngày nay để đưa ra những quyết định phức tạp.
Nhưng vấn đề với các classifier là chúng không thể khái quát hóa bên ngoài lĩnh vực mà chúng được huấn luyện. Classifier của tôi có thể nhận diện hình ảnh hotdog sẽ không thể giúp tôi xác định các giao dịch gian lận. Và do yêu cầu về dữ liệu và chuyên môn để huấn luyện một classifier, có nhiều loại vấn đề mà máy tính không thể giải quyết được. Cho đến khi…
Mô hình ngôn ngữ lớn
Khi OpenAI ra mắt ChatGPT vào tháng 11 năm 2022, nó đã gây chấn động toàn cầu. Lý do nó trở nên phổ biến không phải vì trí tuệ vượt trội, mà là vì khả năng khái quát hóa của nó.
ChatGPT có một nền tảng hiểu biết cơ bản về thế giới, nghĩa là nó có thể trò chuyện về hotdog và các giao dịch gian lận, tất cả cùng một lúc.
Các mô hình ngôn ngữ lớn như ChatGPT, Claude, Grok và Kimi có chức năng chính là tạo ra văn bản. Nhưng bất kỳ ai đã sử dụng các mô hình này đều biết rằng chúng có thể suy nghĩ, lập luận và cuối cùng là đưa ra quyết định. Ví dụ, đây là cách một LLM có thể đưa ra quyết định về việc liệu một hình ảnh nhất định có phải là hotdog hay không.
GIF
Đúng vậy, các mô hình ngôn ngữ lớn có khả năng đưa ra quyết định. Và chúng có thể đưa ra quyết định trong nhiều lĩnh vực kiến thức khác nhau.
Liệu LLMs có phải là "chén thánh"? Liệu chúng ta cuối cùng cũng có một mô hình ra quyết định tổng quát để áp dụng cho các quyết định trong phần mềm hiện nay?
Chà, thực tế thì không. LLMs, dù mạnh mẽ đáng kinh ngạc, lại tương đối chậm và đắt đỏ. Quá chậm và quá đắt để sử dụng trong hầu hết các loại ứng dụng mà phần mềm thường được áp dụng.
Giá như chúng ta có một mô hình có thể đưa ra quyết định trong nhiều lĩnh vực kiến thức chung và thực hiện điều đó nhanh chóng, chi phí thấp…
Giới thiệu Jev, một classifier có khả năng khái quát hóa
Jev là một lớp mô hình mới được tối ưu hóa cho việc đưa ra quyết định thay vì tạo ra văn bản.
Jev giữ lại đặc tính khái quát hóa giống như một LLM nhưng lại tương đối nhanh và rẻ giống như một classifier. Theo tuyên bố, Jev nhanh gấp 20-200 lần và rẻ gấp 40-400 lần so với các LLM tương đương.
Điều này đạt được là do Jev không trả lời từng token một như LLM, mà nó chỉ đơn giản trả về một quyết định.
Và đó là lý do tại sao các kỹ sư cảm thấy hào hứng với nó. Không phải vì Jev là một cấp độ trí tuệ chưa từng thấy trước đây; mà là vì nó là một cấp độ trí tuệ chưa từng thấy trước đây nhưng lại hoạt động nhanh và rẻ đến mức này.
Bạn không thể trò chuyện với Jev. Nó không phải là chatbot. Jev mong đợi ba đầu vào:
- Câu hỏi bạn muốn trả lời
- Tập hợp các câu trả lời có thể cho câu hỏi đó
- Ngữ cảnh cần thiết để trả lời câu hỏi (Jev gọi đây là “state” - trạng thái)
Và Jev sau đó sẽ cung cấp cho bạn các đầu ra sau:
- Câu trả lời mà nó đã chọn
- Xác suất câu trả lời đó là đúng
Chỉ vậy thôi. Không có trò chuyện, chỉ có quyết định.
Jev hỗ trợ ba loại quyết định:
- Có/không, Jev gọi đây là “Noul”: trả về xác suất ước lượng rằng một phát biểu là đúng
- Lựa chọn: chọn từ tối đa 255 tùy chọn trắc nghiệm và cung cấp xác suất mỗi tùy chọn là đúng
- Điểm số: đánh giá một thứ gì đó theo thang điểm từ 2 đến 10 mức
Những lựa chọn này cho phép đưa ra quyết định nâng cao trong một khoảng thời gian và chi phí nhỏ hơn nhiều so với các phương pháp trước đây. Hãy cùng xem xét một ví dụ cho mỗi loại.
Noul (có/không)
Giả sử tôi vừa mở một quầy bán hotdog mới và tôi muốn xem xét phản hồi của khách hàng khi chúng được gửi đến để tôi có thể phản ứng hoặc trả lời phù hợp.
Với mỗi đánh giá, trước tiên hãy đặt câu hỏi đơn giản xem liệu đánh giá đó có phải là lời phàn nàn về đồ ăn hay không. Đầu vào cho Jev có thể trông như thế này.
1{2 "model": "jev-latest",3 "state": "Waited twenty minutes, but the hotdog was worth it. Would come back if the queue was shorter.",4 "questions": {5 "food_complaint": {6 "type": "noul",7 "instructions": "Does this review express dissatisfaction with the food itself?",8 "criteria": {9 "true": "Complains about the taste, temperature, or quality of the food.",10 "false": "Does not complain about the food. Complaints only about queues or service do not count."11 }12 }13 }14}
Bạn có thể thấy chúng ta đã xác định câu hỏi cần trả lời ("instructions"), tiêu chí để chọn có hoặc không, và trạng thái cần thiết để Jev đưa ra quyết định chính xác.
Vì vậy, chúng ta đưa câu hỏi trên cho Jev. Jev sau đó xuất ra như sau.
1{2 "answers": {3 "food_complaint": {4 "type": "noul",5 "noul": 0.046 }7 }8}
Jev xác định rằng phản hồi cụ thể này chỉ có 4% khả năng là phàn nàn về đồ ăn. Vì vậy, chúng ta có thể phân loại đánh giá này là ưu tiên thấp hơn và theo dõi sau khi có thời gian.
Lựa chọn
Hãy hiểu rõ hơn từng mục phản hồi bằng cách yêu cầu Jev phân loại phản hồi vào một danh mục. Đây là những gì yêu cầu của chúng ta gửi đến Jev có thể trông như thế này.
1{2 "model": "jev-latest",3 "state": "Waited twenty minutes, but the hotdog was worth it. Would come back if the queue was shorter.",4 "questions": {5 "main_topic": {6 "type": "choice",7 "instructions": "What is the main topic of this review? Select the option that best captures its primary focus.",8 "criteria": {9 "queue": "Queue length or waiting time is the main focus.",10 "food": "The taste, temperature, or quality of the food is the main focus.",11 "service": "Staff friendliness, helpfulness, or how they handled the order is the main focus. Comments only about waiting time belong under queue.",12 "other": "The main focus is something other than food, waiting time, or staff service."13 }14 }15 }16}
Chúng ta đã xác định mỗi lựa chọn mà Jev có thể đưa ra kèm theo mô tả khi nào nên sử dụng mỗi lựa chọn ("criteria"). Jev trả về kết quả sau.
1{2 "answers": {3 "main_topic": {4 "type": "choice",5 "choice": "queue",6 "probabilities": {7 "queue": 0.80,8 "food": 0.15,9 "service": 0.03,10 "other": 0.0211 },12 "confidence": 0.6013 }14 }15}
Ok, Jev đã chọn “queue” (hàng đợi) làm câu trả lời. Bạn cũng có thể thấy nó gắn xác suất cho mỗi lựa chọn.
Điểm số
Bây giờ hãy để Jev đánh giá mức độ hài lòng của khách hàng với trải nghiệm tổng thể tại quầy hotdog của chúng ta theo năm mức độ được xác định.
1{2 "model": "jev-latest",3 "state": "Waited twenty minutes, but the hotdog was worth it. Would come back if the queue was shorter.",4 "questions": {5 "overall_satisfaction": {6 "type": "score",7 "instructions": "How satisfied is this customer with their overall experience? Consider both positive and negative comments.",8 "criteria": [9 "Very dissatisfied: strongly negative about the experience overall.",10 "Dissatisfied: mostly negative, despite any positives.",11 "Mixed: meaningful positives and negatives, with neither clearly dominating.",12 "Satisfied: mostly positive, despite some complaints.",13 "Very satisfied: strongly positive, with no meaningful complaints."14 ]15 }16 }17}
Một lần nữa, chúng ta cung cấp một câu hỏi rõ ràng, tập hợp các câu trả lời có thể và trạng thái. Jev trả về kết quả sau.
1{2 "answers": {3 "overall_satisfaction": {4 "type": "score",5 "score": 2.1,6 "probabilities": {7 "0": 0.05,8 "1": 0.15,9 "2": 0.50,10 "3": 0.25,11 "4": 0.0512 }13 }14 }15}
2.1 trên thang điểm 4, vẫn còn chỗ để cải thiện.
Phép màu của Jev nằm ở khả năng đưa ra những quyết định này nhanh hơn và rẻ hơn nhiều so với LLM. Dưới đây là so sánh song song giữa việc xem xét 60 mục phản hồi được để lại cho quầy hotdog của chúng ta. Bên trái là Jev, bên phải là một LLM (gpt-5.6 Luna).
Tốc độ và lợi thế chi phí của Jev hạ thấp rào cản trong việc đưa ra quyết định bằng phần mềm.
Ứng dụng Jev
Ở bất kỳ đâu trong sản phẩm của bạn mà một quyết định có thể được đưa ra để cải thiện kết quả cho người dùng, hãy cân nhắc áp dụng Jev. Dưới đây là một số ví dụ.
Sử dụng Có/Không ở bất kỳ đâu mà việc biết một điều gì đó là đúng hay sai cho phép bạn thay đổi hành động được thực hiện.
- Tin nhắn của khách hàng này có gợi ý rằng họ sắp hủy đăng ký không?
- Cập nhật từ nhà cung cấp này có báo hiệu rằng lô hàng sẽ trễ hạn không?
- Giải thích của sinh viên này có tiết lộ một quan niệm sai lầm đáng để giải quyết không?
- Bản ghi âm cuộc họp này có chứa một cam kết mà chưa ai được giao phụ trách không?
- Tin nhắn của người chơi này có gợi ý rằng họ đang bị kẹt và có thể cần một gợi ý không?
Sử dụng Lựa chọn ở bất kỳ đâu mà việc chọn từ một tập hợp các tùy chọn cho phép bạn quyết định điều gì xảy ra tiếp theo.
- Đội ngũ chuyên gia nào nên xử lý yêu cầu khách hàng bất thường này?
- Hướng dẫn sản phẩm nào phù hợp nhất với những gì người dùng này đang cố gắng hoàn thành?
- Nhân vật nào trong trò chơi nên phản hồi lại những gì người chơi vừa nói?
- Đoạn thuyết minh audio-guide bảo tàng nào trả lời tốt nhất câu hỏi của khách tham quan?
- Nguyên liệu thay thế nào có sẵn giữ vai trò tốt nhất cho nguyên liệu bị thiếu trong công thức nấu ăn?
Sử dụng Điểm số ở bất kỳ đâu mà việc đánh giá mức độ, chất lượng hoặc sự phù hợp của một thứ gì đó với một tiêu chí cho phép bạn ưu tiên hoặc điều chỉnh hành động.
- Lỗi phần mềm này gây gián đoạn mức nào đối với quy trình làm việc thực tế của khách hàng?
- Lịch trình du lịch này khớp với ý tưởng về một kỳ nghỉ ngon lành của một người ở mức độ nào?
- Cuộc phỏng vấn khách hàng này ủng hộ giả thuyết sản phẩm cụ thể ở mức độ nào?
- Lời thoại trong cảnh này lệch khỏi giọng điệu nhân vật đã thiết lập bao nhiêu?
- Gợi ý trong trò chơi này tiết lộ nhiều đến mức nào, dựa trên những gì người chơi đã biết?
Thời gian để xây dựng với Jev
Jev đã mở ra một thế giới đầy những khả năng mới trong các loại phần mềm và trải nghiệm mà chúng ta có thể xây dựng cho người dùng.
Bây giờ bạn đã biết Jev là gì và cách nó hoạt động, bạn sẽ áp dụng điều này vào các sản phẩm bạn đang xây dựng như thế nào?
