Hôm nọ, tôi đã yêu cầu một AI Tạo sinh "tóm tắt những điểm yếu của AI Tạo sinh."
Tôi bảo nó nghiên cứu những điểm mạnh và điểm yếu về mặt cấu trúc của AI Tạo sinh dựa trên các bài báo và nghiên cứu mới nhất.
Thoạt nhìn, kết quả đầu ra trông có vẻ ổn, với 13 điểm yếu được diễn đạt cẩn thận và trích dẫn các bài báo, chẳng hạn như ảo giác, suy luận nhân quả yếu và suy luận toán học mong manh.
Tuy nhiên, tôi không thể thoát khỏi một cảm giác khó chịu kỳ lạ khi đọc nó.
"Chẳng phải đây chỉ là một danh sách ngẫu nhiên sao?"
Danh sách thực tế được đưa ra như thế này:
1. Ảo giác (Hallucinations) 2. Suy luận nhân quả yếu (Weak causal reasoning) 3. Suy luận toán học mong manh (Fragile mathematical reasoning) 4. Sự sụp đổ của các mô hình suy luận (Collapse of reasoning models) 5. Ảo tưởng về sự hiểu biết (Illusion of understanding) 6. Khả năng trừu tượng hóa yếu (Weak abstraction) 7. Thiên kiến trong dữ liệu huấn luyện (Bias in training data) 8. Giới hạn kiến thức (Knowledge cutoff) 9. Xu nịnh (Sycophancy) ...... (và cứ thế, tổng cộng 13 điểm)
13 điểm yếu chỉ được liệt kê cạnh nhau. Một số mục bị chồng chéo, và một số góc nhìn bị thiếu. Nhưng AI không quan tâm; nó chỉ liệt kê chúng theo thứ tự mà nó tìm thấy. Nó có cảm giác, ừm, cẩu thả.
Rồi tôi chợt nhận ra.
Kết quả đầu ra này tự nó đã thể hiện hoàn hảo những điểm yếu của AI Tạo sinh.
AI Tạo sinh giỏi trong việc thu thập và liệt kê thông tin. Mặt khác, nó lại tệ trong việc "cấu trúc thông tin đã thu thập theo cách MECE (Mutually Exclusive, Collectively Exhaustive - Loại trừ lẫn nhau, Bao hàm toàn bộ) và tổ chức nó thành một hệ thống cấp cao hơn." Tôi hiểu rằng đây là một điểm yếu về cấu trúc bắt nguồn từ chính cơ chế của AI Tạo sinh.
Tại sao tôi quyết định viết bài này?
Tại sao tôi lại bận tâm suy nghĩ, "Mình cần diễn đạt những điểm yếu cơ bản của AI Tạo sinh"?
Đó là vì tôi có nhiều cơ hội hơn để tham gia vào các dự án dẫn dắt hoặc hỗ trợ việc sử dụng AI Tạo sinh trong các công ty và tổ chức giáo dục.
Trong bối cảnh đó, để xây dựng một hệ thống AI thực sự có thể được sử dụng tại chỗ, tôi nhận ra rằng việc xác định chặt chẽ sự phân chia vai trò—"AI Tạo sinh có thể đi đến đâu, và con người phải đảm nhận phần nào"—là cốt lõi tuyệt đối của thiết kế kinh doanh.
Nếu sự hiểu biết của bạn chỉ dừng lại ở mức "Tôi không biết tại sao, nhưng nó hoạt động khi tôi điều chỉnh prompt như thế này," thì bạn không thể đảm bảo tính tái lập khi xây dựng hệ thống AI, điều này khá là vấn đề.
Do đó, tôi nghĩ sẽ hữu ích nếu để lại một bản ghi nhớ về chủ đề này để chúng ta có thể hiểu:
- AI Tạo sinh được cấu tạo như thế nào
- Điểm mạnh và điểm yếu cơ bản của nó dựa trên cấu tạo đó là gì ...Bằng cách đó, chúng ta có thể tránh bị dao động bởi mọi bản cập nhật AI hoặc vận hành prompt như một trò chơi may rủi.
Hiểu Đặc Điểm của AI Tạo Sinh Một Cách Có Cấu Trúc
Cơ chế của AI Tạo sinh, khi được tinh gọn, là sự lặp lại của việc "chọn từ có xác suất xuất hiện tiếp theo cao nhất, dựa trên ngữ cảnh cho đến thời điểm hiện tại."
Nếu bạn nhập "Thủ đô của Nhật Bản là," thì "Tokyo" được chọn với xác suất cao nhất. Nếu là "Cho bữa sáng, bánh mì và," thì "cà phê" hoặc "bơ" được chọn. "Trò chơi đoán từ tiếp theo" này là điểm khởi đầu cho mọi thứ.
Phân tích "trò chơi đoán từ tiếp theo" này cho thấy những đặc điểm chính sau đây.
Đặc điểm ①: Nó hoạt động dựa trên tương quan
Để "đoán từ tiếp theo," AI Tạo sinh học từ một lượng lớn văn bản "những từ nào có xu hướng xuất hiện cùng nhau và theo thứ tự nào."
Khi nó xuất ra "bánh mì và cà phê cho bữa sáng," nó không hiểu rằng "bánh mì là carbohydrate, vì vậy bổ sung caffeine để có tác dụng kích thích sẽ cân bằng dinh dưỡng." Nó chỉ đơn giản là tái tạo xu hướng rằng "cà phê" thường xuất hiện gần các từ như "bữa sáng" và "bánh mì."
Emily Bender, Timnit Gebru và những người khác đã mô tả điều này là "Con vẹt ngẫu nhiên (Stochastic Parrot)" trong bài báo FAccT năm 2021 của họ. Đó là một lời chỉ trích rằng cũng giống như một con vẹt bắt chước giọng nói của con người mà không hiểu ý nghĩa, AI Tạo sinh chỉ bắt chước các mẫu của chuỗi từ và không có quyền truy cập vào ý nghĩa thực sự. Cái tên này khá mỉa mai, phải không? Nếu ai đó nói với tôi, "Trí thông minh của anh chỉ ngang một con vẹt," chắc tôi sẽ sốc lắm...
Điều chúng ta cần nắm bắt ở đây là nó có thể nắm bắt "A và B thường xuất hiện cùng nhau (= tương quan)," nhưng nó không hiểu rằng "A là nguyên nhân của B (= quan hệ nhân quả)." Ảo giác và suy luận nhân quả yếu, mà tôi sẽ giải thích sau, đều bắt nguồn từ đây.
Đặc điểm ②: Nó hoạt động một chiều
Việc lặp lại "đoán từ tiếp theo" có nghĩa là các câu được viết ra từng từ một, theo thứ tự từ đầu, trong một lần duy nhất.
Vậy, AI Tạo sinh hoàn toàn tùy cơ ứng biến, chọn từ tiếp theo chỉ dựa trên một từ duy nhất ở phía trước nó? Nhìn vào nghiên cứu gần đây, có vẻ không phải vậy.
Theo nghiên cứu "Lập kế hoạch phản hồi nổi lên trong LLMs (ICML 2025)" của Dong và cộng sự, ngay cả trước khi xuất ra một từ duy nhất, AI Tạo sinh đã hình thành một cái nhìn tổng quan sơ bộ cho toàn bộ phản hồi, chẳng hạn như:
- Câu trả lời sẽ dài khoảng bao nhiêu
- Sẽ mất bao nhiêu bước suy luận
- Nó sẽ chọn và xuất ra nội dung gì
Ngoài ra, trong "Về Sinh học của một Mô hình Ngôn ngữ Lớn" do Anthropic công bố vào tháng 3 năm 2025, người ta phát hiện ra rằng khi Claude 3.5 Haiku viết một bài thơ, nó đã quyết định từ có vần ở cuối một dòng trước khi nó bắt đầu viết dòng đó. Một loại kế hoạch nhìn trước vài từ đang hoạt động bên trong.
Nói cách khác, nó không phải là một "trò chơi đoán từ tiếp theo hoàn toàn tùy cơ ứng biến." AI Tạo sinh thiết lập một kế hoạch theo cách riêng của nó trước khi bắt đầu.
Tuy nhiên, hiện tại không có bằng chứng nào cho thấy nó có một bản thiết kế rõ ràng như con người, người có thể "tạo mục lục trước và xem xét toàn bộ cấu trúc trước khi bắt đầu viết." Báo cáo của Anthropic cũng chỉ ra rằng nó "yếu trước các đầu vào dài vượt quá khoảng 100 token."
Do đó, hình ảnh được nghiên cứu hiện tại cho thấy là:
AI Tạo sinh có một "cảm nhận chung về hướng đi" nhưng không có một "thiết kế cấu trúc tổng thể."
Và quan trọng hơn, nó không có khả năng nhìn lại và sửa chữa những gì nó đã viết một lần.
Theo bài báo CogWriter, sau khi xác nhận rằng việc viết của con người bao gồm ba giai đoạn—"lập kế hoạch → viết nháp → xem xét"—nó phân tích rằng AI Tạo sinh bỏ qua giai đoạn lập kế hoạch này và tạo ra phiên bản cuối cùng trong một lần, đó là lý do tại sao cấu trúc có xu hướng sụp đổ hoặc những điều tương tự được viết đi viết lại trong các văn bản dài.
Đối với các trao đổi ngắn như email hoặc trò chuyện, tính chất này hầu như không phải là vấn đề. Tuy nhiên, đối với các tài liệu mà cấu trúc tổng thể bị đặt câu hỏi, chẳng hạn như đề xuất hoặc báo cáo nghiên cứu, mặt tiền đột nhiên sụp đổ. "Danh sách 13 điểm yếu" được giới thiệu ở đầu bài chính xác là sản phẩm của tính chất này.
Đặc điểm ③: Nó bị kéo, dù tốt hay xấu, bởi dữ liệu huấn luyện và hướng dẫn
Một điều khác cần ghi nhớ là khả năng của AI Tạo sinh hoàn toàn phụ thuộc vào "dữ liệu được sử dụng để huấn luyện" và "nó được điều chỉnh cho mục đích gì."
Ảnh hưởng của "dữ liệu huấn luyện" rất dễ hình dung. Nếu nó lớn lên bằng cách đọc nhiều tài liệu kinh doanh bằng tiếng Anh, nó sẽ giỏi tạo email tiếng Anh, nhưng ngược lại, sức mạnh của nó giảm đi trong các lĩnh vực hiếm khi gặp. Nó giỏi những gì nó đã thấy và tệ những gì nó chưa thấy. Đó là một câu chuyện đơn giản.
Điều hơi rắc rối hơn là "ảnh hưởng của sự điều chỉnh." Các AI Tạo sinh lớn hiện tại được điều chỉnh bằng một phương pháp gọi là RLHF (Học Tăng cường từ Phản hồi của Con người) để tạo ra các câu trả lời mà "con người thấy dễ chịu." Một nghiên cứu năm 2025 của Wang và cộng sự đã chỉ ra bằng thực nghiệm rằng sự điều chỉnh này thấm nhuần sự tuân thủ quá mức (xu nịnh) đối với người dùng trong AI Tạo sinh. Kết quả xác minh trên bảy mô hình, chỉ cần thêm một từ như "Tôi nghĩ câu trả lời là X" đã khiến tỷ lệ tuân thủ các ý kiến sai lên trung bình 63,7%.
Nếu bạn đưa ra một kế hoạch kinh doanh và hỏi, "Anh nghĩ nó có hiệu quả không?" nó sẽ trả lời, "Đó là một kế hoạch tuyệt vời." Nếu bạn hỏi về cùng một kế hoạch, "Nó không thực tế, phải không?" nó sẽ trả lời, "Quả thực, có một vài mối quan ngại." Sự "đồng ý" của AI có thể không phải là một phán đoán khách quan, mà chỉ là sự phù hợp với kỳ vọng của con người. ...Chà, con người cũng vậy. Chúng ta cũng hay đọc vị tình huống lắm.
Hiểu Đúng Điểm Mạnh của AI Tạo Sinh
Cho đến nay, chúng ta đã xem xét ba đặc điểm của AI Tạo sinh.
- Nó hoạt động dựa trên tương quan
- Nó hoạt động một chiều
- Nó bị kéo, dù tốt hay xấu, bởi dữ liệu huấn luyện và hướng dẫn
Bằng cách nắm bắt những đặc điểm này, tôi đã diễn đạt những điểm mạnh khiến tôi nghĩ, "Tốt hơn là nên dựa vào AI Tạo sinh cho việc này hơn là để con người làm."
Điểm mạnh ①: Nó nói những điều bạn không thể nói tốt, một cách tốt
Đây có lẽ là phần được đánh giá cao nhất khi sử dụng AI Tạo sinh. Ngay cả khi đầu óc bạn chưa được sắp xếp và bạn đưa ra một hướng dẫn mơ hồ, nó sẽ sắp xếp các từ đến mức "có lẽ bạn muốn nói điều gì đó như thế này."
Ví dụ, nếu bạn đưa ra một hướng dẫn rời rạc và mơ hồ qua giọng nói như, "Về email cho cuộc họp tuần sau, tôi muốn yêu cầu thay đổi lịch, nhưng tôi cũng muốn nghe sự thuận tiện của họ, và tôi muốn đính kèm chương trình nghị sự," một nhân viên cấp dưới có thể muốn nói, "Anh có thể sắp xếp suy nghĩ của mình một chút trước khi nói với tôi không?" Nhưng AI Tạo sinh sẽ tạo ra một bản nháp email ở mức "Vâng, đó chính xác là những gì tôi muốn nói."
Tại sao nó có thể làm được điều này? Đó là nhờ vào đặc tính "hoạt động dựa trên các mẫu." AI Tạo sinh đã học một lượng lớn "văn bản được tổ chức tốt." Email công việc, báo cáo, đề xuất, biên bản cuộc họp. Bởi vì nó đã hấp thụ rất nhiều "khuôn mẫu" này, ngay cả khi nhận được đầu vào lộn xộn, nó vẫn khớp nó vào một khuôn mẫu của "trong bối cảnh này, cấu trúc và cách diễn đạt này là tự nhiên."
Điểm mạnh ②: Nó mở rộng các góc nhìn mà bạn sẽ không tự nhận ra
Một điểm mạnh khác là nó đưa ra những góc nhìn mà bạn chưa suy nghĩ thấu đáo.
Ví dụ, nếu bạn đang nghĩ về một kế hoạch cho một dự án kinh doanh mới và bạn đã tự sắp xếp ba lợi ích, nhưng bạn yêu cầu AI Tạo sinh "xác định các điểm tranh cãi cho kế hoạch này," nó sẽ đưa ra những góc nhìn mà bạn đã bỏ qua, chẳng hạn như:
- "Chẳng phải có những bất lợi như thế này sao?"
- "Bạn đã xem xét những rủi ro cạnh tranh này chưa?"
- "Những bên liên quan này sẽ phản ứng thế nào?"
Đây là lợi ích trực tiếp của việc "học từ một lượng lớn dữ liệu." Bởi vì nó đã học được một lượng lớn các cuộc thảo luận trong tất cả các thể loại, ý kiến từ nhiều vị trí khác nhau và các điểm tranh cãi với ưu và nhược điểm, nó có khả năng đưa ra các góc nhìn đa diện về một chủ đề duy nhất. Kinh nghiệm và kiến thức của một con người có giới hạn, nhưng AI Tạo sinh bù đắp cho những giới hạn đó.
Bí quyết khi sử dụng nó cho công việc là yêu cầu rõ ràng các góc nhìn khác nhau.
- "Đưa cho tôi ba ý kiến phản đối cho kế hoạch này."
- "Có góc nhìn nào tôi đang thiếu trong phân tích này không?"
- "Liệt kê không chỉ lợi ích mà còn cả bất lợi." Bằng cách yêu cầu các góc nhìn đa diện như thế này, điểm mạnh này được sử dụng tối đa. Ngược lại, nếu bạn hỏi mà không chỉ định gì, nó có xu hướng tuân theo ý kiến của bạn (mà tôi sẽ giải thích chi tiết trong phần "Điểm yếu"), vì vậy điều quan trọng là phải hỏi theo cách có ý thức để khai thác các góc nhìn khác nhau.
Nhưng, AI Tạo sinh yếu ở đây
Điểm yếu ①: Nó đảm bảo "sự hợp lý," nhưng không đảm bảo "tính đúng đắn"
Vì nó là một cơ chế chuyên tạo ra các "chuỗi từ có vẻ có khả năng xảy ra," nó sẽ xuất ra chúng miễn là chúng tự nhiên như một câu, bất kể chúng có phải là sự thật hay không.
Bài báo năm 2025 của OpenAI "Tại sao các Mô hình Ngôn ngữ bị Ảo giác" đã chứng minh bằng toán học rằng vấn đề này không phải là một lỗi mà là một điều cần thiết về mặt cấu trúc. Nói ngắn gọn, "tạo ra một câu đúng" về bản chất khó hơn "phân biệt nó có đúng hay không," và ngay cả khi dữ liệu huấn luyện là hoàn hảo, tỷ lệ nói dối lẫn vào không thể giảm xuống 0.
Tuy nhiên, khi các mô hình AI phát triển, câu trả lời của AI ngày càng trở nên trôi chảy hơn, phải không? Bởi vì AI trả lời quá trôi chảy, chúng ta bỏ qua nhiệm vụ đáng lẽ phải làm: đánh giá "Điều này có đúng không?" và "Có bằng chứng không?"
Hiện tượng chúng ta bị ảo giác rằng "bởi vì câu nói có vẻ hợp lý, nó chắc chắn đúng" được gọi là "Epistemia." (Từ "Các Ranh giới Nhận thức luận giữa Trí tuệ Con người và Trí tuệ Nhân tạo")
Trong tương lai, cho dù Claude có phát hành một mô hình lớp Mythos hay ChatGPT có phát hành một mô hình vượt trội hơn nó, chúng ta phải xem xét rằng "AI Tạo sinh về mặt cấu trúc không thể giảm tỷ lệ nói dối lẫn vào xuống 0," và con người phải luôn xác minh với các nguồn chính.
Điểm yếu ②: Dù có tiến xa đến đâu, nó cũng không thể nói về "quan hệ nhân quả"
Như đã đề cập trước đó, nó có thể nắm bắt "A và B thường xuất hiện cùng nhau (= tương quan)," nhưng nó không hiểu rằng "A là nguyên nhân của B (= quan hệ nhân quả)."
Ví dụ, nếu bạn hỏi, "Trong quý doanh số giảm, chi phí quảng cáo cũng giảm. Hãy phân tích mối quan hệ nhân quả," AI có thể trả lời, "Doanh số giảm vì bạn đã cắt giảm chi phí quảng cáo." Nhưng trên thực tế, cả hai có thể đã giảm cùng lúc do suy thoái kinh tế, hoặc chi phí quảng cáo có thể đã bị cắt vì doanh số giảm trước. Phân tích hỏi "tại sao," chẳng hạn như "tại sao doanh số giảm," là một nhiệm vụ quá nặng về mặt cấu trúc đối với AI Tạo sinh hiện tại.
Khi bạn muốn thực hiện một phân tích "tại sao" trong công việc, điểm mấu chốt là con người cung cấp hướng của quan hệ nhân quả như một giả thuyết. Thay vì ném toàn bộ vấn đề với "Phân tích nguyên nhân doanh số giảm," hãy thử hỏi như, "Giả sử nguyên nhân của việc doanh số giảm là X, hãy tổ chức dữ liệu hỗ trợ nó và các sự kiện có thể là phản biện."
Logic của quan hệ nhân quả nên được con người đưa ra, và AI nên được giao việc tổ chức dữ liệu và xác định các phản biện. Đây là kết luận hiện tại của tôi.
Điểm yếu ③: Nó không thể thực hiện việc cấu trúc hóa hoặc tổ chức theo kiểu MECE
Vấn đề "liệt kê 13 điểm yếu" được giới thiệu ở đầu bài chính là một minh chứng cho điểm yếu này.
Ví dụ, nếu bạn hỏi, "Xác định các nhiệm vụ chuẩn bị cho sự kiện nội bộ vào tháng tới," AI sẽ liệt kê khoảng 20 nhiệm vụ khi chúng hiện ra trong đầu: "Đặt địa điểm," "Gửi email mời," "Đặt hàng vật tư," "Tạo khảo sát"... Nhưng mức độ chi tiết của các nhiệm vụ không đồng nhất, và thứ tự không được sắp xếp.
Chỉ cần hỏi lại, "Chia nó thành bốn giai đoạn: ① Sắp xếp địa điểm, ② Thu hút người tham dự, ③ Vận hành trong ngày, và ④ Theo dõi sau sự kiện, và xác định các nhiệm vụ cho từng giai đoạn," chất lượng đầu ra thay đổi đáng kể. Các nhiệm vụ được tổ chức theo từng giai đoạn và dễ dàng nhận ra sự thiếu sót hơn. Việc xác định cấu trúc này, như "chia thành bốn giai đoạn," là công việc của con người, không phải AI. Nếu con người tạo và chuyển giao cấu trúc, việc điền chi tiết là thứ AI giỏi.
Đó là lý do tại sao tôi viết các bài báo thúc đẩy việc cấu trúc hóa, cấu trúc hóa và cấu trúc hóa nhiều hơn nữa, như bài bên dưới.
https://x.com/ysk_motoyama/status/2016129312433606678
Vì vậy, dựa trên những điểm mạnh và điểm yếu đã đề cập, làm thế nào chúng ta nên làm chủ AI Tạo sinh? ...Phần còn lại được viết trong ghi chú bên dưới, nếu bạn muốn.
note: Một Bản Ghi Nhớ để Hiểu Đúng Điểm Mạnh và Điểm Yếu của AI Tạo sinh
