Tại Sao Các LLM Mở Rộng Quy Mô (GPT-6) Không Phải Là AGI:
Ảo Tưởng Về Quy Mô Và Thực Tế Của Trí Tuệ Tổng Quát
Câu chuyện chủ đạo trong lĩnh vực công nghệ cho rằng Trí tuệ Nhân tạo Tổng quát (AGI) chủ yếu là một thách thức kỹ thuật về quy mô: nhiều sức mạnh tính toán hơn, tập dữ liệu lớn hơn, ngữ cảnh dài hơn và các cụm học tăng cường quy mô lớn. Những nhân vật nổi bật như CEO OpenAI Sam Altman và CEO NVIDIA Jensen Huang đã nhiều lần định hình các quỹ đạo tiên tiến hiện tại—lên đến một "GPT-6" giả định—như đặt nhân loại trước ngưỡng cửa của năng lực ngang tầm con người. Tuy nhiên, coi các bộ biến đổi tự hồi quy mở rộng quy mô là AGI đã nhầm lẫn giữa truy xuất thống kê chiều cao với trí thông minh tổng quát thực sự. Một phân tích về kiến trúc, toán học và kinh tế cho thấy tại sao các bộ dự đoán token tiếp theo phải đối mặt với các giới hạn mở rộng quy mô cấu trúc, tại sao các điểm chuẩn phổ biến lại sai lệch và trí thông minh tổng quát thực sự đòi hỏi những gì.
- Định Nghĩa AGI: Đường Cơ Sở Hoạt Động
Để đánh giá tại sao việc mở rộng quy mô tự hồi quy không tạo ra AGI, trước tiên chúng ta phải thiết lập một đường cơ sở chặt chẽ, không mang tính tiếp thị. Trong bài báo nền tảng của mình On the Measure of Intelligence, nhà nghiên cứu AI François Chollet chính thức hóa trí thông minh không phải là một bách khoa toàn thư về các kỹ năng tĩnh, mà là khả năng học tập hiệu quả về mặt mẫu:
Trí tuệ Nhân tạo Tổng quát (AGI) là một hệ thống tự trị có khả năng tiếp thu, tổng hợp và áp dụng các năng lực mới để giải quyết các vấn đề chưa từng gặp trong điều kiện không chắc chắn—đạt hoặc vượt quá hiệu quả của con người trong học tập theo mẫu, thích ứng liên tục, suy luận nhân quả và xây dựng mục tiêu mà không cần can thiệp thủ công hoặc đào tạo trước cho từng nhiệm vụ cụ thể.
AGI không phải là tổng thể kiến thức nhân loại được nén vào một ma trận trọng số; nó là cỗ máy học siêu cấp có khả năng tạo ra các mô hình thế giới hoàn toàn mới khi kiến thức hiện tại không còn hiệu quả.
- Các Nút Thắt Kiến Trúc Của Bộ Biến Đổi Tự Hồi Quy
Ngay cả khi một mô hình tiên tiến trong tương lai được đào tạo trên $10^{27}$ FLOP trên các đầu vào đa phương thức, nó vẫn bị ràng buộc bởi cơ chế cơ bản của kiến trúc bộ biến đổi:
$$\text{Token Đầu Vào} \longrightarrow \text{Nhân Ma Trận Tĩnh (Trọng Số Đông Cứng)} \longrightarrow \text{Phân Phối Xác Suất Token Tiếp Theo}$$
A. Sự Vắng Mặt Của Học Tập Tự Trị Và Liên Tục
Các Nút Thắt Kiến Trúc Của "GPT-6"
Ngay cả khi một "GPT-6" trong tương lai được đào tạo trên $10^{27}$ FLOP với các đầu vào đa phương thức, nó vẫn bị ràng buộc bởi cơ chế cơ bản của kiến trúc bộ biến đổi:
\\`
[ Token Đầu Vào ] ──> [ Nhân Ma Trận Tĩnh (Trọng Số Đông Cứng) ] ──> [ Phân Phối Xác Suất Token Tiếp Theo ]
│
└── (Không Có Tính Dẻo Khi Chạy / Không Có Mô Hình Thế Giới Động)
A. Sự Vắng Mặt Của Học Tập Tự Trị Và Liên Tục
- Trọng Số Tĩnh: Các LLM tiêu chuẩn trải qua các giai đoạn đào tạo và suy luận riêng biệt. Khi quá trình lan truyền ngược kết thúc, trọng số mô hình bị đông cứng. Khi một LLM tương tác với thế giới, nó không thể sửa đổi các tham số nội bộ của chính nó trong thời gian thực.
- Quên Thảm Khốc: Mạng nơ-ron bị quên thảm khốc—việc cập nhật trọng số trên các tác vụ mới làm suy giảm các khả năng đã có được trước đó.
- Cửa Sổ Ngữ Cảnh $\neq$ Bộ Nhớ: Mở rộng cửa sổ ngữ cảnh (hoặc sử dụng RAG) cung cấp các bảng nháp tạm thời, không phải bộ nhớ tình tiết hoặc ngữ nghĩa hợp nhất. Một hệ thống không thể độc lập loại bỏ các niềm tin sai lầm và tiếp thu các tiên đề mới trong thời gian chạy là một công cụ truy xuất thông tin, không phải là một người học năng động.
B. Tương Quan Thống Kê So Với Suy Luận Nhân Quả
- Chân Trời Token Tiếp Theo: Bộ biến đổi tối ưu hóa cho $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Như người đoạt giải Turing Judea Pearl đã vạch ra trong The Seven Tools of Causal Inference (CACM), các mô hình kết hợp chiếm bậc thấp nhất của Phân Cấp Nhân Quả (Kết hợp / "Nhìn thấy").
- Nút Thắt Can Thiệp: Trí thông minh tổng quát thực sự đòi hỏi suy luận ở các cấp độ Can thiệp ("Điều gì sẽ xảy ra nếu chúng ta làm X?") và Phản thực tế ("Điều gì sẽ xảy ra nếu chúng ta đã hành động khác đi?"). LLM ước lượng các cơ chế này thông qua các mẫu token, nhưng nếu không có một công cụ nhân quả rõ ràng, chúng vẫn mong manh khi suy luận bên ngoài phân phối đào tạo của chúng.
Trọng Số Tĩnh Khi Suy Luận: Các LLM tiêu chuẩn duy trì một ranh giới cấu trúc chặt chẽ giữa đào tạo và suy luận. Khi quá trình lan truyền ngược kết thúc, trọng số mô hình vẫn bị đông cứng. Trong quá trình thực thi, một LLM không thể sửa đổi các tham số nội bộ của chính nó trong thời gian thực.
Quên Thảm Khốc: Việc cập nhật trọng số mạng nơ-ron trên các tác vụ mới làm suy giảm các khả năng đã có được trước đó.
Cửa Sổ Ngữ Cảnh $
eq$ Bộ Nhớ: Mở rộng cửa sổ ngữ cảnh (hoặc thêm vào Tạo Tăng cường Truy xuất) cung cấp một bảng nháp tạm thời, không phải bộ nhớ tình tiết hoặc ngữ nghĩa hợp nhất. Một hệ thống không thể độc lập loại bỏ các niềm tin sai lầm và tiếp thu các tiên đề mới trong thời gian chạy hoạt động như một hệ thống truy xuất thông tin, không phải là một người học năng động.
B. Tương Quan Thống Kê So Với Suy Luận Nhân Quả
Chân Trời Token Tiếp Theo: Bộ biến đổi tối ưu hóa cho $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Như người đoạt giải Turing Judea Pearl đã vạch ra trong The Seven Tools of Causal Inference, các mô hình kết hợp chiếm bậc thấp nhất của Phân Cấp Nhân Quả (Kết hợp / "Nhìn thấy").
Nút Thắt Can Thiệp: Trí thông minh tổng quát thực sự đòi hỏi suy luận ở các cấp độ Can thiệp ("Điều gì sẽ xảy ra nếu chúng ta làm $X$?") và Phản thực tế ("Điều gì sẽ xảy ra nếu chúng ta đã hành động khác đi?"). LLM ước lượng các cơ chế này thông qua các mẫu token, nhưng nếu không có một mô hình thế giới nhân quả rõ ràng, chúng vẫn mong manh khi bị buộc phải hoạt động bên ngoài phân phối đào tạo của chúng.
- Phân Tích Phê Phán: Câu Chuyện Lãnh Đạo So Với Thực Tế Kiến Trúc
Các tuyên bố công khai về lộ trình AGI đáng được phân tích khách quan cùng với các động cơ cấu trúc của các công ty đưa ra chúng.
Jensen Huang (NVIDIA): Động Cơ Mở Rộng Phần Cứng
Khung: Huang đã nhiều lần tuyên bố rằng AGI sẽ đến trong vòng 5 năm, cụ thể định nghĩa nó là thời điểm AI có thể đạt điểm phần trăm cao nhất trong các bài kiểm tra chuyên môn của con người trên các lĩnh vực pháp lý, y tế và kỹ thuật.
Quan Điểm: Định nghĩa AGI chủ yếu thông qua hiệu suất thi cử tiêu chuẩn hóa đánh giá khả năng truy xuất kiến thức tĩnh và khớp mẫu—những nhiệm vụ mà các mô hình tự hồi quy vượt trội nhờ khả năng ghi nhớ quy mô internet. Từ góc độ kiến trúc, vượt qua kỳ thi luật sư hoặc hội đồng y khoa không chỉ ra khả năng suy luận ngoài phân phối hoặc khả năng thích ứng tự trị. Việc coi thành công trong kỳ thi là AGI khuyến khích chi tiêu vốn liên tục vào các cụm GPU doanh nghiệp, phù hợp trực tiếp với các mục tiêu bán hàng phần cứng.
Sam Altman (OpenAI): Động Cơ Vốn Hóa Và Định Giá
Khung: Altman thường xuyên đề cập đến một lộ trình tích cực hướng tới AGI, dự báo sự chuyển đổi nhanh chóng từ các hệ thống tác nhân sang quyền tự chủ nhận thức đầy đủ để biện minh cho các khoản đầu tư cơ sở hạ tầng khổng lồ, chẳng hạn như các sáng kiến chip và trung tâm dữ liệu trị giá nhiều nghìn tỷ đô la.
Vấn Đề Động Cơ: Lời Hùng Biện Gây Hiểu Lầm Trong Ngành
Hiểu các tuyên bố công khai của các giám đốc điều hành công nghệ đòi hỏi phải phân tích các động cơ cấu trúc của họ:
\\`
┌───────────────────────────────┐ ┌───────────────────────────────┐
│ Jensen Huang (NVIDIA) │ │ Sam Altman (OpenAI) │
├───────────────────────────────┤ ├───────────────────────────────┤
│ Động cơ: Bán H100/B200 │ │ Động cơ: Các vòng gọi vốn │
│ Chiến lược: Định nghĩa lại │ │ hàng tỷ đô & Stargate │
│ AGI là vượt qua các kỳ thi │ │ Chiến lược: Dao động giữa │
│ tiêu chuẩn trong 5 năm. │ │ "AGI giống như Chúa sắp xảy ra"│
│ │ │ và "chỉ là một công cụ hữu ích."│
└───────────────────────────────┘ └───────────────────────────────┘
Quan Điểm: Trọng tâm hoạt động của OpenAI dựa vào việc đảm bảo nguồn dự trữ vốn khổng lồ để tài trợ cho các lần chạy tính toán. Thúc đẩy câu chuyện AGI sắp xảy ra duy trì định giá mạo hiểm cao và đảm bảo sự hậu thuẫn chiến lược của chủ quyền. Tuy nhiên, việc thay đổi định nghĩa—luân phiên giữa việc coi các bản phát hành mới là bước nhảy vọt công nghệ và rút lại các tuyên bố về AGI trong các cuộc thảo luận về quy định—làm nổi bật sự căng thẳng giữa thông điệp thị trường và khả năng kỹ thuật. Các kỹ thuật như mở rộng quy mô tính toán thời gian suy luận cải thiện khả năng tìm kiếm trên các không gian vấn đề có cấu trúc, nhưng chúng không giải quyết được tình trạng đông cứng trọng số, thích ứng thời gian thực hoặc quyền tự chủ nhận thức thực sự.
- Ngụy Biện Điểm Chuẩn: Tại Sao Các Chỉ Số Hiện Tại Gây Hiểu Lầm
Nhận thức rằng các mô hình tiên tiến đang tiến gần đến AGI phần lớn bắt nguồn từ sự bão hòa điểm chuẩn. Các phương pháp đánh giá hiện tại bị ảnh hưởng bởi ba lỗ hổng cấu trúc cốt lõi:
Nhiễm Dữ Liệu & Bão Hòa Điểm Chuẩn: Các bộ đánh giá phổ biến như MMLU và GSM8K thường xuyên bị rò rỉ vào các tập dữ liệu đào tạo trước quy mô web. Điểm số cao thường phản ánh khả năng nhớ lại mẫu chiều cao hơn là suy luận ngoài phân phối.
Định Luật Goodhart Trong Tối Ưu Hóa AI: Như nghiên cứu về đánh giá các mô hình AI tiên tiến cho thấy, "khi một chỉ số trở thành mục tiêu, nó không còn là một chỉ số tốt nữa." Các kỹ thuật hậu đào tạo (RLHF, DPO, tạo dữ liệu tổng hợp) tối ưu hóa mạnh mẽ các mô hình để vượt qua các đánh giá công khai tiêu chuẩn.
Kho Ngữ Liệu Suy Luận & Trừu Tượng (ARC-AGI): Đánh giá các mô hình trên các câu đố logic trừu tượng trực quan mới được thiết kế đặc biệt để chống ghi nhớ—chẳng hạn như điểm chuẩn ARC-AGI—cho thấy rằng mặc dù tìm kiếm mở rộng quy mô và tính toán thời gian kiểm tra có thể đẩy điểm số lên cao hơn, nhưng tìm kiếm thống kê vũ phu đòi hỏi nhiều hơn nhiều bậc độ lớn về sức mạnh tính toán so với hiệu quả mẫu của con người để giải quyết các vấn đề trừu tượng giống hệt nhau.
- Yêu Cầu Kiến Trúc Cho AGI Thực Sự
Thu hẹp khoảng cách giữa khớp mẫu thống kê và AGI thực sự đòi hỏi những thay đổi kiến trúc cơ bản, tránh xa sự tự hồi quy thuần túy:
Kết Luận
AGI Thực Sự Thực Sự Yêu Cầu Những Gì
Thu hẹp khoảng cách giữa khớp mẫu thống kê chiều cao và AGI thực sự đòi hỏi những thay đổi kiến trúc cơ bản:
Yêu Cầu Cốt Lõi | Hạn Chế Trong Mô Hình Bộ Biến Đổi (GPT-4/6) | Yêu Cầu Kiến Trúc Cho AGI Thực Sự |
|---|---|---|
Tính Dẻo Khớp Thần Kinh Liên Tục | Trọng số mô hình đông cứng; quên thảm khốc khi cập nhật gradient. | Thích ứng tham số và bộ nhớ liên tục, thời gian thực trong thời gian chạy. |
Mô Hình Thế Giới Nhân Quả | Ánh xác suất kết hợp cấp độ token 1D. | Công cụ nhân quả đa chiều dựa trên cơ chế hoạt động và logic. |
Hiệu Quả Mẫu | Yêu cầu hàng nghìn tỷ token / dữ liệu quy mô internet để học các tác vụ cơ bản. | Trừu tượng hóa các tiên đề phức tạp từ các trình diễn một chữ số (học siêu cấp). |
Tự Hiệu Chuẩn Nhận Thức | Ảo giác tự tin; không thể xác minh ranh giới sự thật một cách độc lập. | Tự xác minh nội tại và theo dõi rõ ràng về sự chắc chắn/thiếu hiểu biết. |
Tích Hợp Đồ Thị Tri Thức Bền Vững | Cửa sổ ngữ cảnh phù du và tìm kiếm vector bên ngoài (RAG). | Đồ thị tri thức thống nhất liên tục chưng cất, xác minh, ghi nhớ và cắt tỉa các sự kiện trạng thái. |
Việc mở rộng quy mô sức mạnh tính toán, số lượng tham số và dữ liệu đào tạo trước tạo ra các công cụ đặc biệt, trợ lý viết mã có năng lực cao và giao diện ngôn ngữ tự nhiên trôi chảy. Tuy nhiên, việc mở rộng quy mô dự đoán thống kê không tự động tạo ra suy luận tự trị, học tập năng động hoặc quyền tự chủ thực sự.
Một GPT-6 trong tương lai có thể nhanh hơn, lớn hơn và diễn đạt trôi chảy hơn trên văn bản con người, nhưng nếu không có tính dẻo liên tục, nền tảng nhân quả và tự xác minh năng động, nó vẫn chỉ là một công cụ tương quan tiên tiến—không phải AGI.
Tóm tắt bởi Seedthink
