Xin chào, những người đam mê AI!
OpenAI đã chính thức công bố trong tuần này: chào mừng đến với Kỷ nguyên AGI.
GPT-6 Astra đã ra mắt, và OpenAI đang bán nó như một bước nhảy vọt về thế hệ — những tiến bộ lớn trong khả năng sử dụng máy tính, viết code, nghiên cứu, và những công việc dài dòng, lộn xộn mà trước đây cần con người phải giám sát suốt chặng đường.
Tôi sẽ tạm thời chấp nhận lời tiếp thị đó, bởi vì nó đặt ra một câu hỏi mà ngành công nghiệp đã lặng lẽ né tránh: làm thế nào để chúng ta thực sự đo lường thứ này?
Trong vài năm nay, AI đã chạy dựa trên các điểm chuẩn (benchmark). Mỗi lần ra mắt đều đi kèm với một bảng chứng minh rằng mô hình mới tốt hơn 3% ở chỗ này, 7% ở chỗ kia, và một cách bí ẩn là thông minh hơn 12% theo một điểm chuẩn chưa từng tồn tại vào mùa xuân năm ngoái. Chúng ta xếp hạng chúng, mã màu chúng, xếp chúng lên bảng xếp hạng, và trao vương miện cho người chiến thắng. Điều này hoạt động tốt khi các mô hình về cơ bản chỉ trả lời câu hỏi. Nó ngừng hoạt động ngay khi các mô hình bắt đầu làm việc.
Đây là vấn đề cốt lõi: một điểm chuẩn chỉ là một ngân hàng câu hỏi. Bạn đưa cho mô hình một vấn đề, nó tạo ra một câu trả lời, bạn kiểm tra câu trả lời so với một đáp án. Ngay cả những điểm chuẩn về sử dụng máy tính phức tạp, về bản chất, cũng chỉ là một đống các tác vụ được viết sẵn chạy trong các môi trường được xây dựng sẵn. Điều đó thực sự hữu ích. Nhưng nó cũng chẳng giống gì với những gì xảy ra khi bạn thả một tác nhân (agent) vào một máy tính thực và bảo nó hoàn thành một việc gì đó.
Cuộc sống thực không đi kèm với một tệp điểm chuẩn. Không có gì trên màn hình máy tính của bạn cho bạn biết chính xác "hoàn thành" trông như thế nào.
Một máy tính thực sự là một trình duyệt bị sập giữa chừng, một trang web hôm qua vừa lặng lẽ thiết kế lại giao diện, một bảng tính với ba phiên bản mâu thuẫn nhau, một quyền truy cập không ai đề cập đến, một tệp PDF bị chôn sáu thư mục sâu, một API hết thời gian chờ ở yêu cầu tồi tệ nhất có thể, và một con người nói "anh/chị có thể lo việc này được không?" rồi bỏ đi mà không định nghĩa "việc này" là gì.
Tác nhân phải tự tìm ra cách. Và phần mà không ai đo điểm chuẩn tốt: nó phải phục hồi khi lần thử đầu tiên thất bại. Đó là một kỹ năng hoàn toàn khác với việc có được câu trả lời đúng.
Đó là lý do tại sao các báo cáo rằng OpenAI đã mua hàng chục nghìn máy Mac tiêu dùng cho việc học tăng cường (reinforcement learning) và huấn luyện sử dụng máy tính lại có ý nghĩa hơn vẻ bề ngoài. Các con số chính xác đã được báo cáo, chưa được kiểm toán — nhưng hướng đi là không thể nhầm lẫn. Các phòng thí nghiệm tiên phong muốn các mô hình của họ trên các máy tính thực, không bị mắc kẹt trong một hộp trò chuyện. Và điều đó lặng lẽ phá vỡ toàn bộ trò chơi điểm chuẩn.
Hãy tưởng tượng hai tác nhân, cùng một máy tính, cùng một nhiệm vụ mơ hồ:
Nghiên cứu thị trường này, chọn ba công ty triển vọng, xây dựng một bảng so sánh tài chính, và chuẩn bị một bài thuyết trình cho ủy ban đầu tư.
Không có một cách đúng duy nhất để làm điều đó. Có hàng trăm cách. Một tác nhân duyệt web trong hai giờ. Một tác nhân khác viết một kịch bản. Một tác nhân thứ ba tình cờ tìm ra một nguồn dữ liệu tốt hơn giữa chừng và vứt bỏ kế hoạch ban đầu. Một tác nhân thứ tư phạm sai lầm, phát hiện ra nó và sửa nó. Một tác nhân thứ năm đưa cho bạn một bài thuyết trình đẹp đẽ được xây dựng trên những con số hoàn toàn sai.
Vậy cái nào đã thắng? Người tạo điểm chuẩn không thể viết sẵn câu trả lời, bởi vì không có câu trả lời nào cả.
Và đây là lúc nó thực sự trở nên khó chịu. Phần khó nhất của việc chấm điểm một tác nhân có thể không còn là câu trả lời có đúng không. Mà là liệu điều này có thực sự hữu ích không. Nghe có vẻ như là sự phân tích quá chi tiết. Nhưng không phải vậy.
Hãy lấy một tác nhân đạt 95% điểm chuẩn sử dụng máy tính, sau đó thả nó vào một công ty thực tế trong một tuần. Nó xây dựng cấu trúc thư mục sai, ghi đè lên một bảng tính đang hoạt động, mất sáu giờ để theo đuổi một hướng đi chết, tự tin trích dẫn một số liệu thống kê từ năm 2023, và bị mắc kẹt ở một bức tường quyền truy cập mà nó không bao giờ nghĩ đến việc hỏi. Mọi tác vụ điểm chuẩn: hoàn hảo. Sẽ không ai giữ nó làm việc thêm tuần thứ hai.
Bây giờ hãy lấy một tác nhân chỉ đạt 85% — nhưng biết khi nào nó bối rối, hỏi một câu hỏi duy nhất giúp nó thoát khỏi bế tắc, thay đổi hướng tiếp cận khi có thứ gì đó hỏng, và lặng lẽ hoàn thành công việc mà bạn thực sự có thể sử dụng. Cái nào thông minh hơn? Bảng xếp hạng không biết. Thành thật mà nói, chúng ta cũng vậy.
Đây là lý do tại sao tôi nghĩ các điểm chuẩn độc lập đang đâm vào một bức tường. Không phải vì các nhà nghiên cứu đang lười biếng — họ đang xây dựng các bài kiểm tra khó hơn, thực tế hơn bao giờ hết. Vấn đề là thực tế cứ ngày càng lớn hơn bài kiểm tra. Bạn có thể làm cho điểm chuẩn dài hơn, thêm nhiều công cụ hơn, nhiều trang web hơn, nhiều ứng dụng hơn, nhiều bước hơn, nhiều tính ngẫu nhiên hơn. Điều đó không quan trọng. Bạn vẫn đang xây dựng một trò chơi có luật lệ, và ngay khi một mô hình học cách chơi trò chơi, bạn lại quay trở lại vạch xuất phát.
Vì vậy, chúng ta sẽ có điểm số. 91,4%. 94,7%. 97,2%. 98,1%. Mọi người sẽ tranh luận liệu Mô hình A có đánh bại Mô hình B hay không. Ai đó sẽ tung ra một bảng xếp hạng khác. Một người khác sẽ tung ra một bảng xếp hạng của các bảng xếp hạng. Và trong suốt thời gian đó, mô hình sẽ ngồi trên một máy tính thực sự làm những việc mà không con số nào có thể mô tả được.
Đó là nghịch lý điểm chuẩn: AI càng tiến gần đến trí thông minh đa năng, thì một ngân hàng các câu hỏi được viết sẵn càng ít cho bạn biết về nó.
Vậy điều gì thay thế nó? Tôi không nghĩ câu trả lời là "một điểm chuẩn tốt hơn." Tôi nghĩ đó là một thứ gì đó khác về bản chất. Hãy ngừng đưa cho tác nhân một câu hỏi và thay vào đó hãy đưa cho nó một mục tiêu. Hãy ngừng đưa cho nó một hộp cát gọn gàng và thay vào đó hãy đưa cho nó một cái lộn xộn. Hãy ngừng chấm điểm xem nó có làm theo các bước dự kiến hay không và thay vào đó hãy chấm điểm xem nó có đạt được kết quả hay không. Hãy ngừng chạy lại cùng một bài kiểm tra công khai và thay vào đó hãy ném nó vào các môi trường liên tục thay đổi, với các tác vụ riêng tư mà nó chưa từng thấy.
Và hãy ngừng chỉ hỏi liệu nó có thành công hay không. Hãy hỏi nó thành công một cách đáng tin cậy như thế nào, chi phí là bao nhiêu, mất bao lâu, nó cần con người bao nhiêu lần, nó hành xử an toàn như thế nào, và liệu công việc có tồn tại được khi tiếp xúc với thực tế hay không.
Nói một cách đơn giản: thế hệ đánh giá AI tiếp theo sẽ trông giống một kỳ thi ít hơn và giống một kỳ thực tập nhiều hơn.
Đừng hỏi mô hình:
Nó có vượt qua bài kiểm tra không?
Hãy đưa cho nó một máy tính xách tay, một tài khoản, một ngân sách, một mục tiêu và một tuần. Sau đó hãy xem nó làm gì. Điều đó sẽ cho bạn biết nhiều hơn về trí thông minh của nó — và nó sẽ là một cơn ác mộng để tiêu chuẩn hóa. Đó chính xác là vấn đề.
Trí thông minh trong thế giới thực rất lộn xộn, theo ngữ cảnh, thích nghi và kết thúc mở. Ngay khi bạn làm phẳng nó thành một danh sách các câu hỏi gọn gàng với câu trả lời cố định, bạn đã ngừng đo lường trí thông minh. Bạn đang đo lường khả năng làm bài kiểm tra.
Và đó là lý do tại sao Astra có tác động khác với tôi. OpenAI đang nói với chúng ta, một cách công khai, rằng chúng ta đã bước vào Kỷ nguyên AGI. Tốt thôi. Nhưng nếu điều đó là đúng, có lẽ chúng ta nên ngừng đưa cho AGI bài kiểm tra tiêu chuẩn mà chúng ta đã thiết kế cho chatbot.
Câu hỏi thú vị không còn là "nó đạt điểm bao nhiêu?" Nữa. Mà là "điều gì xảy ra khi bạn đưa cho nó một máy tính và bảo nó hoàn thành một việc gì đó?" Và tôi nghi ngờ rằng chúng ta sắp nhận ra rằng chúng ta vẫn chưa có một câu trả lời tốt.
Vì vậy — chào mừng đến với Kỷ nguyên AGI. Và, một cách lặng lẽ, cùng lúc đó: chào mừng đến với Kỷ nguyên của AI Không Thể Chấm Điểm. Điểm chuẩn không trở nên tồi tệ hơn. Thứ mà chúng ta đang cố gắng đo lường vừa bước ra khỏi nó.
