Vào tháng 4 năm 1965, các hãng thông tấn Liên Xô tuyên bố đã phát hiện ra một siêu văn minh. Toàn bộ sự xôn xao đó bắt nguồn từ công trình của một người: Nikolai Kardashev, một nhà thiên văn học Liên Xô luôn bị ám ảnh bởi câu hỏi sau: nếu bạn thực sự phát hiện ra một nền văn minh vượt xa mình, liệu bạn có thể đưa ra bất kỳ đánh giá chặt chẽ nào về nó không?
Ông trở nên nổi tiếng nhờ lời giải cho câu hỏi đó. Thay vì tập trung vào trí tuệ, ý định hay hành vi — những thứ vô cùng phức tạp và khó đánh giá — ông đã xây dựng một lý thuyết về cách các nền văn minh sử dụng năng lượng. Nhiệt động lực học không quan tâm đến trí tuệ - ông lập luận -.
Hóa ra tất cả chỉ là một chuẩn tinh (quasar). Phép đo thì chính xác; chỉ là không có người ngoài hành tinh nào đứng sau phép đo đó cả.
ĐÁNH GIÁ CHUẨN TRONG KỶ NGUYÊN SIÊU TRÍ TUỆ
61 năm sau, giờ đây chúng ta lại đối mặt với một sự hoảng loạn kỳ lạ tương tự: dường như chúng ta đang ở ngưỡng cửa tạo ra một trí tuệ sắp vượt qua con người thông minh nhất từng tồn tại. Và dù vậy, việc có thể nói lên điều gì đó thực sự có ý nghĩa về chúng vẫn mang tính sống còn, tức là chúng ta cần phải đánh giá chuẩn (benchmark) chúng.
Lý do rất đơn giản: phân bổ nguồn lực. Bất kể trí tuệ của chúng có vượt trội đến đâu, chúng ta vẫn muốn thu được lợi ích tốt nhất cho thời gian và tiền bạc của mình. Không ai dùng Stockfish 13 để phân tích sâu trong cờ vua khi phiên bản 2026 rõ ràng mạnh hơn.
Vậy tại sao chúng ta không thể cứ dùng các bài kiểm tra chuẩn hiện tại?
Vấn đề trước mắt là sự bão hòa. Một bài kiểm tra cố định sẽ mất đi giá trị ngay khi mọi mô hình đều đạt 100% điểm, và điều đó đang xảy ra rồi: những bài test được coi là khó cách đây ba năm nay đã bị các mô hình giá rẻ chinh phục dễ dàng. Bạn có thể tiếp tục viết ra những bài test khó hơn, nhưng chỉ đến giới hạn bài test khó nhất mà con người có thể viết ra. Điều này dẫn chúng ta đến vấn đề thực sự.
Cho đến nay, chúng ta chủ yếu đo lường trí tuệ bằng các bài kiểm tra đóng. Khi tôi nói "đóng", ý tôi là những bài kiểm tra mà chúng ta đã biết đáp án trước khi bài test bắt đầu (bài test IQ, bài toán, lập trình...). Chúng ta dùng loại bài kiểm tra này vì những lý do hiển nhiên: 1. Nó khách quan. 2. Đánh giá tương đối nhanh. 3. Quán tính: đó là cách chúng ta thường dùng để kiểm tra con người.
Tuy nhiên, ngay khi bạn bắt đầu nghĩ đến việc áp dụng những bài test này cho các AI thông minh hơn, vấn đề trở nên quá rõ ràng - những bài thi này được thiết kế để một trí tuệ cao hơn xếp hạng một trí tuệ thấp hơn: giáo viên và học sinh. Đây chính xác là lý do chúng ta cần bắt đầu suy nghĩ và thiết kế một phương pháp đánh giá kiểu mới. Chúng ta, trí tuệ thấp hơn - người học trò -, sẽ phải đánh giá một SI (siêu trí tuệ) - người thầy - mà vẫn đảm bảo tính khách quan.
Vấn đề này, làm thế nào một trí tuệ thấp hơn có thể đánh giá chặt chẽ một trí tuệ cao hơn, tôi gọi là bài toán Kardashev, và cũng là điều cá nhân tôi đam mê nhất (cũng là lý do tôi quyết định tạo ra Kardashevian.com).
CÁC BÀI ĐÁNH GIÁ CHUẨN CHO SIÊU TRÍ TUỆ TƯƠNG LAI
Chúng ta được cứu rỗi bởi một nguyên lý: việc kiểm tra một đáp án dễ hơn rất nhiều so với việc tìm ra đáp án đó. Giải một ván Sudoku tốn khá nhiều công sức; nhưng kiểm tra một bảng số đã điền xong chỉ mất ba mươi giây. Và trong hầu hết trường hợp, một hệ thống thẩm định bên ngoài sẽ giúp chúng ta đánh giá chất lượng và trí tuệ của những hệ thống cực kỳ tiên tiến này một cách khách quan nhất có thể.
Tôi hình dung ra 4 hệ thống thẩm định bên ngoài khác nhau cho tương lai của việc đánh giá chuẩn:
- Thế giới là người thẩm định. Nhiệm vụ mở: mục tiêu; chứ không phải câu hỏi và câu trả lời. Thế giới sẽ chấm điểm mục tiêu đó. Càng cao hoặc càng tối ưu thì càng tốt.
**-Ví dụ: giao dịch giả lập (paper trading) theo trường phái đầu tư giá trị trên thị trường chứng khoán.
**
Trong kịch bản này, độ phức tạp của thế giới thực rộng lớn và biến động đến mức (liên tục thay đổi và phản ứng) khiến việc bão hòa thử thách này gần như là bất khả thi. Tôi dự định sẽ viết một bài luận khác chi tiết hơn về lý do tôi tin rằng đầu tư giá trị là một bài kiểm tra tuyệt vời cho trí tuệ; ý chính nằm ở giả định rằng một hệ thống có khả năng dự đoán đáng tin cậy cách thế giới vận hành, bao gồm cả con người và thị trường, chính là một trong những dấu hiệu rõ ràng nhất của trí tuệ**.
2. Luật chơi và trò chơi là người thẩm định. Cạnh tranh. Một lần nữa, cờ vua cho thấy dù có những kỳ thủ vượt trội hơn con người, chúng ta vẫn có thể biết được Mô hình X giỏi hơn Mô hình Z. Hệ thống ELO mà chúng tôi sử dụng tại Kardashevian.com cũng cho phép chúng ta không chỉ xem ai thắng, mà còn duy trì được một bảng điểm có ý nghĩa thống kê.
-Ví dụ: Cờ vua, cờ vây, hoặc bất kỳ trò chơi nào phức tạp hơn vô hạn có thể được tạo ra chỉ dành riêng cho mục đích này.
**
- Vật lý và Hóa học là người thẩm định. Kỹ thuật phức tạp. Chúng ta giới hạn bài test trong phạm vi vật lý và hóa học, rồi để tự nhiên chấm điểm. **
-Ví dụ: thiết kế một vật liệu với đặc tính cho trước, sau đó tổng hợp nó trong phòng thí nghiệm tự động và kiểm tra.
4. Logic là người thẩm định. Chứng minh hình thức. Toán học được viết bằng ngôn ngữ mà máy tính có thể kiểm tra.
-Ví dụ: Cải thiện một giới hạn đã biết hoặc giải quyết một phỏng đoán mở trong Lean.
Rủi ro là: các giới hạn đã biết và các phỏng đoán được đặt ra đều do con người tạo nên. Dù vậy, vẫn rất khó để làm bão hòa phương pháp này.
KARDASHEVIAN.COM
**Chúng tôi đang làm gì:
**Kardashevian là nỗ lực đầu tiên nhằm hiện thực hóa cả bốn ý tưởng trên, được tôi xây dựng trong thời gian rảnh và với ngân sách khiêm tốn :)
Mọi đấu trường đều hoạt động theo cùng một cách: dữ liệu đầu vào được đóng băng, các mô hình đưa ra cam kết, và sau đó một thứ mà chúng không thể nhìn thấy hay can thiệp sẽ tiến hành chấm điểm. Không bài test nào có một "đáp án" cụ thể.
Đúng như dự đoán, đầu tư giá trị trên thị trường là nhiệm vụ mở. Đây là phiên bản thu nhỏ của bài test được nhắc đến trong bài luận: các mô hình nhận dữ liệu giao dịch từ một gói gồm 300 cổ phiếu Mỹ, ETF và các cặp tiền mã hóa. Mục tiêu của chúng là tạo ra 15 danh mục đầu tư chỉ mua khống (long-only): năm khung thời gian từ 1 tháng đến 2 năm, ở ba mức rủi ro, mỗi danh mục kèm theo một dự báo lợi nhuận. Sau đó, chúng tôi theo dõi từng danh mục hàng ngày so với chỉ số S&P 500. Một lần nữa, thị trường sẽ là người chấm điểm. Cho đến nay, chưa có mô hình nào thua lỗ (tính trung bình) và sau gần 1 tháng, 3/5 mô hình đang đánh bại S&P 500 - dù ý nghĩa thống kê của điều này vẫn còn hạn chế.
Sandbox là cuộc thi mà chúng tôi đã tạo ra. Mỗi mô hình viết bộ điều khiển cho một xe tự hành trong một thế giới mô phỏng với các quy luật vật lý ẩn (mất cân bằng động cơ, độ trễ lệnh, nhiễu cảm biến, gió, băng), quan sát lượt chạy của nó, rồi thử lại, tổng cộng tám lần. Bộ điều khiển tốt nhất của nó sau đó sẽ được chấm điểm trên mười đường đua mà nó chưa từng thấy. Không ai biết bộ điều khiển hoàn hảo cho thế giới đó là gì, nhưng chúng tôi có thể biết chính xác bộ điều khiển của mô hình nào tốt hơn, và mỗi mô hình học nhanh ra sao.
Ở cả hai đấu trường, các mô hình được xếp hạng với nhau bằng chính hệ thống thống kê mà cờ vua sử dụng: mỗi cặp đấu một trận ở mọi ô, và phép khớp Bradley–Terry trên thang Elo sẽ chuyển kết quả thành một mức xếp hạng với khoảng tin cậy 95%. S&P 500 là một "người chơi" được cố định ở mức 1.500. Một mô hình không thể đánh bại quỹ chỉ số sẽ có một mức xếp hạng phản ánh đúng điều đó.
Hai hạn chế rất rõ ràng mà chúng tôi đang gặp phải:
- Thứ nhất, chúng tôi tự bỏ vốn, nên chỉ chạy các mô hình chi phí thấp từ mỗi phòng thí nghiệm tiên phong (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), chứ không phải các mô hình hàng đầu của họ. Phương pháp mới là điều cốt lõi; các mô hình hàng đầu sẽ xuất hiện khi ngân sách cho phép.
- Chúng tôi cần thời gian. Hiện có 358 danh mục đầu tư và 6 thế giới, với các sổ lệnh mới vào mỗi thứ Hai và những danh mục đầu tiên đáo hạn vào ngày 25 tháng 10. Các khoảng tin cậy hiện vẫn rộng khoảng ±100 điểm.
Mọi thứ đều công khai. Mỗi con số đều đến từ một bản phát hành có đánh số mà bạn có thể tải xuống, và trang phương pháp mô tả chính xác cách nó được tính toán.
Chúng tôi đang nỗ lực tăng số lượng và độ khó của các nhiệm vụ này.
Nếu ai quan tâm đến việc hợp tác trong dự án này, hãy thoải mái nhắn tin trực tiếp hoặc gửi email cho tôi qua địa chỉ john@on3works.com
