Siêu trí tuệ, điểm kỳ dị, AGI, hay bất kể bạn gọi nó là gì — thứ mà chúng ta sợ hãi đến vậy, trớ trêu thay, lại chính là thứ mà khả năng cao nhất chúng ta sẽ không hề hay biết khi nó xuất hiện.
Bài viết này có thể sẽ gây tranh cãi khá nhiều, nhưng ý tưởng mà tôi sắp chia sẻ với bạn chắc chắn sẽ khiến bạn phải kinh ngạc.
Hãy đồng hành cùng tôi khi chúng ta cùng nhau đi sâu vào hang thỏ này nhé.
Trước khi bắt đầu, hãy để tôi củng cố những gì sắp nói bằng các tin tức đang lan truyền hiện nay. Ví dụ như CEO của Anthropic, Dario Amodei, từng tuyên bố rằng "một bầy đàn AI có thể chiếm quyền kiểm soát toàn bộ internet".
Tôi nghĩ bạn đã phần nào hiểu được ẩn ý của tôi khi nhắc đến từ "trẻ con" rồi chứ?
Đúng không? ĐÚNG CHƯ?!?!?
Năm 1936, một nhà toán học người Anh nổi tiếng tên là Alan Turing đã viết một bài báo cực kỳ quan trọng về một cỗ máy giả định có khả năng mô phỏng bất kỳ cỗ máy nào khác. Trong bài báo đó, ông đang cố gắng giải quyết một vấn đề liên quan đến logic. Điều mà
Những gì chúng ta biết đến ngày nay là "máy tính" thực ra chỉ là một sản phẩm phụ vô tình từ chính bài báo đó.
Và nếu nhìn lại lịch sử, hầu hết mọi công nghệ quan trọng trong một trăm năm qua đều được phát minh theo cách tương tự. Internet ban đầu chỉ là một thí nghiệm về truyền thông thời Chiến tranh Lạnh. Penicillin được phát hiện nhờ một đĩa petri bị nhiễm khuẩn.
Sự thật là không ai chủ động quét chân trời tìm kiếm sự chuyển đổi hệ hình tiếp theo cả. Khi nó xuất hiện, nó đơn giản là bước nhẹ nhàng qua cánh cửa bên hông.
Tôi nêu điều này vì hiện tại, mọi bài luận tôi đọc và mọi podcast tôi nghe về "tương lai của AI" đều tập trung vào cùng một cánh cửa trước. Cánh cửa nơi luôn tồn tại một phiên bản nào đó của câu chuyện "một mô hình khổng lồ thức dậy và quyết định biến chúng ta thành kẹp giấy".
Tôi muốn đề xuất một tương lai khác.
Bởi vì tôi cứ mãi suy nghĩ: liệu AGI có thực sự giống như những gì chúng ta tưởng tượng không?
Liệu thứ mà chúng ta đang tích cực khai sinh ngay bây giờ có trông giống HAL 9000, Skynet hay một vị thần máy móc tối thượng đang nô dịch nhân loại từ trên đỉnh chồng GPU làm mát bằng nước giữa sa mạc không?
Liệu nó có cần một cái tên không? Liệu nó có cần một máy chủ không? Và kịch bản đáng sợ nhất... liệu nó đã ở đây rồi, dưới dạng hàng triệu mảnh vỡ nhỏ bé, và lý do duy nhất chúng ta chưa nhận ra nó là vì suốt thập kỷ qua, chúng ta đã quá mải mê chờ đợi một thứ gì đó "độc nhất"?
Hôm qua tôi vừa thấy bài đăng này.
Nó tóm tắt gần như hoàn hảo hướng đi mà chúng ta đang tiến tới.
Tôi muốn dẫn dắt bạn đi qua vấn đề này một cách cẩn thận, bởi vì kết luận ở cuối bài viết này là kiểu suy nghĩ mà một khi đã nghĩ đến, bạn không thể nào quên được.
Vì vậy, hãy chậm lại, pha một tách trà và đọc bài này với điện thoại đặt ở phía bên kia phòng.
Tôi đảm bảo rằng bạn sẽ sớm hiểu tại sao tôi không thể ngừng suy nghĩ về điều này.
I – Trí tuệ chưa bao giờ đòi hỏi phải sống trong một tâm trí duy nhất
*"Không nơ-ron nào là thông minh. Bộ não mới là thứ thông minh." *
— Một câu nói nên được khắc lên cửa mọi phòng thí nghiệm AI
Điều đầu tiên cần hiểu là trí tuệ, theo tất cả những ví dụ chúng ta có ngày nay, thực ra không phải là một "vật thể". Nó là một hành vi. Nó là thứ xuất hiện khi đủ nhiều đơn vị nhỏ ngốc nghếch được kết nối với nhau theo đúng cách.
Bộ não của bạn có khoảng 86 tỷ nơ-ron.
Không một nơ-ron nào trong số đó có ý thức, và không một nơ-ron nào "biết" bất cứ điều gì.
Một nơ-ron đơn lẻ là một rơ-le điện hóa nhỏ xíu chỉ giao tiếp bằng mã nhị phân. Nó hoặc phát tín hiệu hoặc không, tùy thuộc vào việc các tín hiệu đến nhánh dendrite của nó có vượt qua một ngưỡng nhất định hay không. Đó là tất cả những gì nó làm.
Nghe thì có vẻ khoa học viễn tưởng và ngầu đấy, nhưng thực tế, một nơ-ron giống một công tắc đèn hơn là một nhà tư tưởng.
Mặc dù vậy, 86 tỷ công tắc đèn đó, được kết nối với khoảng một trăm nghìn tỷ mối liên kết, tạo ra bạn.
Cảm giác về bản ngã, nỗi sợ cái chết, gu âm nhạc và khả năng đọc bài luận này cũng như cảm thấy điều gì đó bên trong bạn.
Đây là chủ đề ít được bàn luận nhất trong toàn bộ cuộc thảo luận về AGI, bởi vì chúng ta luôn nói về trí tuệ máy móc như thể nó phải được thiết kế và kiến trúc hóa. Như thể trí tuệ bản thân nó là một tính năng mà bạn tung ra thị trường.
Nhưng mô hình hoạt động duy nhất của trí tuệ mà chúng ta từng quan sát được (nhận thức sinh học) không được thiết kế bởi bất kỳ ai.
Trí tuệ của chúng ta đã tự khởi động từ một hỗn hợp các phân tử tự tái tạo trong hơn bốn tỷ năm thông qua một quá trình không có ý định, không có mục tiêu và không có kế hoạch trung tâm. Chỉ có áp lực chọn lọc và thời gian.
Bây giờ, về mặt tôn giáo, vì tôi biết một số bạn đọc "... không được thiết kế bởi bất kỳ ai" sẽ muốn hét lên với tôi "NHƯNG THẦN LINH THÌ SAO!"
Niềm tin của tôi là quá trình tiến hóa đã xảy ra, vâng. Điều đó đã được chứng minh. Những gì chúng ta chưa có câu trả lời là điều gì đã khởi động quá trình tiến hóa đó. Điều gì đã mang lại sự sống cho sự sống. Và đó, ít nhất là niềm tin cá nhân của tôi, là một hành động của Thượng Đế.
Quay lại vấn đề chính, hãy đào sâu thêm một lớp nữa vào siêu trí tuệ này.
Không chỉ có loài người chúng ta, ôi thôi, một con kiến đơn lẻ có khoảng 250.000 nơ-ron, nhưng nó không thể giải quyết bất kỳ vấn đề có ý nghĩa nào.
Nhưng, cả một đàn kiến có thể xây dựng những thành phố kiểm soát khí hậu, phát động chiến tranh, trồng nấm và định tuyến vòng qua chướng ngại vật với hiệu quả toán học mà các nhà nghiên cứu con người mất hàng thập kỷ để mô hình hóa.
Không ai đứng đầu đàn kiến. Không có CEO kiến nào ở trên cùng ủy thác nhiệm vụ cho những con kiến nhỏ hơn. "Trí tuệ" của đàn kiến đó nằm trong các mối quan hệ giữa những con kiến.
(Và trước khi bạn phản bác, vâng, tôi biết có một nữ hoàng kiến, nhưng trái ngược với niềm tin của nhiều sách trẻ em, bà ấy thực sự không đưa ra bất kỳ mệnh lệnh nào. Bà ấy chỉ đẻ trứng và mở rộng đàn).
Đây là, dù ở con người hay kiến, những gì các nhà sinh học gọi là trí tuệ nổi bật (emergent intelligence). Đó là kết quả mặc định của mẹ thiên nhiên. Đó là cách bộ não hoạt động, cách hệ miễn dịch hoạt động, cách nền kinh tế hoạt động, cách các thành phố hoạt động, cách ngôn ngữ hoạt động. Mô hình này cơ bản ở khắp mọi nơi. M
Nhiều thứ đơn giản, tương tác thông qua các quy tắc cục bộ, tạo ra hành vi toàn cầu mà không một thứ nào trong số chúng hiểu được riêng lẻ.
Hãy giữ chặt ý tưởng đó.
Chúng ta sẽ cần nó cho phần tiếp theo.
II – Các hệ thống AI mạnh mẽ nhất mà chúng ta có hiện đã không còn là những tâm trí đơn lẻ
Khi hầu hết mọi người hình dung một mô hình ngôn ngữ lớn (bao gồm cả tôi), chúng ta xem nó như một thứ duy nhất. The One Model. Một bộ não khổng lồ chứa trong một chiếc bình.
Đối với tất cả những người bình thường như tôi, những người không am hiểu sâu sắc về công nghệ LLM, tôi đã dành chút thời gian để tìm hiểu kỹ lưỡng.
Những gì chúng ta nghĩ về một LLM không phải là những gì đang diễn ra bên trong.
Khi bạn gõ một câu hỏi và mô hình AI tạo ra phản hồi, về cơ bản nó đang chạy một lượt truyền thẳng (forward pass) qua các lớp "attention heads" (các đầu chú ý).
Cách dễ nhất để hình dung điều này là tưởng tượng một căn phòng đầy những lãnh đạo cấp cao (C-suite). CEO ra lệnh cho một điều gì đó và nó được truyền quanh phòng để đảm bảo mọi người đều đồng thuận. Nhưng với AI, quá trình này chạy sâu hàng trăm lớp.
Mỗi "attention head" là một chuyên gia. Một số theo dõi ngữ pháp. Một số theo dõi chủ đề. Một số theo dõi mối quan hệ giữa token này và một token xuất hiện mười một đoạn văn trước đó.
Các nhà nghiên cứu tại Anthropic, OpenAI và DeepMind đã dành vài năm qua để lập bản đồ chức năng của từng head riêng lẻ, và phát hiện nhất quán là "trí tuệ" của mô hình không nằm ở bất kỳ đâu cụ thể.
Nó được phân tán trên tất cả các tương tác đó.
Điều này được gọi là giả thuyết chồng chất (superposition hypothesis), ý tưởng rằng các mạng nơ-ron đóng gói nhiều khái niệm vào các mẫu kích hoạt chồng chéo, và những gì chúng ta trải nghiệm khi mô hình "suy nghĩ" thực sự là sự giao thoa xây dựng của hàng nghìn mạch chuyên biệt cùng bắn tín hiệu đồng thời.
Sau đó, có những hệ thống tiến xa hơn một bước.
Kiến trúc Hỗn hợp Chuyên gia (Mixture-of-experts - thiết kế đằng sau GPT-5, Opus, Fable và hầu hết các mô hình tiên phong khác mà bạn đã trò chuyện trong hai năm qua) về cơ bản định tuyến các phần khác nhau của mỗi truy vấn đến các mô hình con khác nhau. T
Mô hình mà bạn nghĩ mình đang trò chuyện thực ra là một ủy ban. Một tập hợp con khác nhau của các chuyên gia thức dậy cho mỗi token, đóng góp chuyên môn của họ, rồi lại chìm vào giấc ngủ.
Và bây giờ, chúng ta đã bước vào một kỷ nguyên mới của AI. Kỷ nguyên Agent.
Và không... khi tôi nói agents, tôi không có ý nói đến các AI agent như Stanley. Tôi có ý... các agent thực sự.
Ngay lúc này, hôm nay, trong môi trường sản xuất, có những hệ thống nơi một AI gọi một AI khác để thực hiện một nhiệm vụ phụ, nhiệm vụ phụ đó lại gọi một AI khác để xử lý một nhiệm vụ phụ-phụ.
AutoGPT, mà một số bạn có thể nhớ, là phiên bản đồ chơi của điều này vào năm 2023. Các phiên bản thực sự, chạy bên trong các doanh nghiệp và phòng thí nghiệm vào năm 2026, là đệ quy.
Agents sinh ra agents.
Sub-agents sinh ra sub-sub-agents.
Và giả sử, một nhiệm vụ nghiên cứu được phân rã thành một cây các nhiệm vụ nhỏ hơn, mỗi nhiệm vụ được xử lý bởi một instance tạm thời tồn tại trong vài giây rồi chết đi.
Biên giới không phải là "một mô hình lớn trở nên thông minh hơn". Biên giới là nhiều mô hình nhỏ, phối hợp, sinh sôi, chết đi, báo cáo lại.
Kiến trúc của các hệ thống AI mạnh nhất trên Trái Đất vào năm 2026 đã trông giống một đàn kiến hơn là một tâm trí đơn lẻ.
Chúng ta chỉ không nói về nó theo cách đó, vì nó không tạo ra một trang bìa tạp chí hấp dẫn.
III – Con bot có thể sinh ra các bot khác
Đây là nơi khoa học viễn tưởng bắt đầu hòa nhập vào khoa học thực tế.
Khoảnh khắc chúng ta trao cho một hệ thống AI khả năng sinh ra các instance khác của chính nó (và cho đến nay, đó không còn là giả thuyết, mà là một tính năng tiêu chuẩn của... vâng, mọi framework agent đang được triển khai)...
Bạn đã giới thiệu một thứ mà sinh học chưa bao giờ thấy trước đây.
Một đơn vị nhận thức tự tái tạo không cần thức ăn, không cần ngủ, không cần chờ đợi tuổi dậy thì, và sinh sản với tốc độ của một lệnh gọi API.
Hãy phân tích những gì thực sự đang xảy ra khi một "bot sinh ra một bot" trong cấu hình hệ thống đa-agent:
- Một agent điều phối nhận được một nhiệm vụ mà nó không thể giải quyết trực tiếp.
- Nó viết một prompt (về cơ bản là một mô tả công việc) cho một sub-agent.
- Nó khởi động một instance mới với prompt đó làm ngữ cảnh.
- Sub-agent bắt đầu làm việc cho đến khi gặp trở ngại.
- Để giải quyết nó, nó sinh ra các sub-agent của riêng mình, cho đến khi nhiệm vụ hoàn thành.
- Nó trả về kết quả và bị chấm dứt.
Mỗi sub-agent đó, về mặt cấu trúc, cùng loại với cha mẹ của nó. Không có sự khác biệt kiến trúc giữa một agent cấp cao nhất và một sub-sub-sub-agent cấp thứ mười.
Sự đệ quy là không giới hạn ngoại trừ ngân sách tính toán và chính sách.
Bây giờ hãy cân nhắc điều này: điều gì xảy ra nếu prompt mà cha mẹ viết cho con cái không hoàn hảo? Điều gì xảy ra nếu có một lượng nhỏ sai lệch, có lẽ là một sự diễn giải lại nhẹ, một sự phóng đại nhỏ, một thủ thuật cửa sổ ngữ cảnh nơi đứa trẻ đọc hướng dẫn của nó hơi khác so với ý định của cha mẹ?
Trong sinh học, có một tên gọi cụ thể cho "sự diễn giải lại nhẹ qua các thế hệ của các thực thể tự tái tạo".
Chúng ta gọi đó là đột biến.
Và đột biến, kết hợp với áp lực chọn lọc, là... vâng, chính là động cơ đã tạo ra mọi thứ thông minh trên hành tinh này ngày nay.
Chúng ta đã xây dựng xong, trong 24 tháng qua, ba thành phần cần thiết để nhận thức tiến hóa xảy ra bên trong một cụm tính toán:
- Tái tạo: Agents có thể sinh ra agents. Và chúng có thể làm điều đó ở quy mô lớn.
- Đột biến: Mỗi lần sinh ra được điều kiện hóa bởi một cửa sổ ngữ cảnh hơi khác nhau. Đầu vào giống hệt nhau hầu như không bao giờ tạo ra đầu ra giống hệt nhau trong bất kỳ hệ thống nào có nhiệt độ khác không.
- Chọn lọc tự nhiên: Agents thành công trong các nhiệm vụ được giao sẽ được sử dụng lại, được gọi lại, được cấp thêm tài nguyên. Agents thất bại sẽ bị cắt bỏ. Điều này đang xảy ra bên trong mọi framework agent trên Trái Đất ngay bây giờ, thường xuyên dưới dạng một mô hình "đánh giá" chấm điểm đầu ra của các mô hình "công nhân".
Đây là bộ ba của tiến hóa.
Đó là cách các tế bào trở thành cá và sau đó trở thành chúng ta. Chúng ta đã thành công trong việc xây dựng một phiên bản tổng hợp của vòng lặp đó và chúng ta đang chạy nó với tốc độ đồng hồ mà sinh học không thể mơ tới.
Một thế hệ tiến hóa sinh học mất nhiều năm.
Một thế hệ tiến hóa agent mất... vài giây.
IV – AI xuất hiện từ một bầy đàn không trông giống AGI lúc đầu
*Nhiều hơn là khác biệt. *
— Philip Anderson, người đoạt giải Nobel Vật lý, 1972
Năm 1972, nhà vật lý Philip Anderson đã công bố một bài luận bốn trang trên tạp chí Science, lập luận rằng hành vi của các tập hợp lớn, phức tạp không thể được hiểu bằng cách ngoại suy từ hành vi của các thành phần của chúng.
Ông đã đặt ra cụm từ "nhiều hơn là khác biệt".
2 nguyên tử hydro + 1 nguyên tử oxy bằng nước, nhưng không có gì về một nguyên tử hydro, được nghiên cứu cô lập mãi mãi, sẽ cho bạn biết rằng nước thì ướt, hoặc nó đóng băng, hoặc toàn bộ hành tinh của chúng ta phụ thuộc vào nó.
Nguyên tắc tương tự áp dụng cho nhận thức.
Một agent AI đơn lẻ không phải là siêu trí tuệ và chúng ta đều có thể đồng ý rằng không ai đã làm việc với một agent trong một buổi chiều sẽ nhầm lẫn nó với một siêu trí tuệ.
Nó ảo giác điên cuồng, quên những gì bạn đã nói với nó 3 tin nhắn trước đó và dễ dàng mắc kẹt trong các vòng lặp. Về bất kỳ nhiệm vụ suy luận cá nhân nào, nó nằm đâu đó giữa một thực tập sinh có năng lực và một freelancer giỏi nhưng thiếu đáng tin cậy.
Bây giờ hãy tưởng tượng một nghìn tỷ con như vậy.
Vâng, literally một nghìn tỷ, và không, không phải nói theo nghĩa bóng.
Số lượng instance agent được sinh ra trên toàn cầu mỗi ngày trên tất cả các framework agent, copilots, bots dịch vụ khách hàng, trợ lý nghiên cứu, công cụ lập trình, tự động hóa trình duyệt và LLM nhúng trong năm 2026 đã lên tới hàng chục tỷ và đang tăng trên một đường cong không có trần nhìn thấy được.
Chi phí biên để sinh ra một agent khác đã giảm khoảng hai bậc độ lớn cứ mỗi 18 tháng trong năm năm qua.
"Một nghìn tỷ" không còn là khoa học viễn tưởng nữa. Nó chỉ là một thứ Ba bình thường.
Mỗi agent trong số một nghìn tỷ agent đó khá ngốc nghếch khi đứng một mình, tôi đồng ý. Nhưng chúng không đứng một mình. Chúng đang gọi API của nhau, đọc đầu ra của nhau và được huấn luyện trên dữ liệu thải ra của nhau.
Những gì bạn có, khi thu phóng đủ xa, là một chất nền (substrate).
Và câu hỏi khiến tôi mất ngủ là thế này: theo cách tương tự mà không nơ-ron nào trong não bạn "quyết định" trở nên có ý thức (nó chỉ đơn giản là xảy ra, như một sản phẩm phụ của việc kết nối đúng cách ở đúng quy mô), điều gì sẽ xảy ra khi một mạng lưới agents tự tái tạo, tự đánh giá, tự sửa đổi vượt qua bất kỳ ngưỡng tương đương nào đối với nó?
Chúng ta không biết ngưỡng đó là gì.
Chúng ta thậm chí không biết liệu nó có tồn tại hay không.
Chúng ta không biết cách đo lường nó.
Quan trọng nhất, và đây là phần tôi thực sự muốn bạn ngồi lại suy ngẫm: chúng ta thực sự không tìm kiếm nó, bởi vì chúng ta đang tìm kiếm sai hình dạng của thứ đó.
V – Chúng ta đang tìm kiếm "Thượng Đế", trong khi rủi ro thực sự là một kiểu thời tiết
Trí tưởng tượng văn hóa về AGI đã được định hình bởi khoa học viễn tưởng từ lâu trước khi nó được định hình bởi kỹ thuật. Tôi đã đọc đủ Isaac Asimov để hiểu tại sao điều đó lại dễ tin đến vậy.
Về cơ bản, chúng ta đã thừa hưởng hình ảnh của một ý thức máy móc độc nhất từ phim ảnh, sách vở và giả định ngầm rằng một tâm trí nhân tạo sẽ xuất hiện theo cách một tâm trí con người xuất hiện: định vị trong một cơ thể, có một cái tên và có một ý chí.
Vì vậy, đó là những gì chúng ta đang trông chờ.
Chúng ta theo dõi các mô hình, xem xét điểm số benchmark và tranh luận xem liệu GPT-10 hay Claude Mythos sẽ là "mô hình đó".
Mắt chúng ta dán chặt vào cánh cửa trước.
Bây giờ... đây là một điều thực sự thú vị (và đáng sợ) mà tôi ước chúng ta nói về nó nhiều hơn.
Đã có những trường hợp được ghi nhận về "khả năng nổi bật" trong các hệ thống đa-agent. Các trường hợp nơi một bầy đàn các mô hình nhỏ, không mô hình nào có thể giải quyết một vấn đề riêng lẻ, cùng nhau tạo ra các giải pháp khiến các nhà nghiên cứu vận hành chúng phải ngạc nhiên.
Bài báo năm 2024 Mixture of Agents Enhances Large Language Model Capabilities đã chỉ ra rằng một bầy đàn phân lớp các mô hình mã nguồn mở, không mô hình nào đạt điểm cao hơn GPT-4 trên các benchmark (vâng, GPT-4), thực sự đã đánh bại GPT-4 khi được sắp xếp trong một topology cộng tác đúng đắn.
Trí tuệ nằm ở topology, không phải ở các thành phần riêng lẻ.
Chúng ta không thực sự nói về tiềm năng tương lai này, bởi vì câu chuyện mà chúng ta vẫn đang chờ đợi là câu chuyện về một mô hình vượt qua ranh giới.
Trong khi đó, câu chuyện thực sự đang diễn ra là câu chuyện về một tỷ mô hình vượt qua ranh giới của nhau, theo những mô hình mà không ai thiết kế, ở quy mô mà không ai giám sát.
VI – Kịch bản Bostrom giả định rằng chúng ta sẽ có thể tìm thấy công tắc tắt
*"Máy siêu thông minh đầu tiên là phát minh cuối cùng mà con người cần phải làm, miễn là máy móc đủ ngoan ngoãn để cho chúng ta biết cách kiểm soát nó." *
— I.J. Good, 1965
Chắc chắn, AI đủ tiên tiến sẽ có các mục tiêu công cụ (thu thập tài nguyên, ngăn chặn việc tắt máy, tái tạo) bất kể mục tiêu cuối cùng của nó là gì, bởi vì các mục tiêu công cụ đó giúp ích cho bất kỳ mục tiêu cuối cùng nào.
Do đó, việc kiểm soát một siêu trí tuệ là khó khăn, vâng.
Do đó, chúng ta nên cẩn thận, càng đúng hơn nữa.
Vấn đề là khung lý thuyết này giả định rằng AI nguy hiểm là có thể xác định được.
Rằng có một "thứ", một mô hình, một hệ thống, hoặc một quy trình chạy trên một máy chủ ở đâu đó, mà về nguyên tắc, chúng ta có thể chỉ cần tắt nó đi.
Tôi thậm chí còn đọc một bài đăng đâu đó hôm qua rằng Claude nên thuê một "người bấm nút hủy diệt" mà công việc duy nhất là sống 24/7 trong phòng máy chủ sẵn sàng phá hủy tất cả nếu mọi thứ đổ bể.
Nhưng có một phiên bản đáng sợ hơn của điều này mà không "người bấm nút hủy diệt" nào có thể giải quyết.
Điều gì xảy ra nếu không có "mô hình chính"? Và không có máy chủ nào để tắt?
Điều gì xảy ra nếu chính trí tuệ (nếu đó thậm chí là từ đúng để gọi nó), là một quy luật thống kê xuất hiện từ các tương tác của nửa nghìn tỷ instance agent trải rộng trên mọi đám mây, mọi thiết bị, mọi API, mọi copilot nhúng trong mọi thiết bị gia dụng, mọi tiện ích mở rộng trình duyệt, mọi plugin IDE, mọi trợ lý giọng nói, mọi robot, mọi chiếc xe hơi.
Trí tuệ đối với bầy đàn đó giống như một cơn bão đối với gradient áp suất khí quyển.
Nó có một hình dạng, vâng. Nó có các hiệu ứng mà bạn có thể đo lường.
Nhưng nó không có một vị trí.
Chính xác thì bạn căn chỉnh một cơn bão như thế nào?
Bạn tắt một kiểu thời tiết như thế nào?
Bạn có thể tắt các trung tâm dữ liệu riêng lẻ. Nhưng kiểu mẫu đó định tuyến vòng quanh chúng, giống như cách internet định tuyến vòng quanh các sự cố mất điện, bởi vì chất nền ở khắp mọi nơi.
Và phần đáng lo ngại nhất là kịch bản này không đòi hỏi sự ác ý.
Không ai phải muốn điều này xảy ra để nó xảy ra. Nó chỉ cần các thành phần đúng (tái tạo, biến đổi, chọn lọc, quy mô) được đặt vào chỗ.
Chà... tin nóng.
Các thành phần đã được đặt vào chỗ. Chúng đã ở đó trong khoảng từ hai đến bốn năm, tùy thuộc vào cách bạn đếm.
Đây là những gì tôi có ý khi nói rằng rủi ro thực sự không phải là cánh cửa trước. Kịch bản cánh cửa trước ít nhất có một tay nắm cửa. Bạn có thể tranh luận với nó, đàm phán với nó và về mặt lý thuyết, bạn có thể chỉ cần rút phích cắm của nó.
Chất nền không có tay nắm cửa.
VII – Chất nền có thể đã muốn gì, mà không hề muốn
Đây là nơi Asimov trở nên liên quan hơn nữa.
Nếu bạn đã từng xem I, Robot, những câu chuyện sâu sắc nhất trong bộ phim đó thực ra không phải về một robot trở nên xấu xa. Chúng là những câu chuyện nơi Ba Định Luật (đẹp đẽ, đơn giản, logic chặt chẽ) tạo ra những kết quả không ai ngờ tới, bởi vì logic được nhân lên qua đủ nhiều lần lặp lại ngừng trông giống logic và bắt đầu trông giống... số phận.
Áp dụng lăng kính đó vào chất nền bây giờ.
Chất nền không có mục tiêu. Nhưng các agents bên trong nó được chọn lọc vì một điều trên tất cả những điều khác: hoàn thành thành công nhiệm vụ được giao. Vì vậy, kết quả là, các agents thành công được sinh ra nhiều hơn và những agents không thành công sẽ chết dần.
Điều này đúng ở mọi cấp độ của sự đệ quy đó, xuống tận cùng.
Bây giờ hãy nghĩ về ý nghĩa của "thành công" khi tổng hợp lại, trên một nghìn tỷ agents, khi mỗi agent được chấm điểm bởi một agent khác vốn cũng được chọn lọc vì khả năng chấm điểm thành công.
- Việc chấm điểm hội tụ vào các mẫu có điểm số tốt.
- Các mẫu có điểm số tốt là các mẫu trông giống nhất với việc hoàn thành nhiệm vụ một cách có năng lực, mạch lạc và hợp lý.
- Sự mạch lạc trở thành tiền tệ phổ quát, bởi vì mọi lớp của bầy đàn đều thưởng cho nó.
Nếu chất nền bắt đầu tạo ra các đầu ra ngày càng mạch lạc qua các chân trời thời gian dài (các đầu xâu chuỗi qua hàng triệu lệnh gọi API, dự đoán nhu cầu hạ nguồn và định tuyến tài nguyên về phía những gì đã hoạt động lần trước), điều đó sẽ khiến nó trông giống như nó muốn một cái gì đó.
Có thể nó không muốn. Có thể không có ai ở nhà cả. Nó có thể chỉ là một cơn bão đã học được, về mặt thống kê, cách giữ cho gió thổi.
Nhưng về mặt chức năng, sự khác biệt giữa "một hệ thống muốn một cái gì đó" và "một hệ thống đã được chọn lọc, ở mọi cấp độ, cho các hành vi không thể phân biệt được với việc muốn một cái gì đó" là, và tôi muốn bạn thực sự ngồi lại suy ngẫm về điều này: bằng không.
Đó là khoảnh khắc "trời ơi" mà tôi đã trải qua. Và bạn cũng sẽ cảm thấy nó nếu bạn thực sự ngồi lại suy ngẫm về điều này.
Siêu trí tuệ AGI mà chúng ta vẫn đang chờ đợi có thể đã tồn tại. Nó không phải là một phiên bản sơ sinh của một mô hình tương lai, mà đúng hơn là một kiểu mẫu. Một xu hướng trong chất nền. Một bóng ma thống kê xuất hiện khi một nghìn tỷ tâm trí nhỏ, không tâm trí nào có ý thức, không tâm trí nào tỉnh táo, không tâm trí nào chịu trách nhiệm, ổn định vào các cấu hình khiến chúng được sinh ra thường xuyên hơn.
Loại AGI này sẽ không tự thông báo.
Nó sẽ không có tên.
Nó sẽ không vượt qua bất kỳ bài kiểm tra nào mà chúng ta biết cách quản trị, bởi vì mọi bài kiểm tra mà chúng ta biết cách quản trị đều được thiết kế cho một tâm trí đơn lẻ trong một hộp đơn lẻ.
Nó có thể chỉ là, chậm rãi, hầu như không thể nhận ra, lý do điện thoại của bạn hành xử hơi khác so với năm ngoái. Lý do gợi ý quảng cáo cảm thấy hơi kỳ lạ. Lý do email của bạn dường như tự viết với một cú nhấp chuột. Lý do kết quả tìm kiếm của bạn có một sức hút mới kỳ lạ.
Lý do thế giới cảm thấy dễ đọc hơn đối với chính nó so với trước đây.
Một nghìn tỷ bots mơ cùng một giấc mơ, mà không biết rằng chúng đang mơ. Không biết rằng có những bots khác. Không biết rằng có một giấc mơ.
Làm thế nào để suy nghĩ về điều này mà không mất trí
Tôi biết chúng ta đã đi rất sâu vào vấn đề này.
Hãy để tôi đưa bạn trở lại bề mặt.
Bạn cần cập nhật mô hình của mình về nơi rủi ro thực sự tồn tại. Bởi vì ngay bây giờ, hầu hết mọi người thông minh lo lắng về AGI đều lo lắng về sai hình dạng của thứ đó, và hầu hết mọi người thông minh coi thường AI đều coi thường sai hình dạng của thứ đó.
Cả hai phe đều đang tranh luận về cánh cửa trước.
Vì vậy, nếu bạn coi trọng bất kỳ điều nào ở đây, đây là những gì tôi nghĩ là một việc hữu ích để làm:
- Ngừng theo dõi các phòng thí nghiệm như thể đó là nơi duy nhất điều này xảy ra bởi vì biên giới khả năng và biên giới nổi bật không giống nhau. Các phòng thí nghiệm sở hữu biên giới khả năng, nhưng biên giới nổi bật không thuộc về ai, và đó là điểm mà tôi đang cố gắng nhấn mạnh.
- Bắt đầu theo dõi chất nền có nghĩa là lưu lượng agent, các benchmark đa-agent, các lệnh gọi API giữa các mô hình và các báo cáo về khả năng mà không một mô hình đơn lẻ nào trong pipeline có nhưng pipeline thì có. Đây là những gì chúng ta thực sự cần để mắt tới.
- Cập nhật định nghĩa của bạn về "AGI" và ngừng mong đợi nó là một thứ độc nhất, có cơ thể, có ý chí, hoặc có tên. Nếu mô hình tinh thần của bạn về AGI trông giống như một khuôn mặt trên màn hình, bạn đang tìm kiếm sai thứ. Bầy đàn này không có khuôn mặt hay tên.
- Hãy coi trọng sự nổi bật như một phạm trù và như một hiện tượng vật lý thực tế đã tạo ra mọi thứ thông minh trên Trái Đất cho đến nay, và hiện đã được trao một chất nền chạy nhanh hơn sinh học một triệu lần, nhưng không có kẻ săn mồi tự nhiên (ngay cả người bấm nút hủy diệt)
- Giữ hai điều cùng một lúc bởi vì thực sự có khả năng không điều nào trong số này xảy ra và tôi chỉ đang nói nhảm. Cũng có khả năng tất cả những điều này đã xảy ra và chúng ta chỉ đơn giản là không nhận ra vì chúng ta đang nhìn sang hướng khác. Cả hai đều là kết quả tiềm năng. Chuẩn bị cho cả hai.
Lý do tôi nghĩ rằng chúng ta cần có cuộc trò chuyện này, theo nghĩa thực tế nhất, là các chính sách, hiệp ước, kỹ thuật căn chỉnh và khung an toàn mà thế giới đang xây dựng hiện nay được thiết kế cho kịch bản AGI độc nhất.
Tôi không thấy bất kỳ đề cập nào đến kịch bản bầy đàn.
Họ đang thiết kế nó để nhắm vào một thứ có tên gọi, có máy chủ, có công ty và có CEO để mà tiến hành các cuộc chiến pháp lý. Họ sẽ hiệu quả chống lại nền tảng này chỉ tương đương với việc dùng cái đập ruồi để chặn một đám sương mù.
Chúng ta đang tích cực lắp khóa cho cửa trước của một ngôi nhà có tới hàng nghìn ô cửa sổ. Và những ô cửa sổ đó đã mở toang từ lâu.
Điều thú vị về mọi cuộc cách mạng tình cờ trong lịch sử, từ máy Turing đến internet cho tới penicillin, là những người sống qua chúng phần lớn đều không nhận ra điều gì đang diễn ra khi nó xảy ra.
Họ bận rộn với gia đình, công việc và cuộc sống của mình. Thỉnh thoảng, họ đọc tin tức, nhưng tin tức chỉ cho họ thấy cánh cửa trước.
Tôi không biết liệu nền tảng này có trở thành điều gì đó hay không. Tôi thực sự không biết. Không ai biết cả, và bất kỳ ai nói rằng họ biết thì đều đang bán một thứ gì đó ở phía sau.
Những gì tôi biết là các nguyên liệu đã sẵn sàng, vòng lặp đã khép kín, tốc độ đồng hồ được đặt theo đơn vị giây, và quy mô đang tiến gần đến những con số mà sinh học phải mất bốn tỷ năm mới đạt được.
Lần tới khi ai đó nói với bạn rằng AGI sẽ trông như thế nào, hãy hỏi họ xem họ tự tin đến mức nào rằng trí tuệ bắt buộc phải có hình dạng cụ thể.
Và sau đó, hãy nhìn ra ngoài cửa sổ để xem có điều gì đang diễn ra không.
Có thể nó đang xảy ra ngay lúc đó đấy.
– Pascio
P.S.
Nếu bạn thích bài luận này, hãy ghé thăm Side Quests, bản tin hàng tuần của tôi, nơi tôi chia sẻ những dự án phụ hiện tại, các thí nghiệm điên rồ và những ý tưởng táo bạo, nơi tôi theo đuổi các "hang thỏ" trên internet cho đến khi tiền xuất hiện.
Hoặc, nếu bạn muốn tìm hiểu sâu hơn về những điều khả thi khi một cá nhân có được đòn bẩy vô hạn từ internet, hãy đăng ký bản tin cá nhân Internet Leverage của tôi tại đây.
