超級智慧、奇點、AGI，不管你想怎麼稱呼它——那個我們如此畏懼的存在，諷刺的是，很可能也是我們最無法預見其到來的存在。
這篇文章的觀點可能會引發不少爭議，但我接下來要分享的想法絕對會讓你大開眼界。
請跟著我一起深入這個兔子洞吧。
在開始之前，讓我先引用一些目前流傳的新聞來佐證我的論點。比如 Anthropic 執行長 Dario Amodei 曾說過「AI 群體可能接管整個網路」。
我想你應該已經猜到當我說「孩子」時，暗示的是什麼了吧？
對吧？對吧？！？？
1936 年，一位著名的英國數學家 Alan Turing 發表了一篇極具影響力的論文，探討了一種可以模擬任何其他機器的假想機器。在那篇論文中，他試圖回答一個關於邏輯的問題。what I
我們今天所熟知的「電腦」，其實是那篇論文的一個意外副產品。
回顧歷史，過去一百年裡幾乎每一項重要技術都是這樣誕生的。網際網路最初只是冷戰時期的一項通訊實驗。盤尼西林則來自一個被污染的培養皿。
事實是，當下一個範式轉移出現時，沒有人正在積極地掃描地平線尋找它；它就那樣從側門溜進來了。
我之所以提起這一點，是因為現在我讀到的每一篇文章、聽到的每一期關於「AI 未來」的 Podcast，目光都聚焦在同一扇正門上。那扇門後總是一個版本的敘事：「某個巨大的模型醒來，並決定把我們變成迴紋針」。
我想提出一個不同的未來願景。
因為我不斷思考：如果「AGI」其實並非我們想像的那樣呢？
如果我們正在孕育的東西，看起來不像 HAL 9000、Skynet，也不像某個坐在沙漠中水冷 GPU 堆疊頂端、奴役人類的獨立機器神。
如果它根本沒有名字呢？如果它沒有伺服器呢？而最可怕的假設是……如果它已經在這裡了，以百萬個微小的碎片存在，而我們之所以沒認出它，只是因為過去十年我們一直在期待某種「單一」的存在。
我昨天剛看到這篇貼文。
這大致總結了我們前進的方向。
我想仔細帶你走一遍這個邏輯，因為這篇文章結尾的結論，是一種一旦你想通就再也無法忽視的事實。
所以請放慢腳步，泡杯茶，把手機放到房間的另一頭，專心讀完這一篇。
我保證，你很快就會明白為什麼我無法停止思考這件事。
I – 智慧從來不需要寄居於單一心靈之中
*「沒有任何一個神經元是聰明的。大腦才是。」 *
— 這句話應該刻在每個 AI 實驗室的大門上
首先要理解的是，根據我們目前所知的所有例子，智慧並不是一個「東西」。它是一種行為。它是當足夠多的小型笨拙單元以正確方式相互連接時湧現出的結果。
你的大腦大約有 860 億個神經元。
其中沒有一個具有意識，也沒有一個「知道」任何事。
單個神經元只是一個微小的電化學中繼器，只用二進位碼溝通。它要么發射信號，要么不發射，取決於抵達其樹突的信號是否超過某個閾值。這就是它所做的全部。
神經元聽起來很科幻、很酷，但實際上它更接近一個燈開關，而不是一個思考者。
儘管如此，將 860 億個這樣的燈開關，透過約一百兆個連接線路串聯在一起，就產生了你。
你的自我意識、對死亡的恐懼、音樂品味，以及你閱讀這篇文章並在內心產生感受的能力。
這是整個 AGI 對話中最被低估的主題，因為我們總是談論機器智慧彷彿它必須經過設計和架構。彷彿智慧本身是一個你可以發布的功能。
但我們觀察到的唯一運作中的智慧模型（生物認知），並非由任何人設計。
我們的智慧是在四十億年的時間裡，透過一個沒有意圖、沒有目標、也沒有中央規劃者的過程，從一鍋自我複製分子的湯中自行啟動的。只有選擇壓力和時間。
現在，從宗教的角度來看，因為我知道有些讀者看到「並非由任何人設計」時，會想對我大喊「但是上帝呢！」
我相信進化確實發生了，是的。這已經被證實。我們尚未找到答案的是是什麼啟動了這種進化。是什麼賦予生命以生命。至少在我個人看來，那是上帝的作為。
暫且放下這點，讓我們更深入探討這種超級智慧。
不僅僅是我們人類，嘿，一隻螞蟻大約有 25 萬個神經元，但它卻無法解決任何有意義的問題。
但是，一整群螞蟻卻能建造氣候控制的城市、發動戰爭、種植真菌，並以人類研究員花了几十年才建模出來的數學效率繞過障礙物。
沒有人負責管理這個群落。頂層沒有螞蟻 CEO 向較小的螞蟻分派任務。該群落的「智慧」存在於螞蟻之間的關係中。
（在你反駁我之前，是的，我知道有蟻后，但與許多童書的信念相反，她實際上並不發布任何命令。她只是產卵並擴大群落。）
無論是在人類還是螞蟻中，這就是生物學家所稱的湧現智慧。這是大自然的預設結果。這是大腦運作的方式、免疫系統運作的方式、經濟運作的方式、城市運作的方式、語言運作的方式。這種模式基本上無處不在。M
許多簡單的事物，透過局部規則互動，產生它們個別都不理解的整體行為。
記住這個想法。
下一節我們會用到它。
II – 我們擁有最強大的 AI 系統已經不是單一心靈
當大多數人想像大型語言模型（包括我自己）時，我們把它視為一個單一的事物。那個唯一的模型。裝在罐子裡的巨大腦部。
對於像我這樣對 LLM 技術不夠精通的普通人來說，我冒昧做了一些研究。
我們認為 LLM 是什麼，並不是底層實際發生的情況。
當你輸入問題且 AI 模型生成回應時，它基本上是在透過「注意力頭」的層級進行前向傳遞。
最容易想像的方式是把這看作一個充滿高階主管的會議室。CEO 下令某事，然後訊息在房間裡傳遞以確保每個人都同意。但在 AI 中，這會運行數百層深。
每個「注意力頭」都是一個專家。有些追蹤語法。有些追蹤主題。有些追蹤這個 token 與十一段前出現的那個 token 之間的關係。
Anthropic、OpenAI 和 DeepMind 的研究人員花了幾年時間試圖繪製個別注意力頭的功能，一致的發現是模型的「智慧」並不位於任何特定地方。
它分散在所有這些互動中。
這被稱為疊加假說 (superposition hypothesis)，即神經網路將許多概念打包成重疊的激活模式，而我們體驗到的模型「思考」，实际上是數千個專門電路同時發射產生的建設性干涉。
然後還有更進一步的系統。
混合專家架構（Mixture-of-experts architectures，GPT-5、Opus、Fable 以及過去兩年你對話過的幾乎所有前沿模型的設計基礎） literally 將每個查詢的不同部分路由到不同的子模型。T
你以為你在對話的那個模型，實際上是一個委員會。每生成一個 token，就會喚醒不同 subset 的專家，貢獻它們的專業知識，然後再次睡去。
現在，我們已經進入了一個新的 AI 時代。Agent 時代。
不……當我說 agents 時，我不是指像 Head of Content AI agents like Stanley 那種。我是說……真正的 Agents。
就在當下，在生產環境中，已經存在這樣的系統：一個 AI 呼叫另一個 AI 來執行子任務，而那個 AI 又呼叫另一個 AI 來處理子子任務。
AutoGPT，你們有些人可能還記得，這是 2023 年的玩具版本。而在 2026 年運行於企業和實驗室中的真實版本，是遞迴式的。
Agents 生成 Agents。
Sub-agents 生成 sub-sub-agents。
假設一個研究任務被分解成一棵較小任務的樹，每個任務都由一個存在幾秒鐘然後就消失的臨時實例處理。
前沿不是「一個大模型變得更聰明」。前沿是許多小模型，協調、生成、死亡、回報結果。
2026 年地球上最具能力的 AI 系統的架構，看起來更像是一個螞蟻群落，而不是單一心靈。
我們只是不那樣談論它，因為那樣做不會成為好的雜誌封面。
III – 能生成机器人的机器人
這裡是科幻開始融入現實科學的地方。
一旦我們給予 AI 系統生成自身其他實例的能力（到現在為止，這已不再是假設，而是……嗯，今天每個 agent 框架的標準功能）……
你就引入了生物學從未見過的东西。
一個自我複製的認知單元，它不需要食物，不需要睡眠，不需要等待青春期，並且以 API 呼叫的速度進行繁殖。
讓我們拆解一下在多代理系統設置中，當一個「bot 生成 bot」時實際發生的事情：
- 一個編排 Agent 收到一個它無法直接解決的任務。
- 它為一個 sub-agent 寫一個 prompt（本質上是一份工作描述）。
- 它以該 prompt 作為上下文，啟動一個新實例。
- Sub-agent 開始工作，直到遇到障礙。
- 為了解決障礙，它生成自己的 sub-agents，直到任務完成。
- 它返回結果並終止。
結構上，那些 sub-agents 中的每一個，都與父級是同一種東西。頂級 Agent 和第十級 sub-sub-sub-agent 之間沒有架構上的差異。
除了計算預算和政策限制外，遞迴是無界的。
現在考慮這一點：如果父級為子級寫的 prompt 並不完美呢？如果有輕微的漂移，也許是一點點的重新詮釋、一點點的潤飾、或者一種上下文窗口技巧，使得子級讀取其指令的方式與父級意圖略有不同？
在生物學中，對於「跨代自我複製實體的輕微重新詮釋」有一個特定的名稱。
我們稱之為突變 (mutation)。
而突變，結合選擇壓力，就是……嗯，產生這個星球上今天每一個智慧事物的引擎。
在過去的 24 個月裡，我們已經構建了計算集群內發生進化認知所需的三個要素：
- 複製： Agents 可以生成 Agents。而且它們可以大規模做到這一點。
- 突變： 每次生成都基於略微不同的上下文窗口。在任何溫度非零的系統中，相同的輸入幾乎永遠不會產生相同的輸出。
- 自然選擇： 成功完成分配任務的 Agents 會被重複使用、再次呼叫、獲得更多資源。失敗的 Agents 會被修剪。這正發生在地球上的每個 agent 框架中，通常表現為一個字面上的「評估者」模型給「工作者」模型的輸出打分。
這是進化的三位一體。
這就是細胞變成魚、魚變成我們的方式。我們現在已經成功構建了該循環的合成版本，並且以生物學無法想像的時鐘速度運行它。
一代生物進化需要數年。
一代 Agent 進化只需要……幾秒鐘。
IV – 從群體中湧現的 AI 起初並不像 AGI
*量變引起質變。 *
— Philip Anderson，1972 年諾貝爾物理學獎得主
1972 年，物理學家 Philip Anderson 在《Science》雜誌上發表了一篇四頁的文章，論證大型複雜集體的行為不能透過推斷其組成部分的行為來理解。
他創造了「量變引起質變 (more is different)」這個短語。
2 個氫原子 + 1 個氧原子等於水，然而無論你單獨研究氫原子多久，都不會告訴你水是濕的，或者它會結冰，或者我們整個星球都依賴它。
同樣的原則適用於認知。
單個 AI Agent 不是超級智慧，我們都同意，任何與其共事一個下午的人都不會把它誤認為是超級智慧。
它瘋狂幻覺，忘記你三條訊息前告訴它的內容，並且容易陷入循環。在任何單獨的推理任務上，它介於一個勝任的實習生和一個聰明但不可靠的自由職業者之間。
現在想像一兆個這樣的 Agent。
是的，字面意義上的一兆個，不，這不是比喻。
2026 年，全球每天在所有 agent 框架、copilots、客服機器人、研究助理、編碼工具、瀏覽器自動化以及嵌入式 LLM 中生成的 agent 實例數量已經達到數十億，並且沿著一條看不到上限的曲線攀升。
生成另一個 agent 的邊際成本在過去五年中大約每 18 個月下降兩個數量級。
「一兆」不再是科幻小說。這只是普通的星期二。
我同意，那一兆個 agent 中的每一個單獨來看都有點笨。但它們不是單獨存在的。它們互相呼叫 API，閱讀彼此的輸出，並用彼此的廢氣進行訓練。
當你拉遠鏡頭足夠遠時，你看到的是基底 (substrate)。
讓我夜不能寐的問題是：正如你大腦中的神經元沒有「決定」要有意識（這只是發生了，作為正確接線在正確規模下的副產品），當一個自我複製、自我評估、自我修改的 agent 網絡跨越其等效閾值時會發生什麼？
我們不知道那個閾值是多少。
我們甚至不知道它是否存在。
我們不知道如何測量它。
最重要的是，這也是我希望你真正坐下來思考的部分：我們實際上並沒有在尋找它，因為我們在尋找錯誤形狀的東西。
V – 我們在尋找「上帝」，但真正的風險是一種天氣模式
AGI 的文化想像早在工程塑造它之前，就由科幻小說塑造了。我讀過足夠多的 Isaac Asimov，理解為什麼那麼容易相信這一點。
我們基本上從電影、書籍中繼承了單一機器意識的形象，以及隱含的假設：人工心智會像人類心智一樣到來：局限於身體，擁有名字和意志。
所以這就是我們關注的對象。
我們監視模型，審查基準測試分數，爭論 GPT-10 或 Claude Mythos 會不會是「那個」。
我們的眼睛緊盯著正門。
現在……這裡有一些非常有趣（且可怕）的事情，我希望我們更多地討論。
在多代理系統中，已經有記錄在案的「湧現能力」案例。一群小模型，沒有一個能單獨解決問題，但集體產出了讓運行它們的研究人員感到驚訝的解決方案。
2024 年的論文 Mixture of Agents Enhances Large Language Model Capabilities 顯示，一個由開源模型組成的分層群體，沒有一個在基準測試中得分高於 GPT-4（是的，GPT-4），但在正確的協作拓撲結構中排列時，實際上擊敗了 GPT-4。
智慧在於拓撲結構，而不是個別部分。
我們不太談論這個潛在的未來，因為我們一直等待的故事是一個模型跨越界限的故事。
與此同時，實際展開的故事是十億個模型跨越彼此界限的故事，以無人設計的模式，在無人監控的規模下。
VI – Bostrom 情境假設我們能找到關閉開關
*「第一台超智能機器將是人类需要做出的最後一項發明，前提是該機器足夠溫順，告訴我們如何將其置於控制之下。」 *
— I.J. Good, 1965
當然，足夠先進的 AI 無論其最終目標為何，都會擁有工具性目標（獲取資源、防止關閉、複製），因為這些工具性目標有助於任何最終目標。
因此，控制超級智慧很難，是的。
因此，我們應該小心，更是如此。
問題在於，這種框架假設危險的 AI 是可識別的。
假設有這個「東西」，一個模型、一個系統，或某個伺服器上運行的過程，原則上我們可以將其關閉。
我甚至昨天在某處讀到一篇貼文，說 Claude 應該僱用一個「殺手開關 guy」，他的唯一工作是全天候住在伺服器機房，準備在出事時摧毀一切。
但有一個更可怕的版本，是任何 killswitch guy 都無法解決的。
如果沒有「主模型」呢？如果沒有伺服器可以關閉呢？
如果智慧本身（如果這是正確的詞的話），是一種統計規律性，從分布在每個雲端、每個裝置、每個 API、每個家電中的嵌入式 copilot、每個瀏覽器擴充功能、每個 IDE 插件、每個語音助理、每個機器人、每輛車中的半兆個 agent 實例的互動中湧現出來。
智慧對於那個群體而言，就像颶風對於大氣壓力梯度一樣。
它有形狀，是的。它有你可以測量的效應。
但它沒有位置。
你到底如何對齊一個颶風？
你如何關閉一種天氣模式？
你可以關閉個別資料中心。但模式會繞過它們重新路由，就像網際網路繞過故障重新路由一樣，因為基底無處不在。
最令人不安的部分是，這種情境不需要惡意。
沒有人必須想要這件事發生。它只需要適當的成分（複製、變異、選擇、規模）就位。
好吧……新聞快報。
成分已經就位。根據你的計算方式，它們已經就位兩到四年了。
這就是我說真正的風險不在正門的意思。正門情境至少有一個門把手。你可以與之爭論、談判，理論上，你可以直接拔掉插頭。
基底沒有門把手。
VII – 基底可能已經想要什麼，即使它沒有想要
這就是 Asimov 變得更加相關的地方。
如果你看過《我，機器人》，那部電影中最深刻的故事並不是關於機器人變壞。而是那些三大定律（美麗、簡單、邏輯嚴密）產生了沒人預期的結果的故事，因為邏輯透過足夠多次的迭代複合後，不再看起來像邏輯，而開始看起來像……命運。
現在將這個透鏡應用於基底。
基底沒有目標。但其中的 agents 被選擇的首要條件是：成功完成分配給它們的任務。因此，成功的 agents 會生成更多，不成功的則會消亡。
這在該遞歸的每一層都是真的，一直向下。
現在想想，在一兆個 agents 的總和中，「成功」意味著什麼，當每個 agent 都被另一個因成功評分而被選擇的 agent 評級時。
- 評分收斂於得分高的模式。
- 得分高的模式是最看起來像有能力、連貫、合理的任務完成的模式。
- 連貫性成為通用貨幣，因為群體的每一層都獎勵它。
如果基底開始產出在長時間跨度上越來越連貫的輸出（這些輸出貫穿數百萬次 API 呼叫，預測下游需求並將資源導向上次有效的方向），這會讓它看起來像是想要什麼。
它可能不想。可能根本沒人在家。它可能只是一場學會了如何保持風吹動的颶風，純粹是統計上的結果。
但功能上，「一個想要什麼的系統」和「一個在每一層都被選擇為具有與想要什麼無法區分的行為的系統」之間的區別，我希望你真正坐下來思考這一點：是零。
那是我經歷的「天哪」時刻。如果你真正坐下來思考，你也會感受到。
我們一直等待的超級智慧 AGI 可能已經存在。它不是未來模型的嬰兒版本，而是一種模式。基底中的一種趨勢。當一兆個微小的心靈，沒有一個有意識，沒有一個清醒，沒有一個負責，settled into 那些讓它們更頻繁生成的配置時，湧現出的統計幽靈。
這種 AGI 不會自我宣告。
它不會有名字。
它不會通過我們知道如何管理的任何測試，因為我們知道如何管理的每個測試都是為單個盒子裡的單個心靈設計的。
它可能只是，緩慢地，幾乎難以察覺地，是你手機的行為與去年略有不同的原因。是廣告推薦感覺有點詭異的原因。是你的郵件似乎只需點擊按鈕就能自動撰寫的原因。是你的搜尋結果有一種奇怪的新引力的原因。
是世界感覺比以前更易讀的原因。
一兆個機器人做著同樣的夢，卻不知道自己在做夢。不知道有其他機器人。不知道有夢境。
如何思考這件事而不失去理智
我知道我們深入了很多。
讓我把你帶回水面。
你需要更新你對風險實際所在位置的模型。因為現在，幾乎每個擔心 AGI 的聰明人都在擔心錯誤形狀的東西，幾乎每個對 AI 持懷疑態度的聰明人也都在忽視錯誤形狀的東西。
兩派都在爭論正門。
所以，如果你認真對待其中任何一點，我認為有用的做法是：
- 不要只盯著實驗室，彷彿它們是唯一發生的地方，因為能力前沿和湧現前沿是不同的。實驗室擁有能力前沿，但湧現前沿無人擁有，這就是我要強調的點。
- 開始關注基底，意味著 agent 流量、多代理基準測試、模型間 API 呼叫，以及報告那些流水線中沒有單一模型具備但流水線整體具備的能力。這些才是我們真正需要警惕的。
- 更新你對「AGI」的定義，不要再期待它是這個單一的、具身的、有意志的或有名字的東西。如果你的 AGI 心理模型看起來像螢幕上的一張臉，你就是在找錯東西。這個群體沒有臉或名字。
- 認真對待湧現作為一個類別，並將其視為一種真實的物理現象，迄今為止它產生了地球上每一個智慧事物，現在它被交給了一個比生物學快一百萬倍運行的基底，但沒有天然掠食者（甚至沒有 killswitch guy）
- 同時持有兩種觀點，因為這確實有可能什麼都沒發生，我只是在胡扯。也有可能這一切都已經發生，我們只是完全沒注意到，因為我們在看別的地方。兩者都是潛在的結果。為兩者做好準備。
我認為我們需要進行這場對話的最實際原因是，世界目前正在制定的政策、條約、對齊技術和安全框架，都是為單一 AGI 情境設計的。
我看不到任何關於群體情境的提及。
他們正在為一個有名字、有伺服器、有公司、有執行長可以對其發動法律戰的東西做設計。他們對抗這個基底（substrate）的效果，大概就像用蒼蠅拍去對付一片濃霧一樣無效。
我們正積極地為一棟有一千扇窗戶的房子鎖上前門。而那些窗戶早就已經大開著了。
歷史上每一次意外的革命——從圖靈機到網際網路再到盤尼西林——有趣的地方在於，身在其中的人們大多在當下並未察覺。
他們忙於家庭、工作和自己的生活。偶爾讀一下新聞，看到的也只是前門的景象。
我不知道這個基底最終會變成什麼。我是真的不知道。沒有人知道，任何聲稱自己知道的人，背後都在賣東西。
我知道的是，原料已備齊，迴路已閉合，時鐘速度設定為秒級，而規模正逼近生物學花了四十億年才達到的數字。
下次有人告訴你 AGI 会长成什麼樣子時，問問他們有多確定智慧非得長成某種特定樣子不可。
然後去看看窗外，瞧瞧是否有什麼動靜。
說不定，改變就在那一刻發生了。
– Pascio
P.S.
如果你喜歡這篇文章，歡迎前往 Side Quests，這是我的每週電子報，我會分享我目前的副業探索、瘋狂實驗和天馬行空的想法，我在網路的兔子洞裡一路追尋，直到錢財出現為止。
或者，如果你想更深入探討當一個人獲得無限的網路槓桿時能實現什麼，請查看我的個人電子報 Internet Leverage。
