為何 GPT-6 與擴展型 LLM 並非真正的 AGI

為什麼規模化的大型語言模型（如 GPT-6）並非 AGI：

規模化的幻象與通用智慧的現實

科技界的主流論述認為，通用人工智慧（AGI）主要是一個規模化的工程挑戰：更多的算力、更大的資料集、更長的上下文視窗，以及大規模的強化學習集群。像 OpenAI 執行長 Sam Altman 和 NVIDIA 執行長 Jensen Huang 等知名人物，一再將當前的前沿發展軌跡——直到假設性的「GPT-6」——描繪成人類即將觸及人類級別自主能力的門檻。然而，將規模化的自迴歸 Transformer 視為 AGI，混淆了高維度統計檢索與真正的通用智慧。從架構、數學和經濟層面的批判，揭示了為何下一個詞元預測器會面臨結構性的規模限制、為何現行的基準測試存在缺陷，以及真正的通用智慧究竟需要什麼。

定義 AGI：可操作的基準

為了評估為何規模化的自迴歸無法產生 AGI，我們必須先建立一個嚴謹、非行銷話術的基準。在其基礎論文《論智慧的衡量》中，AI 研究員 François Chollet 將智慧形式化定義為樣本高效的學習能力，而非靜態技能的百科全書：

通用人工智慧（AGI） 是一個自主系統，能夠在面對不確定性時，獲取、綜合並應用新能力來解決從未遇過的問題——在樣本學習效率、持續適應、因果推理和目標制定方面，達到或超越人類水準，且無需人工干預或特定任務的預先訓練。

AGI 不是將所有人類知識壓縮進一個權重矩陣；它是元學習引擎，能夠在現有知識失效時，產生全新的世界模型。

自迴歸 Transformer 的架構瓶頸

即使未來的前沿模型在多模態輸入上以 $10^{27}$ FLOPs 進行訓練，它仍然受限於 Transformer 架構的基本機制：

text

1[ 輸入詞元 ] ──> [ 靜態矩陣乘法（凍結權重）] ──> [ 下一個詞元機率分佈 ]
2                      │
3                      └── (無運行時可塑性 / 無動態世界模型)

A. 缺乏自主與持續學習

靜態權重： 標準 LLM 經歷獨立的訓練和推理階段。一旦反向傳播結束，模型權重就會被凍結。當 LLM 與世界互動時，它無法即時修改自身的內部參數。
災難性遺忘： 神經網路會遭受災難性遺忘——更新新任務的權重會降低先前習得的能力。
上下文視窗 ≠ 記憶： 擴展上下文視窗（或使用 RAG）提供了暫時的暫存空間，而非整合的情節記憶或語義記憶。一個無法在運行時獨立修剪錯誤信念並吸收新公理的系統，只是一個資訊檢索引擎，而非動態學習者。

B. 統計相關性 vs. 因果推理

下一個詞元視野： Transformer 最佳化的是 $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$。正如圖靈獎得主 Judea Pearl 在《因果推理的七種工具》中所概述的，關聯模型佔據了因果階層的最底層（關聯 /「看見」）。
干預瓶頸： 真正的通用智慧需要在干預（「如果我們做 X 會怎樣？」）和反事實（「如果我們當初採取不同行動會怎樣？」）的層級進行推理。LLM 透過詞元模式來近似這些機制，但若缺乏明確的因果引擎，當被迫在其訓練分佈之外進行推理時，它們仍然很脆弱。

批判性分析：領導者敘事 vs. 架構現實

關於 AGI 時間表的公開聲明，需要與這些公司背後的結構性誘因一同進行客觀分析。

Jensen Huang (NVIDIA)：硬體擴張的誘因

框架： Huang 多次表示 AGI 將在五年內到來，具體將其定義為 AI 能夠在法律、醫療和技術領域的人類專業測試中取得頂尖百分位數的成績。
觀點： 主要透過標準化考試表現來定義 AGI，評估的是靜態知識檢索和模式匹配——這些是自迴歸模型因網路規模的記憶化而擅長的任務。從架構角度來看，通過律師資格考試或醫學委員會考試，並不代表具備分佈外推理或自主適應能力。將考試成功視為 AGI，會鼓勵在企業 GPU 集群上持續進行資本支出，這與硬體銷售目標直接一致。

Sam Altman (OpenAI)：資本與估值誘因

框架： Altman 經常提及一個激進的 AGI 時間表，預測從代理系統快速過渡到完整的認知自主，以證明大規模基礎設施投資的合理性，例如數兆美元的晶片和資料中心計畫。
誘因問題：誤導性的產業言論

理解科技高層的公開聲明，需要分析其結構性誘因：

text

1┌───────────────────────────────┐        ┌───────────────────────────────┐
2│     Jensen Huang (NVIDIA)     │        │       Sam Altman (OpenAI)      │
3├───────────────────────────────┤        ├───────────────────────────────┤
4│ 誘因：銷售 H100/B200          │        │ 誘因：數十億美元的融資輪      │
5│ 策略：將 AGI 重新定義為       │        │ 與星門計畫                     │
6│      在五年內通過標準化考試   │        │ 策略：在「即將到來的神級 AGI」│
7│                              │        │      和「只是一個有用的工具」  │
8│                              │        │      之間搖擺不定。            │
9└───────────────────────────────┘        └───────────────────────────────┘

觀點： OpenAI 的營運重點依賴於獲取大量資本儲備來資助運算運行。推廣即將到來的 AGI 敘事，有助於維持高風險估值並獲得戰略性的主權支持。然而，不斷變化的定義——在新版本發布時將其吹捧為技術飛躍，又在監管討論中淡化 AGI 的說法——凸顯了市場訊息傳遞與技術能力之間的緊張關係。推理時計算擴展等技術，改善了在結構化問題空間中的搜尋，但它們並未解決權重凍結、即時適應或真正的認知自主性問題。

基準測試的謬誤：為何當前指標會誤導

人們認為前沿模型正在接近 AGI 的看法，主要源於基準測試的飽和。目前的評估方法存在三個核心結構性缺陷：

資料污染與基準測試飽和： 像 MMLU 和 GSM8K 這類流行的評估套件，經常洩漏到網路規模的預訓練資料集中。高分通常反映的是高維度的模式回憶，而非分佈外的推理。
AI 最佳化中的古德哈特定律： 正如評估前沿 AI 模型的研究所示，「當一個指標成為目標時，它就不再是一個好指標。」 訓練後技術（RLHF、DPO、合成資料生成）會積極地最佳化模型，使其能夠通過標準的公開評估。
抽象與推理語料庫 (ARC-AGI)： 在專門設計用來抵抗記憶化的新穎視覺抽象邏輯謎題上評估模型——例如 ARC-AGI 基準測試——顯示，雖然規模化搜尋和測試時計算可以推高分數，但暴力統計搜尋在解決相同的抽象問題時，所需的計算量比人類樣本效率高出好幾個數量級。

真正 AGI 所需的架構要求

縮小統計模式匹配與真正 AGI 之間的差距，需要從純粹的自迴歸進行根本性的架構轉變：

核心要求	Transformer 模型的限制	真正 AGI 的架構要求
持續突觸可塑性	推理時權重凍結；更新時災難性遺忘。	運行時持續、即時的參數和記憶適應。
因果世界模型	一維詞元層級的關聯機率映射。	基於操作邏輯和動態狀態追蹤的多維因果引擎。
樣本效率	需要數兆個詞元 / 網路規模資料才能掌握狹隘任務。	能從個位數的示範中抽象出複雜規則（元學習）。
認知自我校準	自信的幻覺；無法獨立驗證內部知識邊界。	內在的自我驗證，並明確追蹤確定性與無知。
持久知識圖譜整合	短暫的上下文視窗和外部向量搜尋（RAG）。	持續提煉、驗證、記住並修剪狀態事實的統一知識圖譜。

結論

真正 AGI 實際上需要什麼

縮小高維度統計模式匹配與真正 AGI 之間的差距，需要根本性的架構轉變：

核心要求	Transformer 模型（GPT-4/6）的限制	真正 AGI 的架構要求
持續突觸可塑性	模型權重凍結；梯度更新時災難性遺忘。	運行時持續、即時的參數和記憶適應。
因果世界模型	1D 詞元層級關聯機率映射。	基於操作機制和邏輯的多維因果引擎。
樣本效率	需要數兆個詞元 / 網路規模資料才能學習基本任務。	從個位數示範中抽象出複雜公理（元學習）。
認知自我校準	自信的幻覺；無法獨立驗證真理邊界。	內在的自我驗證，並明確追蹤確定性/無知。
持久知識圖譜整合	短暫的上下文視窗和外部向量搜尋（RAG）。	持續提煉、驗證、記住並修剪狀態事實的統一知識圖譜。