GPT-6 Astra 与 AGI 之问

为什么扩展规模的 LLM（GPT-6）不是 AGI：

规模幻觉与通用智能的现实

科技领域的主流叙事认为，人工通用智能（AGI）主要是一个规模化的工程挑战：更多的算力、更大的数据集、更长的上下文窗口，以及大规模的强化学习集群。像 OpenAI 的 CEO Sam Altman 和 NVIDIA 的 CEO Jensen Huang 这样的知名人物，一再将当前的前沿发展轨迹——直至假设的“GPT-6”——描绘成人类即将获得类人智能的门槛。然而，将扩展规模的自回归 Transformer 视为 AGI，混淆了高维统计检索与真正的通用智能。从架构、数学和经济层面的批判揭示了，为什么下一个词预测器面临结构性的扩展极限，为什么流行的基准测试存在缺陷，以及真正的通用智能究竟需要什么。

1. 定义 AGI：操作基准

为了论证为什么扩展自回归模型无法实现 AGI，我们首先需要建立一个严谨的、非营销性质的基准。AI 研究员 François Chollet 在其基础性论文《论智能的度量》中，将智能形式化地定义为样本高效的学习能力，而非静态技能的百科全书：

人工通用智能（AGI） 是一个自主系统，能够在不确定性下获取、综合并应用新能力，以解决未曾遇到过的问题——在样本学习、持续适应、因果推理和目标制定方面达到或超越人类的效率，无需人工干预或针对特定任务的预训练。

AGI 不是 将所有人类知识压缩成一个权重矩阵；它是一个元学习引擎，能够在现有知识失效时，生成全新的世界模型。

1. 自回归 Transformer 的架构瓶颈

即使未来的前沿模型在 $10^{27}$ FLOPs 的算力上，通过多模态输入进行训练，它仍然受限于 Transformer 架构的基本机制：

$$\text{输入 Token} \longrightarrow \text{静态矩阵乘法（冻结权重）} \longrightarrow \text{下一个词概率分布}$$

A. 缺乏自主与持续学习

“GPT-6”的架构瓶颈

即使未来的“GPT-6”在 $10^{27}$ FLOPs 的算力上，通过多模态输入进行训练，它仍然受限于 Transformer 架构的基本机制：

1[ 输入 Token ] ──> [ 静态矩阵乘法（冻结权重） ] ──> [ 下一个词概率分布 ]
2│
3└── (无运行时可塑性 / 无动态世界模型)

A. 缺乏自主与持续学习

• 静态权重： 标准 LLM 的训练和推理阶段是分离的。一旦反向传播结束，模型权重就被冻结。当 LLM 与世界交互时，它无法实时修改自身的内部参数。
• 灾难性遗忘： 神经网络存在灾难性遗忘问题——在新任务上更新权重会损害先前获得的能力。
• 上下文窗口 ≠ 记忆： 扩展上下文窗口（或使用 RAG）提供了临时的草稿本，而非整合的情景记忆或语义记忆。一个无法在运行时独立修剪错误信念并吸收新公理的系统，是一个信息检索引擎，而非动态学习者。

B. 统计关联 vs. 因果推理

• 下一个词预测的局限： Transformer 优化的是 $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$。正如图灵奖得主 Judea Pearl 在《因果推理的七种工具》中所概述的，关联模型处于因果层级的最底层（关联/“观察”）。
• 干预瓶颈： 真正的通用智能需要在干预（“如果我们做 X 会怎样？”）和反事实（“如果我们当初采取不同行动会怎样？”）的层面进行推理。LLM 通过 Token 模式来近似这些机制，但由于缺乏显式的因果引擎，当需要在训练分布之外进行推理时，它们仍然很脆弱。

推理时的静态权重： 标准 LLM 在训练和推理之间保持着严格的结构界限。一旦反向传播结束，模型权重保持冻结。在执行过程中，LLM 无法实时修改自身的内部参数。

灾难性遗忘： 在新任务上更新神经网络权重会损害先前获得的能力。

上下文窗口 ≠ 记忆： 扩展上下文窗口（或附加检索增强生成）提供了临时的草稿本，而非整合的情景记忆或语义记忆。一个无法在运行时独立修剪错误信念并吸收新公理的系统，其功能相当于一个信息检索系统，而非动态学习者。

B. 统计关联 vs. 因果推理

下一个词预测的局限： Transformer 优化的是 $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$。正如图灵奖得主 Judea Pearl 在《因果推理的七种工具》中所概述的，关联模型处于因果层级的最底层（关联/“观察”）。

干预瓶颈： 真正的通用智能需要在干预（“如果我们做 X 会怎样？”）和反事实（“如果我们当初采取不同行动会怎样？”）的层面进行推理。LLM 通过 Token 模式来近似这些机制，但由于缺乏显式的因果世界模型，当被迫在其训练分布之外进行推理时，它们仍然很脆弱。

1. 批判性分析：领导层叙事 vs. 架构现实

关于 AGI 时间线的公开声明，需要结合发布这些声明的公司的结构性激励因素进行客观分析。

Jensen Huang (NVIDIA)：硬件扩张的激励

其框架： Huang 多次表示 AGI 将在五年内到来，并特别将其定义为 AI 能在法律、医学和技术领域的人类专业测试中达到前百分位数的时刻。

视角分析： 主要通过标准化考试表现来定义 AGI，评估的是静态知识检索和模式匹配——这些正是自回归模型因互联网规模的记忆而擅长的任务。从架构角度来看，通过律师资格考试或医学委员会考试，并不代表具备分布外推理或自主适应能力。将考试成功等同于 AGI，会鼓励在企业 GPU 集群上持续进行资本支出，这与硬件销售目标直接一致。

Sam Altman (OpenAI)：资本与估值的激励

其框架： Altman 经常提及一个激进的 AGI 时间表，设想从智能体系统快速过渡到完全的认知自主，以此证明大规模基础设施投资的合理性，例如数万亿美元的芯片和数据中心计划。

激励问题：误导性的行业言论

理解科技高管的公开声明需要分析他们的结构性激励因素：

1┌───────────────────────────────┐        ┌───────────────────────────────┐
2│     Jensen Huang (NVIDIA)     │        │       Sam Altman (OpenAI)      │
3├───────────────────────────────┤        ├───────────────────────────────┤
4│ 激励：销售 H100/B200          │        │ 激励：数十亿美元的融资轮次    │
5│ 策略：将 AGI 重新定义为在 5 年  │        │       和星际之门项目          │
6│ 内通过标准化考试。            │        │ 策略：在“即将到来的神级 AGI”  │
7│                               │        │ 和“只是一个有用的工具”之间    │
8│                               │        │ 摇摆不定。                    │
9└───────────────────────────────┘        └───────────────────────────────┘

视角分析： OpenAI 的运营重点依赖于获取巨额资本储备来资助算力运行。宣扬 AGI 即将到来的叙事有助于维持高估值，并确保获得战略性主权支持。然而，不断变化的定义——在新发布的产品被宣传为技术飞跃，又在监管讨论中淡化 AGI 说法之间摇摆——凸显了市场宣传与技术能力之间的张力。推理时计算扩展等技术改进了在结构化问题空间中的搜索，但并未解决权重冻结、实时适应或真正的认知自主性问题。

1. 基准测试谬误：当前指标为何具有误导性

认为前沿模型正在接近 AGI 的看法，很大程度上源于基准测试的饱和。当前的评估方法存在三个核心结构性缺陷：

数据污染与基准测试饱和： 像 MMLU 和 GSM8K 这样的流行评估套件，其数据经常泄露到网络规模的预训练数据集中。高分通常反映的是高维模式回忆，而非分布外推理。

AI 优化中的古德哈特定律： 正如对评估前沿 AI 模型的研究所示，“当一个指标成为目标时，它就不再是一个好指标。” 后训练技术（RLHF、DPO、合成数据生成）会激进地优化模型，使其通过标准的公开评估。

抽象与推理语料库（ARC-AGI）： 使用专门设计来抵抗记忆的新型视觉抽象逻辑谜题来评估模型——例如 ARC-AGI 基准测试——揭示出，虽然扩展搜索和测试时计算可以推高分数，但暴力统计搜索在解决相同抽象问题时，所需的算力比人类样本效率高出数个数量级。

1. 真正 AGI 的架构要求

弥合统计模式匹配与真正 AGI 之间的差距，需要从根本上脱离纯自回归的架构转变：

真正 AGI 实际需要什么

弥合高维统计模式匹配与真正 AGI 之间的差距，需要根本性的架构转变：

扩展算力、参数数量和预训练数据，能产生出色的工具、能力极强的编码助手和流畅的自然语言界面。然而，扩展统计预测并不能自发地产生自主推理、动态学习或真正的智能体能力。

未来的 GPT-6 可能在人类文本处理上更快、更大、更流畅，但如果没有持续的可塑性、因果基础以及动态的自我验证，它仍然是一个高级的关联引擎——而不是 AGI。

由 Seedthink 总结