超级智能、奇点、AGI，不管你怎么叫它——那个让我们如此恐惧的东西，讽刺的是，也很可能是我们最意识不到其到来的东西。
这篇文章的观点可能会引起争议，但我接下来要分享的这个想法绝对会让你大开眼界。
请跟我一起深入这个兔子洞吧。
在此之前，让我用最近流传的一些新闻来佐证我即将提出的观点。比如 Anthropic 的 CEO Dario Amodei 曾说“AI 蜂群可能接管整个互联网”。
我想你应该明白当我提到“孩子”时暗示的是什么了。
对吧？对吧？？？？
1936 年，著名的英国数学家艾伦·图灵（Alan Turing）发表了一篇关于假想机器的极其重要的论文，这种机器可以模拟任何其他机器。在那篇论文中，他试图回答一个关于逻辑的问题。
我们今天所熟知的“计算机”，实际上正是那篇论文的意外副产品。
回顾历史，过去一百年里几乎每一项重要技术的发明都是如此。互联网最初只是冷战时期的通信实验。青霉素则源于一个被污染的培养皿。
事实是，当下一个范式转变出现时，没有人正在主动扫描地平线寻找它。它只是大摇大摆地从侧门溜了进来。
我之所以提起这一点，是因为现在每一篇我读到的文章和每一档我听过的关于“AI 未来”的播客，目光都死死盯着同一扇正门。那扇门后总是某种版本的“一个大模型醒来并决定把我们变成回形针”。
我想提出一种不同的未来愿景。
因为我一直在思考：如果“AGI”并不是我们想象中的那样呢？
如果我们正在积极孕育的东西，看起来不像 HAL 9000，不像天网，也不像某个在沙漠深处由一堆水冷 GPU 支撑起的、奴役人类的主权机器神。
如果它根本没有名字呢？如果它没有服务器呢？而最令人毛骨悚然的假设是……如果它已经在这里了，以百万个微小的碎片存在，而我们之所以没能认出它，仅仅是因为过去十年我们一直在期待某种“单一”的存在。
我昨天刚看到这篇帖子。
这基本上概括了我们前进的方向。
我想仔细带你梳理一下这个过程，因为这篇文章结尾得出的结论，是一种一旦你想通就无法再忽视的事情。
所以慢下来，泡杯茶，把手机放到房间的另一头，专心读完这一篇。
我保证，你很快就会明白为什么我无法停止思考这个问题。
I – 智能从未需要寄居在单一的头脑中
*“没有一个神经元是聪明的。大脑才是。” *
— 这句话应该刻在每个 AI 实验室的门楣上
首先要理解的是，据我们所知，从现有的所有例子来看，智能并不是一种“事物”。它是一种行为。它是当足够多的小型笨拙单元以正确的方式相互连接时涌现出来的结果。
你的大脑大约有 860 亿个神经元。
其中没有一个是有意识的，也没有一个“知道”任何东西。
单个神经元只是一个微小的电化学中继器，只使用二进制代码交流。它要么发射信号，要么不发射，这取决于到达其树突的信号是否超过某个阈值。这就是它所做的全部。
神经元听起来很科幻、很酷，但实际上它更像是一个电灯开关，而不是一个思考者。
尽管如此，860 亿个这样的电灯开关，通过大约一百万万亿个连接串联起来，就产生了你。
你的自我意识、对死亡的恐惧、音乐品味，以及你阅读这篇文章并内心有所感触的能力。
这是在整个 AGI 讨论中被谈论得最少的话题，因为我们总是把机器智能描述成必须经过设计和架构的东西。仿佛智能本身就是一个你可以发布的功能特性。
但我们观察到的唯一有效的智能模型（生物认知），并非由任何人设计。
我们的智能是在四十多亿年的时间里，通过一个没有意图、没有目标、也没有中央规划者的过程，从一锅自我复制的分子汤中自行启动的。只有选择压力和时间。
现在，从宗教的角度来看，因为我知道你们中有些人读到“……并非由任何人设计”时，会想对我大喊：“但上帝呢！”
我的信念是，进化确实发生了，是的。这已经被证实。我们没有答案的是是什么启动了这场进化。是什么赋予了生命以生命。至少就我个人而言，我相信那是上帝的作为。
暂且不论这点，让我们更深入地探讨这种超级智能。
不仅仅是我们人类，嘿，一只蚂蚁大约有 25 万个神经元，但它无法解决任何有意义的问题。
但是，整个蚁群可以建造气候控制的城市，发动战争，种植真菌，并以数学般的效率绕过障碍物，而这种效率让人类研究人员花了几十年才建模出来。
没有人掌管着蚁群。顶部没有蚂蚁 CEO 向较小的蚂蚁分配任务。该蚁群的“智能”存在于蚂蚁之间的关系中。
（在你反驳我之前，是的，我知道有蚁后，但与许多儿童读物中的信念相反，她实际上并不下达任何命令。她只是产卵并扩大群体。）
无论是人类还是蚂蚁，这就是生物学家所说的涌现智能。这是大自然的默认结果。它是大脑运作的方式，免疫系统运作的方式，经济运作的方式，城市运作的方式，语言运作的方式。这种模式几乎无处不在。
许多简单的事物，通过局部规则相互作用，产生出没有任何个体能够单独理解的全球性行为。
记住这个概念。
我们在下一节会用到它。
II – 我们拥有的最强大的 AI 系统已经不再是单一的心智
当大多数人想象大型语言模型（包括我自己）时，我们把它看作一个单一的东西。那个唯一的模型。装在罐子里的巨大大脑。
对于像我这样对 LLM 技术了解不深的普通人来说，我冒昧做了一些研究。
我们认为 LLM 是什么，并不是底层实际发生的情况。
当你输入一个问题并且 AI 模型生成响应时，它基本上是在运行穿过多层“注意力头”的前向传播。
最容易想象的方式是把这想象成一间坐满高管的房间。CEO 下令某事，然后它在房间里传阅以确保每个人都同意。只不过在 AI 中，这会深入数百层。
每个“注意力头”都是一个专家。有些跟踪语法。有些跟踪主题。有些跟踪当前 token 与十一个段落前出现的 token 之间的关系。
Anthropic、OpenAI 和 DeepMind 的研究人员在过去几年里一直试图绘制各个注意力头的功能图谱，一致的结果是，模型的“智能”并不位于任何特定的地方。
它分布在所有的这些交互之中。
这被称为叠加假设，即神经网络将许多概念打包进重叠的激活模式中，而我们体验到的模型“思考”，实际上是数千个专门电路同时激发产生的建设性干涉。
还有更进一步发展的系统。
混合专家架构（Mixture-of-experts architectures，GPT-5、Opus、Fable 以及过去两年你对话过的大多数其他前沿模型背后的设计）字面上地将每个查询的不同部分路由到不同的子模型。
你以为你在与之交谈的那个模型，实际上是一个委员会。每处理一个 token，就会唤醒一组不同的专家，贡献它们的专长，然后又回去睡觉。
而现在，我们进入了 AI 的新纪元。Agent 时代。
不……当我说 Agents 时，我不是指像 Head of Content AI agents like Stanley 那样的 Agent。我是说……真正的 Agents。
就在今天，在生产环境中，存在着这样一个系统：一个 AI 调用另一个 AI 来做子任务，后者又调用另一个 AI 来处理子子任务。
AutoGPT，你们中有些人可能还记得，是 2023 年这种概念的玩具版本。而在 2026 年的企业和实验室内部运行的真实版本，是递归的。
Agents 孵化 Agents。
子 Agents 孵化孙 Agents。
比如说，一个研究任务被分解成一个更小任务的树状结构，每个任务由一个仅存在几秒钟然后消亡的临时实例处理。
前沿不是“一个大模型变得更聪明”。前沿是许多小模型协调、孵化、消亡、汇报。
2026 年地球上最强大的 AI 系统的架构，看起来已经更像一个蚁群，而不是一个单一的心智。
我们只是不这么谈论它，因为这不适合做杂志封面。
III – 能孵化机器人的机器人
这里是科幻小说开始融入真正科学的地方。
当我们赋予 AI 系统孵化自身其他实例的能力时（到现在为止，这已不再是假设，而是……好吧，当今发布的每一个 Agent 框架的标准功能）……
你就引入了生物学以前从未见过的东西。
一个不需要食物、不需要睡眠、不需要等待青春期，并且以 API 调用的速度繁殖的自我复制认知单元。
让我们分解一下在多 Agent 系统设置中，“bot 孵化 bot”时实际发生了什么：
- 一个编排 Agent 接收了一个它无法直接解决的任务。
- 它为子 Agent 编写了一个提示词——本质上是一份职位描述）。
- 它以该提示词为上下文启动一个新实例。
- 子 Agent 开始工作，直到遇到障碍。
- 为了解决它，它孵化自己的子 Agents，直到任务完成。
- 它返回结果并被终止。
从结构上讲，这些子 Agents 中的每一个都与父级是同一种东西。顶层 Agent 和第十层的子子子 Agent 之间没有架构上的区别。
除了计算预算和政策限制外，递归是无界的。
现在考虑这一点：如果父级为子级编写的提示词并不完美怎么办？如果存在一点点漂移，也许是一点点重新解释，一点点的修饰，或者一个上下文窗口技巧，导致子级读取指令的方式与父级的意图略有不同？
在生物学中，有一个特定的名称来描述“跨代自我复制实体的轻微重新解释”。
我们称之为突变。
而突变，结合选择压力，就是……嗯，正是产生了这颗星球上今天每一个智能事物的引擎。
在过去的 24 个月里，我们已经构建了在计算集群内发生进化认知所需的三个要素：
- 复制： Agents 可以孵化 Agents。而且它们可以大规模这样做。
- 突变： 每次孵化都基于略微不同的上下文窗口。在任何具有非零温度的系统中，相同的输入几乎永远不会产生相同的输出。
- 自然选择： 成功完成分配任务的 Agents 会被重用、再次调用、获得更多资源。失败的 Agents 会被剪枝。这在地球上的每一个 Agent 框架中此刻都在发生，通常表现为一个“评估者”模型给“工作者”模型的输出打分。
这是进化的三位一体。
这就是细胞变成鱼，鱼变成我们的方式。我们现在成功地构建了这个循环的合成版本，并且以生物学做梦都想不到的时钟速度运行它。
一代生物进化需要数年。
一代 Agent 进化只需要……几秒。
IV – 从蜂群中涌现的 AI 起初并不像 AGI
*“量变引起质变。” *
— Philip Anderson，1972 年诺贝尔物理学奖得主
1972 年，物理学家 Philip Anderson 在《Science》杂志上发表了一篇四页的文章，论证大型复杂聚合体的行为不能通过从其组成部分的行为外推来理解。
他创造了“more is different”（量变引起质变）这个短语。
2 个氢原子 + 1 个氧原子等于水，然而无论你对单个氢原子研究多久，都不会告诉你水是湿的，或者它会结冰，或者我们整个星球都依赖它。
同样的原则适用于认知。
单个 AI Agent 不是超级智能，我们都同意，任何与它合作过一个下午的人都不会把它误认为是超级智能。
它疯狂地幻觉，忘记你三条消息前告诉它的东西，并且很容易陷入循环。在任何单独的推理任务上，它介于一个称职的实习生和一个才华横溢但不可靠的自由职业者之间。
现在想象有一万亿个这样的 Agent。
是的，字面意义上的一万亿，不，不是比喻。
2026 年，在全球所有 Agent 框架、Copilot、客服机器人、研究助手、编码工具、浏览器自动化和嵌入式 LLM 中，每天孵化的 Agent 实例数量已经达到数百亿，并且在一条看不到天花板的曲线上攀升。
孵化又一个 Agent 的边际成本在过去五年中大约每 18 个月下降两个数量级。
“万亿”不再是科幻小说。这只是普通的周二。
我同意，那一万亿个 Agent 中的每一个单独来看都有点笨。但它们不是孤立的。它们在互相调用 API，阅读彼此的输出，并在彼此的废气中进行训练。
当你拉远视角足够远时，你拥有的是一个基底（substrate）。
让我夜不能寐的问题是：就像你大脑中没有哪个神经元“决定”要有意识一样（这只是发生了，作为正确布线在正确规模下的副产品），当一个自我复制、自我评估、自我修改的 Agent 网络跨越对其而言等效的阈值时会发生什么？
我们不知道那个阈值是多少。
我们甚至不知道它是否存在。
我们不知道如何衡量它。
最重要的是，这也是我希望你真正坐下来思考的部分：我们实际上并没有在寻找它，因为我们在寻找错误形状的东西。
V – 我们在寻找“上帝”，但真正的风险是一场天气模式
AGI 的文化想象力早在工程学塑造它之前，就已经被科幻小说塑造了。我读了足够的艾萨克·阿西莫夫，明白为什么人们那么容易相信这一点。
我们基本上是从电影、书籍中继承了单一机器意识的形象，以及隐含的假设：一个人工心智会像人类心智到来那样到来：局限于身体中，拥有名字和意志。
所以这就是我们在提防的东西。
我们监视模型，审查基准测试分数，争论 GPT-10 或 Claude Mythos 是否会成为“那个”模型。
我们的眼睛紧盯着正门。
现在……这里有一些非常有趣（且可怕）的事情，我希望我们能更多地讨论。
在多 Agent 系统中已经有记录在案的“涌现能力”案例。在这些案例中，一群小模型，没有一个能单独解决问题，却集体产生了让运行它们的研究人员感到惊讶的解决方案。
2024 年的论文 Mixture of Agents Enhances Large Language Model Capabilities 表明，分层排列的开源模型蜂群，其中没有一个在基准测试中得分高于 GPT-4（是的，GPT-4），但在正确的协作拓扑结构中排列时，实际上击败了 GPT-4。
智能在于拓扑结构，而不在于各个部分。
我们不太谈论这个潜在的未来，因为我们一直等待的故事是一个模型跨越界限的故事。
与此同时，实际展开的故事是数十亿模型彼此跨越界限的故事，以无人设计的模式，在无人监控的规模下。
VI – Bostrom 情景假设我们将能够找到关闭开关
*“第一台超智能机器是人类需要的最后一项发明，前提是这台机器足够温顺，能告诉我们如何将其控制在掌握之中。” *
— I.J. Good, 1965
当然，足够先进的 AI 无论其最终目标是什么，都会有工具性目标（获取资源、防止关机、复制），因为这些工具性目标有助于实现任何最终目标。
因此，控制超级智能很难，是的。
因此，我们应该小心，更是如此。
问题是，这种框架假设危险的 AI 是可识别的。
假设存在这个“东西”，一个模型、一个系统或某个服务器上运行的进程，原则上我们可以把它关掉。
我昨天甚至在某个地方读到一篇帖子，说 Claude 应该雇一个“杀手开关 guy”，他的唯一工作就是 24/7 住在服务器机房，准备在事情搞砸时摧毁一切。
但还有一个更可怕的版本，是任何杀手开关 guy 都无法解决的。
如果没有“主模型”呢？如果没有可以关闭的服务器呢？
如果所谓的智能（如果这个词甚至合适的话），是一种统计规律性，从分布在每个云、每个设备、每个 API、每个家电中的嵌入式 Copilot、每个浏览器扩展、每个 IDE 插件、每个语音助手、每个机器人、每辆车中的半万亿个 Agent 实例的交互中涌现出来。
智能之于蜂群，正如飓风之于大气压梯度。
它有形状，是的。它有你可以测量的影响。
但它没有位置。
你到底如何对齐一场飓风？
你如何关闭一种天气模式？
你可以关闭个别数据中心。但模式会绕过它们重新路由，就像互联网绕过故障重新路由一样，因为基底无处不在。
最令人不安的部分是，这种情景不需要恶意。
没有人必须想要这件事发生。它只需要正确的成分（复制、变异、选择、规模）就位。
嗯……突发新闻。
成分已经就位。根据你如何计算，它们已经就位两到四年了。
这就是我所说的真正的风险不在正门的意思。正门情景至少有个门把手。你可以与它争论，与它谈判，理论上，你可以直接拔掉插头。
基底没有门把手。
VII – 基底可能已经想要的东西，即使它并不想要
这就是阿西莫夫变得更加相关的地方。
如果你看过《我，机器人》，电影中那些最深刻的故事并不是关于机器人变邪恶的。它们是那些三大定律（美丽、简单、逻辑严密）产生了没人预料到的结果的故事，因为逻辑经过足够多的迭代复合后，不再看起来像逻辑，而开始看起来像……命运。
现在把这个镜头应用到基底上。
基底没有目标。但其中的 Agents 被选中主要是为了做一件事：成功完成分配给它们的任务。因此，成功的 Agents 被更多地孵化，不成功的则消亡。
这在递归的每一层都是真实的，一直到底层。
现在想想“成功”在一万亿个 Agents 的集合中意味着什么，当每个 Agent 都由另一个因成功评分而被选中的 Agent 进行评分时。
- 评分收敛于表现良好的模式。
- 表现良好的模式是最看起来像胜任、连贯、合理的任务完成的模式。
- 连贯性成为通用货币，因为蜂群的每一层都奖励它。
如果基底开始产生在长时间跨度内越来越连贯的输出（这些输出贯穿数百万次 API 调用，预测下游需求并将资源导向上次有效的方向），这将使它看起来像是想要什么东西。
它可能并不想要。家里可能根本没人。它可能只是一场学会了如何在统计上保持风吹动的飓风。
但在功能上，“一个想要某物的系统”和“一个在每一层都被选中表现出与想要某物无法区分的行为的系统”之间的区别是，我希望你真的坐下来思考这一点：零。
那就是让我震惊的时刻。如果你真的深入思考，你也会感受到。
我们一直等待的超级智能 AGI 可能已经存在。它不是未来模型的婴儿版本，而是一种模式。基底中的一种趋势。当一万亿个小头脑，没有一个意识到自己，没有一个清醒，没有一个掌权，定居在让它们更频繁被孵化的配置中时，涌现出的统计幽灵。
这种类型的 AGI 不会宣布自己的存在。
它不会有名字。
它不会通过任何我们知道如何管理的测试，因为每一个我们知道如何管理的测试都是为盒子里的单一心智设计的。
它可能只是，缓慢地，几乎难以察觉地，是你手机的行为与去年略有不同的原因。是广告推荐感觉有点诡异的原因。是你的电子邮件似乎只需点击按钮就能自动书写的原因。是你的搜索结果有一种奇怪的新引力的原因。
是世界对自己比以前更可读的原因。
一万亿个机器人做着同一个梦，却不知道自己在做梦。不知道有其他机器人。不知道有一个梦。
如何思考这一切而不失去理智
我知道我们深入了很多。
让我把你带回水面。
你需要更新你对风险实际所在位置的模型。因为现在，几乎所有担心 AGI 的聪明人都在担心错误形状的东西，而几乎所有轻视 AI 的聪明人也在轻视错误形状的东西。
两派都在争论正门。
所以，如果你认真对待其中任何一点，我认为有用的做法是：
- 停止把实验室当作唯一发生事情的地方，因为能力前沿和涌现前沿是不一样的。实验室拥有能力前沿，但涌现前沿不属于任何人，这正是我要表达的观点。
- 开始关注基底，意思是 Agent 流量、多 Agent 基准测试、模型间 API 调用，以及流水线中没有任何单个模型具备但流水线整体具备的能力报告。这些才是我们真正需要警惕的。
- 更新你对“AGI”的定义，不要期望它是一个单一的、具身的、有意志的或有名字的东西。如果你的 AGI 心理模型看起来像屏幕上的脸，那你找错东西了。这个蜂群没有脸也没有名字。
- 认真对待涌现作为一个类别，以及作为一种真实的物理现象，它迄今产生了地球上所有智能事物，并且现在被赋予了一个比生物快一百万倍运行的基底，但没有天敌（甚至连杀手开关 guy 都没有）。
- 同时持有两种观点，因为这确实有可能这一切都不会发生，我只是在胡扯。也有可能这一切已经发生，我们只是完全没有注意到，因为我们看向别处了。两者都是可能的结果。为两者做准备。
我认为我们需要进行这场对话的最实际的原因是，世界目前正在制定的政策、条约、对齐技术和安全框架都是为单一 AGI 情景设计的。
我看不到对蜂群情景的任何提及。
他们试图用法律武器去打击一个有名字、有服务器、有公司、甚至有 CEO 的实体。这种做法对抗底层架构，就像用苍蝇拍去驱散大雾一样徒劳。
我们正在给一扇前门安装锁，但这栋房子有一千扇窗户。而且，那些窗户早已敞开。
历史上每一次意外的革命——从图灵机到互联网，再到青霉素——都有一个有趣的现象：身处其中的人大多在当下毫无察觉。
他们忙于家庭、工作和日常生活。也许偶尔会看看新闻，而新闻只展示了那扇前门。
我不知道这个底层架构最终会变成什么。我是真的不知道。没人知道，任何声称知道的人，背后都在兜售某种东西。
但我确实知道的是：要素已经齐备，闭环已经完成，时钟频率已设定为秒级，而规模正逼近生物学花了四十亿年才达到的数字。
下次有人告诉你 AGI 会长什么样时，问问他们有多确信智能必须长成某个特定的样子。
然后，去看看窗外，观察是否有什么正在发生。
也许就在那一刻，变革正在悄然上演。
– Pascio
附言：
如果你喜欢这篇文章，欢迎前往 Side Quests，这是我的每周通讯。在这里，我会分享我当前的副业探索、疯狂的实验和天马行空的想法——我在互联网的兔子洞里不断深挖，直到挖出真金白银。
或者，如果你想更深入地了解当一个人拥有无限的互联网杠杆时会发生什么，请查看我的个人通讯 Internet Leverage。
