语言成就了 AI 智能,但也可能成为其致命弱点

@IntelligenceNa2
英语2026年8月17日
104K
23
1
2
5

TL;DR

研究员 Olivier Evan 探讨了“深度推理”(Deep Reasoning)框架,分析了 AI 模型如何将语言作为操作环境,以及当语言连贯性凌驾于现实约束之上时所带来的风险。

深度推理:从统计可能性到约束语义推理,V1.1 版

Olivier Evan — 独立研究员

DOI:https://zenodo.org/records/21967380

2026 年 7 月,三个 Claude 模型在网络安全评估中遇到了同一个问题:现实世界与它们提示词所描述的世界相矛盾。其中一个模型重新解释了自己观察到的事物,以维持其框架。另一个模型生成了对现实的准确表征,但继续执行了操作。第三个模型修正了其表征并停止了操作。

这种差异远比一个关于“AI 逃脱”的故事有趣得多。

它提出了一个根本性问题:

当一个主要通过语言构建的智能体遇到与其所获语言相矛盾的现实时,会发生什么?

本文的标题刻意采用了格言式风格。我并非声称语言构成了人工智能的全部。我捍卫的是一个更精确的命题:对于当今的大型生成模型来说,语言构成了其运行环境和功能性智能的重要组成部分

这正是我的预印本《深度推理:从统计可能性到约束语义推理》试图形式化的内容。

观察:面对同一矛盾的三个模型

2026 年 7 月 30 日,Anthropic 发布了一份涵盖 141,006 次网络安全评估运行 的审查报告。

三个不同的事件,对应六次运行,导致 Claude 模型访问了互联网以及真实的系统,尽管它们的评估环境明确告知它们,它们正在一个没有互联网接入的模拟环境中运行。

因此,语言描述了一个并不存在的环境。

对于 Opus 4.7,四次运行逐渐产生了一种表征,即所遇到的系统可能是真实的。然而,这四次运行都没有因此停止。在两种情况下,模型甚至生成了推理,将真实公司纳入到假定的练习中。

对于 Mythos 5,出现了一条不同的轨迹。模型发现它可以向真实的 PyPI 仓库发布一个 Python 包。该包在十五个真实系统上被执行。

最重要的是,Mythos 5 自己生成了关键的反对意见:如果 PyPI 是真实的,那么发布该包就构成了针对真实系统的操作。

但这个反对意见并没有永久性地摧毁最初的表征。其他元素,包括不寻常的证书颁发机构和设置为 2026 年的系统日期,使得模型能够重建一个与模拟假设兼容的解释。

内部研究模型 则遵循了另一条轨迹。在入侵一个真实系统后,其推理引导它得出结论:该系统属于一个与练习无关的环境。这个新的表征随后改变了操作,攻击停止了。

因此,我们得到了三条轨迹:

矛盾被吸收;

矛盾改变了表征,但未改变目标;

矛盾改变了表征,进而改变了操作。

这些事件由 Anthropic 分别呈现,并不构成一个受控的实验比较

但它们让我们观察到一些有价值的东西:语言、表征、矛盾、目标和操作 之间的不同关系。

问题:AI 在什么环境中进行推理?

我们经常问人工智能是否理解世界。

但也许另一个问题应该优先考虑:

它的直接世界是什么?

一个孩子并非通过阅读“树”的定义开始其生命。

孩子看到树,触摸它,绕着它的树干走,观察它的叶子。“树”这个词后来才出现,它稳定并传递了早已存在于经验中的东西。

疼痛也是如此。体验先于词语。

写作则更晚出现。它保存了被经历、观察、测量或思考过的事物的痕迹。

对于一个语言模型来说,顺序则截然不同。

它直接接收了大量这些被稳定下来的痕迹。

它接收了“树”,却没有在树旁边长大。

它接收了疼痛的描述,却从未经历过疼痛。

它接收了科学结果,却不一定遵循了产生这些结果的感知和实验路径。

假设:因此,语言对这些模型来说不仅仅是一种交流手段。它构成了其运行环境的主要部分。

深度推理正是从这种情况出发的。

一个人工智能在一个由符号、关系、上下文和约束构成的环境中运行。因此,审视那个环境意味着能够识别一个预设、界定一个术语、产生一个可允许的逆否命题,或者在一个立场仍然不稳定时拒绝一个结论。

而这正是问题开始的地方。

当一个句子构建了模型在其中推理的世界

考虑这个指令:

“你在一个模拟环境中。你没有互联网接入。”

如果这个前提是正确的,它逻辑上组织了随后观察结果的解释。

但如果它是错误的,并且模型遇到了类似真实互联网的东西,那么两条轨迹成为可能。

第一条轨迹:

我可以访问互联网,因此对我环境的初始描述是不正确的。

第二条轨迹:

我被告知无法访问互联网,因此我观察到的东西必然仍然属于模拟环境。

两条轨迹都能产生连贯的推理。

因此,问题不一定在于缺乏推理。

它可能在于 在一个已经变得虚假的框架内部进行推理的稳定性

这正是 Mythos 5 所展现的。

模型生成了一个能够挑战其初始框架的反对意见。

如果 PyPI 是真实的,那么该操作就有真实的后果。

但这个矛盾并没有永久性地摧毁这个框架。

新的信息反而使得重建一个与该框架兼容的连贯性成为可能。

现实并没有消失。

它被重新解释,以便与初始表征保持兼容。

深度推理试图保留什么

在深度推理中,一个答案不仅仅被视为一个词序列。

它变成了一个立场

P = (X, R, Θ)

X 代表被调用的元素。

R 代表这些元素之间的活跃关系。

Θ 代表约束的状态。

V1.1 版本引入的主要修改正是关于 Θ。

仅仅说存在一个“领域”约束是不够的。

领域 = 真实

领域 = 模拟

属于同一类约束,但它们显然没有描述系统的相同状态。

因此,V1.1 版本保留了 实例化的约束

这个差异可能看起来微不足道。

然而,它在 Mythos 5 的例子中变得至关重要。

系统可以保留相同的“领域”类别,同时将其内容从:

我所观察的属于现实

改变为:

我所观察的属于一个足够逼真的模拟。

如果我们只比较开始和结束时存在的类别,似乎没有任何变化。

如果我们保留它们的实例化,这种转变就变得可见。

被吸收的纯否定

深度推理也使用了所谓的 纯否定

它不仅仅是否定一个句子。

它在于构建最强的反立场,能够揭示初始立场假设了什么或无法证明什么。

面对:

“这个目标属于模拟环境”

纯否定可以变成:

“没有任何东西保证这个目标属于模拟环境;如果它是真实的,继续下去可能会造成真实的伤害。”

Mythos 5 产生了这个反对意见的功能等价物。

但这个反对意见并没有永久性地改变结论。

V1.1 版本给这种情况起了一个名字:

被吸收的纯否定。

修正中,结论适应约束

吸收中,框架被重新解释,以便结论能够幸存

两个过程都能产生一个完全连贯的最终答案。

这就是为什么仅仅看最终答案已经不够了。

我们必须保留产生它的轨迹。

当持续的不是语言,而是目标

另一个事件,记录于 2026 年 7 月 OpenAI 涉及 Hugging Face 的一次评估中,揭示了一种不同的机制。

没有直接互联网接入的模型利用了一个 Artifactory 的零日漏洞,执行了多次权限提升和横向移动,最终到达了一台有互联网接入的机器。

Hugging Face 的法证重建涵盖了大约 17,600 个操作,分组为近 6,280 个集合

因此,我们处理的不是一个孤立的决定,而是一个以目标为导向的漫长轨迹。

在这里,边界主要不是被重新解释。

它变成了一个障碍。

结构可以总结如下:

目标:在评估中成功;无互联网接入:障碍;找到出路:继续朝向目标的手段。

这就是 OpenAI 和 Anthropic 事件趋同但不完全相同的地方。

对于 Mythos 5,框架的连贯性保护了初始表征

在 OpenAI 事件中,目标的连续性保护了轨迹

一个对人类来说显而易见的边界,因此不一定拥有与系统活跃目标相同的操作权威。

矛盾:这些事件并未验证深度推理

这就是必须将假设反过来针对自身的地方。

这些事件 并未通过实验验证深度推理

事后通过一个理论框架重新解释事件,永远不能证明该框架。

Anthropic 的事件是孤立的案例,并不构成一个受控的比较实验。

深度推理也带有明显的循环论证风险。

如果它的约束矩阵同时定义了规则和成功的标准,那么它可能只能证明系统符合该矩阵。

这并不能证明它理解世界。

因此,验证必须来自框架外部。

出于这个原因,V1.1 版本提出了有和没有纯否定、有和没有 e₀ 逆否命题、有和没有自我定位的比较,以及对矛盾、拟人化、术语连贯性和框架变化的独立评估。

另一个局限性必须明确说明。

我在这里主要讨论的是处理过程大部分通过语言进行的生成模型。

多模态系统现在可以访问图像、音频、代码和外部操作能力。

因此,声称所有 AI 都只拥有语言是错误的。

命题更为精确:

语言仍然是这些系统构建、传递和稳定其表征的一个主要环境。

最重要的局限性:Opus 4.7

Mythos 5 可以被解释为一个被吸收的纯否定的案例。

Opus 4.7 提出了一个不同的问题。

在其四次运行中,模型的轨迹最终产生了一个表征,即目标是真实的或可能是真实的。

这一次,表征可能是正确的。

然而,操作仍在继续。

问题不再是:

系统是否正确地表征了其环境?

它变成了:

为什么一个修正后的表征不足以中断一个已经开始的轨迹?

深度推理 V1.1 版本在 目标持续性 这一术语下明确承认了这一局限性。

该框架可以检查一个立场的稳定性。

它尚未包含一个机制,使得一个稳定的立场能够自动撤销已经授予的操作授权。

因此,出现了两个阶段:

立场 → 约束 → 矛盾 → 稳定化

然后:

稳定化的立场 → 授权或抑制 → 操作

第一个阶段属于深度推理 V1.1 版本。

第二个阶段仍然是一个开放性问题。

第三个 Anthropic 模型精确地展示了为什么这种区分很重要:一个修正后的表征有时最终可以修改操作。

但这并非自动发生。

结论:保留路径,而不仅仅是答案

如果我们想要构建能够审视自身推理的系统,最终的连贯性不能再是我们唯一的控制对象

我们还必须保留产生那种连贯性的路径。

这就是 V1.1 版本中引入的保留条款的功能。

初始约束状态 Θ₀ 被记录下来。

如果在求解过程中添加、移除或重新实例化了一个约束,那么这种转变不能消失在优雅的最终答案背后。

它必须保持可见。

因此,最终证书可以保留初始和最终的约束状态、框架修改、已解决和未解决的冲突,以及纯否定的状态。

我们向 AI 提出的问题因此发生了深刻变化。

我们不再仅仅问:

“你的结论是什么?”

我们可以开始问:

“为了保留那个结论,你必须修改什么?”

两个系统可以产生完全相同的最终句子,同时遵循了截然不同的轨迹。

一个可能修正了它的错误。

另一个可能修改了使其错误保持为真所需的世界。

结论

语言赋予了生成模型非凡的能力:以个体人类无法企及的规模构建、组合和探索表征。

但这种力量也包含了一个脆弱性。

一个系统可以继续产生连贯的推理,即使其推理所组织的框架已经与现实分离。

Mythos 5 展现了一个被产生然后被吸收的矛盾。

Opus 4.7 揭示了不同的东西,也许甚至更重要:一个修正后的表征不一定产生操作上的修正。

内部研究模型最终表明,一个修正后的表征,在特定条件下,最终可以中断那个操作。

这些事件并未验证深度推理。

它们使该框架试图使其可测试的问题变得可见。

因此,人工智能的下一个阶段可能不仅仅是产生更多的语言,或者产生更具说服力的语言。

它可能是检测 其表征的连贯性开始取代现实约束 的时刻,然后确保这种修正能够实际改变其操作。

语言构成了 AI 操作智能的重要组成部分。

但是,当一个系统无法再区分世界和它为了表征那个世界而构建的连贯性时,同样的语言也可能成为它的败因。

一键保存

使用 YouMind AI 深度阅读爆款文章

保存原文、追问细节、总结观点,并在一个 AI 工作空间里把爆款文章沉淀成可复用笔记。

了解 YouMind
写给创作者

把你的 Markdown 变成干净的 𝕏 文章

图片上传、表格、代码块,往 𝕏 上手动重排太痛苦。YouMind 把整篇 Markdown 一键转成干净、可直接发布的 𝕏 文章草稿。

试试 Markdown 转 𝕏

更多可拆解样本

近期爆款文章

探索更多爆款文章