一个追踪从 o3 到 GPT-5.6 及未来 AI 进展的核心问题

在 n 维空间中，梯度流在凸函数上的路径最长能有多长，给定约束条件是该路径必须保持在单位欧几里得球内？

^ 这就是我过去两年用来测试 AI 进步的问题。它表述起来简单得诡异，但解决起来却极其困难。在 168 分钟思考中，GPT-5.6 成功地大幅超越了该问题已发表的最优结果，这是迄今为止其他模型都无法做到的。但我不该操之过急，先让我们思考一下这个问题，回顾一下相关文献，然后再讨论从 o3 到 GPT-5.6 的进步究竟如何。

1. 最先进水平 (SOTA)

天真的人可能会说：“梯度下降的收敛速度与维度无关——这正是为什么它在多参数问题中令人兴奋的原因——所以这类流的长度是不是也应该与维度无关呢？” 嗯，有时候天真的想法可能大错特错。首先，这样的曲线是否可求长（即长度有限，且不考虑维度依赖）？这本身就不容易证明，实际上对于 Nesterov 加速梯度下降，它是不成立的（参见 @ErnestRyu 的 这篇论文，全部由 GPT-5.5 完成）。

那么，关于这个问题我们到底知道些什么呢？有一篇 1991 年 Manselli 和 Pucci 的优美论文表明，这样的曲线确实是可求长的，而且其长度最多为 n^O(n)。是的，你没看错，甚至比指数级还差，这就是 35 年前的最佳上界！顺便说一句，这篇论文还指出，这样的曲线被称为“自收缩”曲线，即它们总是越来越接近其未来（取曲线上任意时间 t 的点，那么对于 s < t，dist(x(s), x(t)) 是非增的；见下图）。

那么下界呢，即构造一条实际很长的自收缩曲线？从凸优化文献中一个标准例子是病态二次型，比如 x_1^2 + 大常数 x_2^2 + 更大常数 x_3^2 + ... 关键在于，梯度下降会先沿着最大常数方向几乎直线前进，然后沿着第二大常数方向，以此类推（见下图）。因此路径的总长度大致为 n，而且该路径包含在超立方体内，该超立方体包含在半径为 sqrt(n) 的球内，所以通过缩放，我们得到一条长度为 sqrt(n) 的自收缩曲线。

就这样。这就是已发表的最优结果：上界 n^O(n)，下界 sqrt(n)。对于一个如此简单且自然的问题来说，这个差距可真大！！！

自收缩曲线的定义

一条长度为 sqrt(n) 的自收缩曲线

2. 人类未发表的工作

8 年前，我与出色的合作者 Omer Angel、Tomas Merchan Rodriguez 和 Fedja Nazarov 一起思考过这个问题。我们取得了相当大的进展，并确定答案确实是指数级的！具体来说，我们得到了下界 sqrt(2)^n 和上界 4^n。包含这些估计的论文写得简洁明了，已经放在我的 Dropbox 文件夹里将近十年了，部分原因是我们知道这些界还可以进一步改进。确实，Tomas 和 Fedja 取得了更多进展，首先将下界推到 2^n，同时也将上界改进到 2.29...^n。请注意，我本人对这个问题的理解停留在略优于 sqrt(2)^n 的下界和 4^n 的上界（事实上，在 AI 开始在这个问题上取得进展之前，我已经忘记了 2^n 和 2.29^n ... 下面会更多讨论）。

3. AI 的进步

o3 是第一个能够理解这个问题的 AI 模型。是的，你读对了那句话。也许你忘了，但两年前，AI 能否理解这样看似简单的问题还不清楚，更不用说解决了。特别是，o3 能够看出这个问题实际上是在讨论自收缩曲线，并且知道这个问题的最优结果是什么。当时我对此印象非常非常深刻。

但随后事情变得棘手了，随着 GPT-5 系列模型的到来，我把这个问题作为一个警示故事：就在今年二月，我在关于 LLM 在数学领域进展的演讲中，还把这个例子作为你不应该问 LLM 的问题。原因是 GPT-5 甚至 GPT-5.2/5.4 会尝试给出复杂的答案，但总会在某个地方出错，人们会花大量时间检查这些答案。所以这是一个很好的例子，说明为了不在数学上浪费 LLM 的时间，你应该知道该问什么层次的问题。

这种情况在 GPT-5.5 时发生了变化，经过大量来回对话和专家提示，Mark Sellke 重新发现了 2^n 下界的构造（我对此感到非常震惊，部分原因是我忘记了 Tomer 和 Fedja 已经知道它了 😅）。另一方面，在上界方面则毫无进展。

现在 GPT-5.6 来了，AI 的进步完全显现出来：

• GPT-5.6-pro 一次就成功给出了 2^n 下界。你可以在这里看到一次成功的过程（80 分钟思考）：https://chatgpt.com/s/t_6a50cb2a29488191b643ecb2426df87d
• GPT-5.6-pro 一次就成功给出了 4^n 上界，而且实际上在其思维链中非常快地做到了，并且在思考结束时它得出了一个 2.31...^n 的上界。虽然没有完全达到 Fedja 的 2.29...^n（实际上，2.31...^n 的策略在没有新想法的情况下无法进一步改进——事实上 Fedja 在 2018 年的一篇 MathOverflow 帖子 中自己就指出：“[对于 2.31..] 论证变得相当混乱，很明显这种方法不会得到最优估计”）。但即便如此，这仍然非常令人印象深刻，并且超出了我自己当年认真研究这个问题时的理解。你可以在这里看到一次成功的过程，用时 88 分钟思考：https://chatgpt.com/share/6a50764e-3eec-83ea-97e6-3d1f30c07b64

3. 对未来的挑战

目前，这个故事仍然以人类为胜者。人类是 2.29，机器是 2.31。自然，猜想是自收缩曲线长度不可能超过 2^n（这将是给定 2^n 下界后的最优答案）。这似乎很难证明，超出了 GPT-5.6 的能力。我还能用这个问题来追踪 AI 的进步多久？我怀疑可能不到 6 个月……

PS：我把上面的帖子复制到 ChatGPT 工作区中，并要求它生成插图。这里的图片合集就是通过一次查询获得的。