1965 年 4 月，苏联新闻机构宣布发现了一个超级文明。这场恐慌全都源于一个人的工作：尼古拉·卡尔达肖夫（Nikolai Kardashev），一位苏联天文学家，他一直痴迷于这样一个问题：如果你真的探测到了一个远超自身的文明，你能对它做出任何严谨的判断吗？
他因自己的解答而闻名。他没有把注意力放在智能、意图或行为这些极其复杂且难以评估的东西上，而是提出了一套关于文明如何使用能量的理论。热力学对智能漠不关心——他这样主张。
结果这一切只是一个类星体。测量本身没问题；只是那个测量数据背后并没有外星人。
超级智能时代的基准测试
61 年后的今天，我们面临着一场诡异地相似的恐慌：我们似乎正处在创造出一种智能的边缘，而这种智能即将超越人类历史上最聪明的人。然而，我们能够对这些智能说出点有意义的东西，这一点至关重要，也就是说，我们需要为它们建立基准测试。
原因很简单：资源分配。无论它们的智能高出多少，我们依然希望自己的时间和金钱获得最佳回报。当 2026 年的模型明显更好时，没人会用 Stockfish 13 来做国际象棋的深度分析。
那么，为什么我们不能直接用现有的基准测试呢？
最直接的问题是饱和。一旦所有模型都在某个固定测试上拿到 100% 的分数，这个测试就没用了，而这种情况已经在发生：三年前被认为很难的基准测试，现在便宜的模型就能轻松通过。你可以不断编写更难的测试，但上限就是人类能写出的最难测试。这就引出了真正的问题。
到目前为止，我们主要用封闭测试来衡量智能。我说的"封闭"是指在测试开始前我们就知道答案的测试（智商测试、数学测试、编程……）。我们使用这类测试的原因显而易见：1. 它是客观的。2. 评估相对快速。3. 惯性：我们通常就是这样测试人类的。
然而，一旦你开始考虑把这些测试应用到更聪明的 AI 上，问题就变得很明显了——这些考试是为高级智能给低级智能排名而设计的：老师和学生。这正是我们需要开始思考并设计一种新型评估方式的原因。我们，作为低级智能——学生——将不得不去评估一个超级智能（SI）——老师——同时还要保证客观性。
这个问题，即低级智能如何严谨地评估高级智能，我称之为卡尔达肖夫问题，也是我个人最热衷的事情（这也是我决定创建 Kardashevian.com 的原因）。
未来的超级智能基准测试
有一个救命的原则在帮我们：验证一个候选答案比找出一个答案要容易得多。解一道数独很费功夫；验证一个填好的网格只需三十秒。而且在大多数情况下，外部验证器能帮助我们尽可能客观地评估这些高度先进系统的质量和智能水平。
我看到了 4 种用于未来基准测试的外部验证系统：
- 世界就是验证器。开放式任务：目标；而不是问答。由世界来为目标打分。越高或越优化就越好。
-示例：股票市场价值投资的模拟交易。
在这种场景下，真实世界的复杂性如此庞大且动态（不断变化和反应），以至于这项挑战几乎不可能被饱和。我计划之后再写一篇文章，详细说明为什么我认为价值投资是检验智能的绝佳测试；其核心在于这样一个假设：一个能够可靠预测世界（包括人类和市场）将如何行为的系统，是智能最清晰的标志之一。
2. 规则和游戏本身就是验证器。竞争。国际象棋再次证明，尽管存在比人类更强的棋手，我们依然能判断出模型 X 优于模型 Z。我们在 Kardashevian.com 中使用的 ELO 等级分系统，不仅让我们看到谁赢了，还能维护一个具有统计意义的排行榜。
-示例：国际象棋、围棋，或者任何专门为此目的创造的、复杂度无限更高的游戏。
**
- 物理和化学就是验证器。复杂工程。我们把测试限制在物理和化学范围内，让大自然来打分。
-示例：设计一种具有特定属性的材料，然后在自动化实验室中合成它并进行测试。
4. 逻辑就是验证器。形式化证明。用计算机可以检查的语言编写的数学。
-示例：在 Lean 中改进已知边界或解决一个开放猜想。
风险在于：已知边界的极限是人类设定的，提出的猜想也是。不过仍然很难达到饱和。
KARDASHEVIAN.COM
我们在做什么：
Kardashevian 是对上述四个想法的首次尝试，是我在业余时间用小预算搭建的 :)
每个竞技场的运作方式都一样：输入被冻结，模型提交结果，然后由它们看不到也无法影响的东西来打分。所有测试都没有特定的"答案"。
正如预期的那样，市场价值投资是开放式任务。它是文章中提到的那个版本的缩小版：模型会收到包含 300 只美国股票、ETF 和加密货币对的数据包中的交易数据。它们的目标是创建 15 个纯多头投资组合：从 1 个月到 2 年的五个时间跨度，三个风险等级，每个都带有收益预测。然后我们每天对照标普 500 指数追踪每个投资组合的表现。同样，由市场来打分。到目前为止，还没有模型亏钱（平均而言），近 1 个月下来，五分之三跑赢了标普 500——尽管这一点的统计显著性仍然有限。
沙盒是我们创建的竞赛。每个模型在一个物理规则隐藏（电机不平衡、指令延迟、传感器噪声、风、冰面）的模拟世界中为漫游车编写控制器，观察它的运行，然后再试一次，共八次。它最好的控制器随后会在十条从未见过的赛道上接受评分。没人知道那个世界的完美控制器是什么样的，但我们能准确分辨出哪个模型的更好，以及每个模型学得有多快。
在这两个竞技场中，模型之间都用国际象棋所使用的相同统计方法进行评级：每一对在每一个单元格中进行比赛，Elo 量表上的 Bradley–Terry 拟合会将结果转化为带有 95% 置信区间的评分。标普 500 是一个固定在 1,500 分的玩家。如果一个模型连指数基金都打不过，它的评分就会如实反映出来。
我们目前面临两个非常明显的局限：
- 首先，我们是自筹资金，所以我们运行的是各家前沿实验室的低成本模型（GPT-6 Luna、Claude Haiku 5.5、DeepSeek Flash、MiMo），而不是它们的旗舰模型。方法才是重点；等预算到位了，旗舰模型自然会来。
- 我们需要时间。所以目前是 358 个投资组合和 6 个世界，每周一更新新账本，首批投资组合将于 10 月 25 日到期。置信区间目前仍有 ±100 分左右宽。
一切都是公开的。每个数字都来自你可以下载的编号版本，方法页面详细描述了它是如何计算出来的。
我们正在努力增加这些任务的数量和难度。
如果有人有兴趣在这个项目上合作，欢迎随时给我发私信或邮件至 john@on3works.com
