Astra 展示了 AI 已取得的成就。什么能推动它更进一步？
当今最强大模型的持续进步，取决于训练前更明智的决策、训练中更优的策略，以及支撑这两者的更高效基础设施——这些工作在很大程度上仍由人类研究人员主导。当 AI 能够递归地追求这些改进时，进步的节奏将发生根本性改变：每一个经过验证的进步都会强化下一个循环。
这就是我们构建 Apex Intelligence 自动化 AI 研究系统的原因，该系统旨在发现并验证 AI 训练堆栈各环节的改进。
在其首次评估中，我们的系统在 SLDBench SimpleTES、GPUMode TriMul (H100) 和 MLS-Bench Fused Causal Attention Kernel 上取得了三项新的官方 SOTA 成绩。其中，TriMul 的结果超越了来自斯坦福大学、NVIDIA 及其他机构的团队所发表的 TTT-Discover。在 NanoChat Autoresearch 上，其 B200 结果优于 Recursive SuperIntelligence 和腾讯混元 Hyra 发表的结果，使其在固定预算的 LLM 训练中接近公开 SOTA 水平。
这表明，Apex 的自动化递归研究范式在模型扩展预测、固定预算语言模型训练和 GPU 内核性能方面，达到了顶尖人类工程水平以及最先进自动化系统的水平——在某些情况下甚至超越了它们。
在每个基准测试中，研究循环都是自主运行的：系统识别需要改进的地方，测试其想法，验证结果，并从证据中学习。这些前沿成果为后续的循环创造了更强大的起点——这就是改进变得递归的方式。
评估一：SLDBench（SimpleTES 4 任务协议）
在大型训练运行开始之前，研究人员必须预测他们无法直接负担测试成本的规模下的性能。扩展定律指导着关于模型大小、数据组成、学习率、批量大小和算力的决策；一个在小规模实验中拟合良好但外推能力差的定律，可能会误导整个训练预算。
SLDBench 将这种不确定性转化为一个可衡量的发现任务，该任务基于超过 5,000 个已发表的 LLM 训练实验构建。每个系统必须产生一个符号定律和一个拟合过程，该过程能够泛化到未见的扩展场景。遵循 SimpleTES 使用的四项任务评估，我们的 AI 系统在并行扩展、领域混合扩展、学习率/批量大小协同扩展和 U 形算力扩展上进行了测试。
在固定的公开评估器下，我们的系统在每个任务上都改进了之前的公开参考值，将四项任务的平均分从 0.8613 提升至 0.8846（+2.71%）。最大的提升来自 U 形扩展，分数从 0.4975 提升至 0.5761（+15.80%）。学习率/批量大小协同扩展从 0.9506 提升至 0.9650（+1.51%），并行扩展和领域混合扩展也取得了进一步提升。这些分数衡量的是在未见场景下的性能，奖励那些在用于拟合的实验之外仍能保持准确的定律。
图 1：我们的 AI 研究系统在所有四个选定的 SLDBench 任务上都改进了之前的公开参考值，将平均未见场景分数从 0.8613 提升至 0.8846。最大的提升来自 U 形扩展。分数越高越好。
最清晰的方法层面改进出现在 U 形算力扩展上。我们的 AI 系统将曲线表示为持久扩展趋势与局部场景效应的总和，后者在有限的算力范围内出现然后衰减。这种结构防止了观测数据中的暂时逆转被无限期地投射出去。
当评估器隐藏曲线的最终阶段时，这种区别变得至关重要。灵活的方程可以重现观测到的弯曲，但可能在外推时方向错误；明确地对瞬态分量的起始、持续时间和衰减进行建模，可以产生更准确的转折点后预测。
这一结果在技术上有意义，因为这种分解在保持可解释性和可测试性的同时，提高了未见场景的准确性。它为扩展定律发现提出了一个可复用的假设：一个明显的逆转可能反映了叠加在长期扩展趋势之上的一个暂时性场景。
评估二：NanoChat Autoresearch
固定预算训练迫使每一个想法都必须证明其价值：改进必须来自更有效地利用相同的时间和硬件。这使得 NanoChat Autoresearch 成为对 AI 系统能否将快速实验转化为更强模型训练实现的直接测试。
由 Andrej Karpathy 于 2026 年 3 月发布，NanoChat Autoresearch 给 Agent 一块 GPU 和修改模型架构、优化器、超参数及训练代码的自由。每个实验都获得相同的五分钟预算，并根据验证 bits per byte（val_bpb；越低越好）进行评分。该设置后来扩展到 autoresearch@home，人类参与者和 AI Agent 共享实验，并与最强的公开解决方案竞争。
在固定的 300 秒单 B200 设置下，我们的 AI 系统达到了 0.892426 val_bpb，接近公开前沿水平。这超越了 Recursive SuperIntelligence 在 2026 年 6 月发表的最佳单次运行结果 0.903891 和 10 次随机种子的平均值 0.9108745，以及腾讯混元在 2026 年 7 月发表的 Hyra 结果 0.901543。它接近截至 2026 年 9 月的公开排行榜领先者 AutoTrust AI 的 ScienceGuru 的 0.889522。
图 2：在固定的 300 秒单 B200 训练预算下的验证 BPB 比较。数值越低越好。
决定性的改进来自于在训练计算中贯彻 n-gram 稀疏性。ScienceGuru 的实现展示了大型 n-gram 记忆的价值，但每个批次只访问其行的一小部分。我们的 AI 系统识别出训练路径中仍然存在的密集梯度成本，并将其替换为一个紧凑的反向传播，该反向传播仅更新当前批次使用的行。
这一改变将峰值训练内存从大约 177.7 GB 降低到 140.6 GB——减少了 20.9%——同时保持了接近 SOTA 的质量。在相同的 300 秒预算内，我们的 AI 系统达到了 0.892426 val_bpb，同时处理的 token 数量比 ScienceGuru 实现大约少 4.5%，这表明接近 SOTA 的质量并不依赖于更高的 token 吞吐量。
我们的 AI 系统将相同的原则扩展到整个内存访问路径。它将两个 n-gram 表查找、连接、活动行发现和行注册融合到一个单一的 Triton 内核中。反向传播直接重用由此产生的行到槽的映射，消除了重复的索引工作，并从查找一直保持稀疏性到梯度更新。
这是一个强大的系统级结果，因为稀疏模型不再需要支付密集的系统成本。同样的原则可能适用于其他围绕大型嵌入或记忆表构建的工作负载，只要每个批次只触及行的一个小子集。
评估三：GPUMode TriMul H100
一旦 GPU 内核经过高度优化，剩余的延迟很少出现在最明显的操作中。瓶颈会跨越融合边界、张量布局和内存访问路径移动，使得进一步的进展成为对瓶颈发现能力以及内核生成能力的考验。
GPUMode TriMul 任务针对 AlphaFold 类蛋白质结构模型中使用的传出三角形乘法更新。参与者必须产生一个数值上正确的实现，该实现在 NVIDIA H100 上针对七个固定输入形状最小化几何平均延迟。该任务吸引了强大的人类和自动化解决方案，包括由斯坦福大学、NVIDIA、Astera Institute、加州大学圣地亚哥分校和 Together AI 的研究人员于 2026 年 1 月发表的 TTT-Discover。
在七个 H100 形状上，我们的 AI 系统达到了 1,036.1 μs 的几何平均延迟。在我们同机的配对评估中，这比最强的人类设计对比方案 stashuk-olek（1,064.9 μs）提升了 2.71%。该结果在数值上也低于单独报告的 shiyegao CUDA（1,074 μs）、Zeyu Shen Triton（1,140 μs）和 TTT-Discover（1,161 μs）的实现，同时与 K-Search 单独报告的 1,030 μs 相差在 0.59% 以内。
图 3：七个 GPUMode TriMul H100 工作负载的几何平均延迟。我们的 AI 系统达到 1,036.1 μs。数值越低越好。
公开值来自各自的报告或评估记录，并非同机配对测量。我们的 1,036.1 μs 结果是使用官方评估器在本地测量的。
现有的高性能 TriMul 实现已经使用了融合、专用矩阵乘法、形状特化和布局感知数据移动。我们的系统最初进一步推动了生产者端融合，然后随着寄存器压力的增加，检测到收益递减和对形状的依赖性。因此，它将搜索转向了生产者的输出如何被消费。
对于几个工作负载形状，我们的 AI 系统将 BMM→LayerNorm 边界识别为剩余的延迟来源。由此产生的实现沿着连续的物理维度加载 BMM 输出，并在 LayerNorm 之前在寄存器中执行所需的转置。
这一结果在技术上有意义，因为我们的 AI 系统改变了搜索假设本身：它认识到生产者端优化已经饱和，将瓶颈重新定位到 BMM→LayerNorm 边界，并相应地转移了优化目标。其依赖于形状的计划进一步表明，系统可以随着瓶颈在工作负载间移动而适应——这种能力比调整一个固定的内核设计具有更广泛的价值。
评估四：MLS-Bench——融合因果注意力内核（H100）
注意力机制是 Transformer 训练和推理中的一个主要算力和内存瓶颈，因此其效率直接影响模型的速度和成本。现代融合注意力内核已经高度优化，几乎没有明显的提升空间；进一步的收益需要重新审视数值算法以及调度和内存移动。
MLS-Bench 的融合因果注意力任务要求 AI 系统在 NVIDIA H100 上实现一个 OpenAI Triton 融合自注意力前向传播，最大化三种因果注意力配置下的吞吐量，并保持最大绝对误差低于 1e-2。该基准测试包括了来自前沿模型（如 Claude Opus 4.6、GPT-5.4 和 Gemini 3.1 Pro）的结果，提供了来自 Anthropic、OpenAI 和 Google DeepMind 的强大基线。
在三种融合注意力配置下，我们的系统在头维度 64、128 和 256 上分别达到了 430.7、468.4 和 451.7 TFLOP/s。这些结果在所有三种配置上都建立了新的最佳成绩，分别比之前领先的结果提升了 27.18%、15.63% 和 17.11%。
图 4：三种 MLS-Bench 融合因果注意力工作负载的吞吐量比较。
最大的改进来自于简化在线 softmax 路径。标准的 FlashAttention 风格实现维护一个运行中的最大值，并反复缩放累积的 softmax 统计量以保证数值稳定性。我们的自动化研究系统发现，在 MLS-Bench 工作负载上，缩放后的注意力 logits 保持在一个足够窄的范围内，使得可以移除这种反复缩放，同时仍然满足基准测试的数值容差。
由此产生的无缩放 softmax 直接累积指数和加权值，并在最后归一化一次。对于头维度 64、128 和 256，这分别将吞吐量提升了 21.0%、8.5% 和 19.3%。
额外的收益来自于优化特定形状的调度和内存移动，包括 LPT 调度和 TMA。无缩放路径是最有趣的结果，因为它改变了数值算法本身内部的一个假设：为更广泛操作范围设计的稳定性机制对于正在评估的工作负载来说是不必要的。
更广泛地说，这一结果指向了一个更大的机会：即使在系统前沿附近，进一步的收益也可能来自于重新审视那些通常被视为固定的假设。在这种情况下，Apex 的自动化研究系统超越了调整现有内核的参数和调度：它识别出一个在基准测试的操作场景下可以安全省略的数值保护措施，并将这一观察转化为更快的执行路径。这正是我们感兴趣的行为：利用搜索不仅优化参数和调度，还要挑战现有实现的结构。
超越基准测试
基准测试捕捉一个结果。递归 AI 系统则将其向前推进。 在四个基准测试中，我们的 AI 研究系统已经产生了经过验证的前沿级改进。其过程遵循一个四阶段循环：发现一个高价值的未知领域，验证候选解决方案，从证据中学习，并改进下一个循环。下一步是迁移——将特定任务的进步转化为可复用的知识，以强化后续的循环。
研究孕育下一个 S 曲线。 科学洞察、新颖研究和工程化系统开辟了新路径——而执行和规模化则将其转化为现实世界的产业。当一个 S 曲线趋于平缓时，进一步的进展取决于解锁下一个曲线。我们相信，即将到来的技术革命将由作为原生研究引擎的 AI 来定义。
AI 正在从副驾驶转变为同事。 人类的判断和想象力指导着什么是重要的；AI 则扩展了可以探索的范围。它们共同可以发现新的方向，激发新的问题，并构建更强大的模型——在机器发现和人类想象力之间创造一个相互强化的循环。Astra 展示了 AI 已取得的成就。什么能推动它更进一步？帮助发现接下来会发生什么的能力。
我们公开这些结果，供您检查、复现和扩展。代码、实验记录、发现的实现和评估材料现已可在 GitHub 和 我们的网站 上获取。
