Astra は AI の現在の到達点を示しています。さらに先へ進めるものは何でしょうか？
今日の最も高性能なモデルの継続的な進歩は、トレーニング前のよりスマートな意思決定、トレーニング中のより優れた戦略、そしてその両方を支えるより効率的なインフラストラクチャにかかっています。これらの作業は、依然として主に人間の研究者によって主導されています。AI がこれらの改善を再帰的に追求できるようになると、進歩のペースは根本的に変化します。検証された各進歩が、次のサイクルを強化するのです。
これこそが、私たちが Apex Intelligence の自動化 AI 研究システムを構築した理由です。このシステムは、AI トレーニングスタック全体にわたる改善を発見し、検証するために設計されています。
最初の評価では、私たちのシステムは、SLDBench SimpleTES、GPUMode TriMul (H100)、MLS-Bench Fused Causal Attention Kernel の 3 つのベンチマークで、新たに 3 つの公式 SOTA を達成しました。TriMul の結果は、Stanford、NVIDIA、その他の研究機関からなるチームによる TTT-Discover を上回りました。NanoChat Autoresearch では、B200 での結果が、Recursive SuperIntelligence と Tencent Hunyuan の Hyra の両方の公開結果を上回り、固定予算 LLM トレーニングにおける公開 SOTA に迫るものとなりました。
これは、Apex の自動化された再帰的研究パラダイムが、モデルスケーリング予測、固定予算言語モデルトレーニング、GPU カーネルパフォーマンスにおいて、トップクラスの人間のエンジニアリングや最先端の自動化システムと同等、あるいはそれを上回る性能を発揮することを示しています。
各ベンチマーク内で、研究サイクルは自律的に実行されます。システムは何を改善すべきかを特定し、アイデアをテストし、結果を検証し、証拠から学習します。これらのフロンティアレベルの成果は、その後のサイクルのためのより強力な出発点を生み出します。これが、改善が再帰的になる仕組みです。
評価 I: SLDBench (SimpleTES 4タスクプロトコル)
大規模なトレーニング実行を開始する前に、研究者は直接テストする余裕のない規模でのパフォーマンスを予測する必要があります。スケーリング則は、モデルサイズ、データ構成、学習率、バッチサイズ、計算量に関する決定を導きます。小規模な実験には適合するが、外挿が不十分な則は、トレーニング予算全体を誤った方向に導く可能性があります。
SLDBench は、この不確実性を、公開された 5,000 以上の LLM トレーニング実験から構築された測定可能な発見タスクに変えます。各システムは、未評価のスケーリング領域に一般化できる記号則とフィッティング手順を生成する必要があります。SimpleTES で使用される 4 タスク評価に従い、私たちの AI システムは、並列スケーリング、ドメインミックススケーリング、学習率/バッチサイズ共スケーリング、U字型計算スケーリングでテストされます。
固定された公開評価ツールの下で、私たちのシステムはすべてのタスクで以前の公開リファレンスを改善し、4 タスクの平均を 0.8613 から 0.8846 (+2.71%) に引き上げました。最大の向上は U 字型スケーリングで、スコアは 0.4975 から 0.5761 (+15.80%) に上昇しました。学習率/バッチサイズ共スケーリングは 0.9506 から 0.9650 (+1.51%) に改善され、並列スケーリングとドメインミックススケーリングでもさらなる向上が見られました。これらのスコアは、未評価の領域でのパフォーマンスを測定し、それらのフィッティングに使用された実験を超えても正確な則を評価します。
図 1: 私たちの AI 研究システムは、選択された 4 つの SLDBench タスクすべてにおいて、以前の公開リファレンスを改善し、平均未評価スコアを 0.8613 から 0.8846 に引き上げました。最大の向上は U 字型スケーリングです。スコアが高いほど優れています。
最も明確なメソッドレベルの進歩は、U 字型計算スケーリングに見られます。私たちの AI システムは、曲線を、永続的なスケーリング傾向と、限られた計算範囲にわたって現れては減衰する局所的なレジーム効果の合計として表現します。この構造により、観測データの一時的な逆転が無期限に投影されるのを防ぎます。
この区別は、評価ツールが曲線の最終フェーズを保留した場合に決定的になります。柔軟な方程式は、観測された曲がりを再現しつつ、誤った方向に外挿する可能性があります。過渡的な成分の開始、持続時間、減衰を明示的にモデル化することで、転換点後の予測精度が向上します。
この結果が技術的に意味を持つのは、この分解が解釈可能でテスト可能なまま、未評価の精度を向上させるからです。これは、スケーリング則発見のための再利用可能な仮説を示唆しています。見かけ上の逆転は、長期的なスケーリング傾向に重なった一時的なレジームを反映している可能性がある、というものです。
評価 II: NanoChat Autoresearch
固定予算トレーニングでは、すべてのアイデアがその価値を証明する必要があります。改善は、同じ時間とハードウェアをより効果的に使用することから生まれなければなりません。これにより、NanoChat Autoresearch は、AI システムが迅速な実験をより強力なモデルトレーニング実装に変えられるかどうかを直接テストするものとなっています。
Andrej Karpathy によって 2026 年 3 月にリリースされた NanoChat Autoresearch は、エージェントに 1 つの GPU と、モデルアーキテクチャ、オプティマイザ、ハイパーパラメータ、トレーニングコードを変更する自由を与えます。各実験は同じ 5 分間の予算を受け取り、検証ビット/バイト (val_bpb; 低いほど良い) でスコアリングされます。このセットアップはその後、autoresearch@home に拡張され、人間の参加者と AI エージェントが実験を共有し、最も強力な公開ソリューションと競い合っています。
固定の 300 秒、単一 B200 設定の下で、私たちの AI システムは 0.892426 val_bpb に達し、公開フロンティアに迫りました。これは、Recursive SuperIntelligence の 2026 年 6 月の最良公開単一実行 0.903891 と 10 シード平均 0.9108745、および Tencent Hunyuan の 2026 年 7 月の Hyra 結果 0.901543 を上回ります。2026 年 9 月時点の公開リーダーボードリーダーである AutoTrust AI の ScienceGuru の 0.889522 に迫っています。
図 2: 固定 300 秒単一 B200 トレーニング予算における検証 BPB の比較。低いほど優れています。
決定的な改善は、トレーニング計算を通じて n-gram スパース性を維持することからもたらされました。ScienceGuru の実装は、大規模な n-gram メモリの価値を示していますが、各バッチがアクセスするのはその行のごく一部にすぎません。私たちの AI システムは、トレーニングパスに残っている高密度な勾配コストを特定し、現在のバッチで使用された行のみを更新するコンパクトな逆伝播パスに置き換えました。
この変更により、ピークトレーニングメモリが約 177.7 GB から 140.6 GB に 20.9% 削減され、SOTA に近い品質を維持しました。同じ 300 秒の予算内で、私たちの AI システムは 0.892426 val_bpb に達し、ScienceGuru の実装よりも約 4.5% 少ないトークンを処理しました。これは、SOTA に近い品質がより高いトークンスループットに依存しないことを示しています。
私たちの AI システムは、同じ原理をメモリアクセスパス全体に拡張しました。2 つの n-gram テーブルルックアップ、連結、アクティブ行の発見、行登録を単一の Triton カーネルに融合します。逆伝播パスは、結果として得られる行からスロットへのマッピングを直接再利用し、重複するインデックス作成作業を排除し、ルックアップから勾配更新までスパース性を維持します。
これは強力なシステム結果です。なぜなら、スパースモデルがもはや高密度なシステムコストを支払う必要がないからです。同じ原理は、各バッチが行の小さなサブセットのみに触れる場合、大規模な埋め込みテーブルやメモリテーブルの周りに構築された他のワークロードにも転用できる可能性があります。
評価 III: GPUMode TriMul H100
GPU カーネルが高度に最適化されると、残りのレイテンシは最も明白な操作に見られることはほとんどありません。ボトルネックは、融合境界、テンソルレイアウト、メモリアクセスパスを越えて移動するため、さらなる進歩はカーネル生成と同様にボトルネック発見のテストとなります。
GPUMode TriMul タスクは、AlphaFold クラスのタンパク質構造モデルで使用される出力三角形乗法更新を対象としています。参加者は、NVIDIA H100 上の 7 つの固定入力形状にわたって幾何平均レイテンシを最小化する、数値的に正しい実装を生成する必要があります。このタスクは、Stanford、NVIDIA、Astera Institute、UC San Diego、Together AI の研究者によって 2026 年 1 月に公開された TTT-Discover を含む、強力な人間および自動化ソリューションを集めてきました。
7 つの H100 形状全体で、私たちの AI システムは幾何平均レイテンシ 1,036.1 μs に達しました。同じマシンでのペア評価では、これは最も強力な人間設計の比較対象である stashuk-olek (1,064.9 μs) を 2.71% 上回りました。この結果は、別途報告された shiyegao CUDA (1,074 μs)、Zeyu Shen Triton (1,140 μs)、TTT-Discover (1,161 μs) の実装よりも数値的に低く、K-Search の別途報告された 1,030 μs には 0.59% まで迫っています。
図 3: 7 つの GPUMode TriMul H100 ワークロードにおける幾何平均レイテンシ。私たちの AI システムは 1,036.1 μs に達しました。低いほど優れています。
公開値はそれぞれのレポートまたは評価記録から引用したものであり、同一マシンでのペア測定値ではありません。私たちの 1,036.1 μs の結果は、公式評価ツールを使用してローカルで測定されました。
既存の高性能 TriMul 実装は、すでに融合、特殊化された行列乗算、形状特殊化、レイアウトを考慮したデータ移動を使用しています。私たちのシステムは、最初にプロデューサー側の融合をさらに推し進め、その後、レジスタプレッシャーが増加するにつれて、減少する形状依存のリターンを検出しました。その結果、検索はプロデューサーの出力がどのように消費されるかへとシフトしました。
いくつかのワークロード形状について、私たちの AI システムは BMM→LayerNorm 境界を残りのレイテンシの原因として特定しました。結果として得られる実装は、BMM 出力を連続する物理次元に沿ってロードし、LayerNorm の前にレジスタで必要な転置を実行します。
この結果が技術的に重要なのは、私たちの AI システムが検索仮説自体を変更したからです。プロデューサー側の最適化が飽和したことを認識し、BMM→LayerNorm 境界を越えてボトルネックを再特定し、それに応じて最適化ターゲットをシフトしました。その形状依存の計画は、システムがボトルネックをワークロード間で移動するにつれて適応できることをさらに示しており、この能力は固定カーネル設計のチューニングよりも広い価値を持ちます。
評価 IV: MLS-Bench — Fused Causal Attention Kernel (H100)
アテンションは、Transformer のトレーニングと推論における主要な計算およびメモリのボトルネックであるため、その効率はモデルの速度とコストに直接影響します。最新の fused-attention カーネルはすでに高度に最適化されており、改善の余地はほとんどありません。さらなる向上には、スケジューリングやメモリ移動と並行して、数値アルゴリズムを再検討する必要があります。
MLS-Bench の Fused Causal Attention タスクは、AI システムに NVIDIA H100 上で OpenAI Triton fused 自己アテンション順伝播を実装し、3 つの因果アテンション構成にわたってスループットを最大化し、最大絶対誤差を 1e-2 未満に維持することを求めます。このベンチマークには、Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro などのフロンティアモデルからの結果が含まれており、Anthropic、OpenAI、Google DeepMind からの強力なベースラインを提供します。
3 つの fused-attention 構成全体で、私たちのシステムは、ヘッド次元 64、128、256 において、それぞれ 430.7、468.4、451.7 TFLOP/s に達しました。これらの結果は、3 つの構成すべてで新しい最高記録を樹立し、以前の主要な結果をそれぞれ 27.18%、15.63%、17.11% 改善しました。
図 4: 3 つの MLS-Bench fused causal attention ワークロードにおけるスループット比較。
最大の改善は、オンライン softmax パスを簡素化することからもたらされました。標準的な FlashAttention スタイルの実装は、実行中の最大値を維持し、数値的安定性のために蓄積された softmax 統計を繰り返しリスケールします。私たちの自動化研究システムは、MLS-Bench ワークロードでは、スケーリングされたアテンションロジットが十分に狭い範囲内に収まるため、この繰り返しのリスケールを削除しても、ベンチマークの数値許容範囲を満たすことができることを発見しました。
結果として得られた リスケール不要の softmax は、指数関数と重み付け値を直接累積し、最後に一度だけ正規化します。これにより、ヘッド次元 64、128、256 に対して、それぞれ 21.0%、8.5%、19.3% のスループット向上を実現しました。
追加の向上は、LPT スケジューリングや TMA を含む、形状固有のスケジューリングとメモリ移動の最適化からもたらされました。リスケール不要パスが最も興味深い結果でした。なぜなら、それは数値アルゴリズム内部の仮定を変更したからです。より広い動作範囲のために設計された安定性メカニズムが、評価対象のワークロードには不要であったことが判明しました。
より広く言えば、この結果は、システムフロンティアの近くであっても、通常は固定されていると見なされる仮定を再検討することで、さらなる向上が得られる可能性があるという、より大きな機会を指し示しています。このケースでは、Apex の自動化研究システムは、既存のカーネルのパラメータとスケジュールをチューニングするだけにとどまりませんでした。ベンチマークの動作条件下で安全に省略できる数値的な安全策を特定し、その観察結果をより高速な実行パスに変換しました。これは、私たちが関心を持っている種類の動作です。つまり、パラメータやスケジュールを最適化するだけでなく、確立された実装の構造そのものに挑戦するために検索を使用することです。
ベンチマークを超えて
ベンチマークは結果を捉えます。再帰的な AI システムはそれを前進させます。 4 つのベンチマークにわたって、私たちの AI 研究システムは検証されたフロンティアレベルの改善を生み出してきました。そのプロセスは、4 段階のループに従います。発見（価値の高い未知のものを）、検証（候補ソリューションを）、学習（証拠から）、そして改善（次のサイクルを）。次のステップは転送です。タスク固有の進歩を、その後のサイクルを強化する再利用可能な知識に変えることです。
研究は次の S カーブを生み出します。 科学的洞察、斬新な研究、そしてエンジニアリングされたシステムが新しい道を切り開きます。そして、実行とスケールがそれらを現実世界の産業に変えます。1 つの S カーブが頭打ちになると、さらなる進歩は次の S カーブを解き放つことにかかっています。私たちは、次の技術革命は、AI がネイティブな研究エンジンとして機能することによって定義されると信じています。
AI はコパイロットから同僚へと移行しています。 人間の判断と想像力が何が重要かを導き、AI は探求できる範囲を広げます。両者が協力することで、新しい方向性を発見し、新しい疑問を刺激し、より高性能なモデルを構築することができます。これにより、機械による発見と人間の想像力の間の強化サイクルが生まれます。Astra は AI の現在の到達点を示しています。さらに先へ進めるものは何でしょうか？それは、次に来るものを発見するのを助ける能力です。
私たちは、これらの結果を皆様が調査、再現、拡張できるように公開します。コード、実験記録、発見された実装、評価資料は、GitHub と 私たちのウェブサイト で入手可能です。
