Astra 展示了 AI 已達到的境界。什麼能讓它更進一步？
當今最強大模型的持續進步，取決於訓練前更明智的決策、訓練中更優越的策略，以及支撐這兩者的更高效基礎設施——這些工作仍主要由人類研究人員主導。當 AI 能夠遞迴地追求這些改進時，進步的步伐將發生根本性的改變：每一個經過驗證的進展都會強化下一個循環。
這就是我們打造 Apex Intelligence 自動化 AI 研究系統的原因，該系統旨在發現並驗證 AI 訓練堆疊中的各項改進。
在首次評估中，我們的系統在 SLDBench SimpleTES、GPUMode TriMul (H100) 和 MLS-Bench Fused Causal Attention Kernel 上取得了三項新的官方 SOTA 成績，其中 TriMul 的結果超越了來自史丹佛大學、NVIDIA 及其他機構團隊的 TTT-Discover。在 NanoChat Autoresearch 上，其 B200 的結果優於 Recursive SuperIntelligence 和騰訊混元 Hyra 的已發表結果，使其接近固定預算 LLM 訓練的公開 SOTA 水準。
這證明了 Apex 的自動化遞迴研究範式，其表現已達到——在某些情況下甚至超越——頂尖人類工程師及最先進自動化系統在模型擴展預測、固定預算語言模型訓練和 GPU 核心效能方面的水準。
在每個基準測試中，研究循環都是自主運行的：系統識別需要改進的目標，測試其想法，驗證結果，並從證據中學習。這些前沿水準的成果為後續的循環創造了更強大的起點——這就是改進如何變得遞迴。
評估一：SLDBench（SimpleTES 4 任務協議）
在大型訓練運行開始之前，研究人員必須預測他們無法直接負擔測試規模的效能。擴展定律指導著關於模型大小、資料組成、學習率、批次大小和計算資源的決策；一個能擬合小型實驗但外推能力差的定律，可能會誤導整個訓練預算。
SLDBench 將這種不確定性轉化為一項可衡量的發現任務，該任務基於超過 5,000 個已發表的 LLM 訓練實驗。每個系統必須產生一個符號定律和一個擬合程序，該程序能夠推廣到保留的擴展機制。遵循 SimpleTES 使用的四任務評估，我們的 AI 系統在平行擴展、領域混合擴展、學習率/批次大小共同擴展和 U 形計算擴展上接受了測試。
在固定的公開評估器下，我們的系統在每個任務上都改進了先前的公開參考值，將四任務平均分數從 0.8613 提升至 0.8846（+2.71%）。最大的提升來自 U 形擴展，分數從 0.4975 上升至 0.5761（+15.80%）。學習率/批次大小共同擴展從 0.9506 提升至 0.9650（+1.51%），平行擴展和領域混合擴展也有進一步的增長。這些分數衡量的是在保留機制上的表現，獎勵那些在擬合實驗之外仍能保持準確的定律。
圖 1：我們的 AI 研究系統在所有四個選定的 SLDBench 任務上都改進了先前的公開參考值，將平均保留分數從 0.8613 提升至 0.8846。最大的提升來自 U 形擴展。分數越高越好。
最清晰的方法層面進展出現在 U 形計算擴展上。我們的 AI 系統將曲線表示為一個持續的擴展趨勢和一個局部化機制效應的總和，後者在有限的計算範圍內出現，然後衰減。這種結構防止了觀察資料中的暫時逆轉被無限地推斷下去。
當評估器隱藏曲線的最終階段時，這種區別變得至關重要。靈活的方程式可以重現觀察到的彎曲，同時朝錯誤方向外推；明確地對瞬態分量的起始、持續時間和衰減進行建模，可以產生更準確的轉折點後預測。
這個結果在技術上具有重要意義，因為這種分解在保持可解釋性和可測試性的同時，提高了保留資料的準確性。它為擴展定律的發現提出了一個可重複使用的假設：一個看似逆轉的現象，可能反映了一個疊加在長期擴展趨勢之上的暫時機制。
評估二：NanoChat Autoresearch
固定預算訓練迫使每個想法都必須證明其價值：改進必須來自於更有效地利用相同的時間和硬體。這使得 NanoChat Autoresearch 成為一個直接測試，檢驗 AI 系統是否能將快速實驗轉化為更強大的模型訓練實作。
NanoChat Autoresearch 由 Andrej Karpathy 於 2026 年 3 月發布，它給予一個 Agent 一塊 GPU 以及修改模型架構、優化器、超參數和訓練程式碼的自由。每個實驗都獲得相同的五分鐘預算，並根據驗證 bits per byte（val_bpb；越低越好）進行評分。該設定後來擴展為 autoresearch@home，人類參與者和 AI Agent 可以共享實驗並與最強大的公開解決方案競爭。
在固定的 300 秒單一 B200 設定下，我們的 AI 系統達到了 0.892426 val_bpb，使其接近公開前沿水準。這超越了 Recursive SuperIntelligence 在 2026 年 6 月發布的最佳單次運行結果 0.903891 和 10 次隨機種子平均值 0.9108745，以及騰訊混元在 2026 年 7 月的 Hyra 結果 0.901543。它接近截至 2026 年 9 月的公開排行榜領先者 AutoTrust AI 的 ScienceGuru 的 0.889522。
圖 2：在固定的 300 秒單一 B200 訓練預算下的驗證 BPB 比較。數值越低越好。
決定性的改進來自於在訓練計算中貫徹 n-gram 稀疏性。ScienceGuru 的實作展示了大型 n-gram 記憶體的價值，然而每個批次只存取其中一小部分的行。我們的 AI 系統識別出訓練路徑中仍然存在的密集梯度成本，並用一個緊湊的反向傳遞取代它們，該反向傳遞僅更新當前批次所使用的行。
這一改變將峰值訓練記憶體從大約 177.7 GB 降低至 140.6 GB——減少了 20.9%——同時保持了接近 SOTA 的品質。在相同的 300 秒預算內，我們的 AI 系統達到了 0.892426 val_bpb，同時處理的 token 數比 ScienceGuru 的實作大約 少 4.5%，這表明接近 SOTA 的品質並不依賴於更高的 token 吞吐量。
我們的 AI 系統將相同的原則擴展到整個記憶體存取路徑。它將兩個 n-gram 表查找、串接、活躍行發現和行註冊融合到一個 Triton 核心中。反向傳遞直接重用由此產生的行到槽的映射，消除了重複的索引工作，並從查找階段到梯度更新階段都保持了稀疏性。
這是一個強大的系統結果，因為一個稀疏模型不再需要支付密集系統的成本。同樣的原則可能轉移到其他圍繞大型嵌入或記憶體表構建的工作負載上，只要每個批次只觸及一小部分行。
評估三：GPUMode TriMul H100
一旦 GPU 核心經過高度優化，剩餘的延遲很少出現在最明顯的操作中。瓶頸會跨越融合邊界、張量佈局和記憶體存取路徑移動，使得進一步的進展既是對瓶頸發現的考驗，也是對核心生成的考驗。
GPUMode TriMul 任務針對 AlphaFold 類蛋白質結構模型中使用的輸出三角形乘法更新。參與者必須產生一個數值正確的實作，該實作能在 NVIDIA H100 上，針對七種固定的輸入形狀，最小化幾何平均延遲。該任務吸引了強大的人類和自動化解決方案，包括由史丹佛大學、NVIDIA、Astera Institute、加州大學聖地牙哥分校和 Together AI 的研究人員於 2026 年 1 月發表的 TTT-Discover。
在七種 H100 形狀中，我們的 AI 系統達到了 1,036.1 μs 的幾何平均延遲。在我們同機配對的評估中，這比最強大的人類設計對照組 stashuk-olek（1,064.9 μs）提升了 2.71%。該結果在數值上也低於分別報告的 shiyegao CUDA（1,074 μs）、Zeyu Shen Triton（1,140 μs）和 TTT-Discover（1,161 μs）的實作，同時與 K-Search 分別報告的 1,030 μs 相差在 0.59% 以內。
圖 3：七種 GPUMode TriMul H100 工作負載的幾何平均延遲。我們的 AI 系統達到了 1,036.1 μs。數值越低越好。
公開數值取自各自的報告或評估記錄，並非同機配對測量結果。我們的 1,036.1 μs 結果是使用官方評估器在本機測量的。
現有的高效能 TriMul 實作已經使用了融合、專用矩陣乘法、形狀特化以及佈局感知的資料移動。我們的系統最初進一步推動了生產者端的融合，隨後檢測到隨著暫存器壓力增加，回報遞減且依賴於形狀。因此，它將搜尋方向轉向生產者輸出如何被消費。
對於幾種工作負載形狀，我們的 AI 系統識別出 BMM→LayerNorm 邊界是剩餘延遲的來源。由此產生的實作沿著連續的物理維度載入 BMM 輸出，並在 LayerNorm 之前於暫存器中執行所需的轉置。
這個結果在技術上具有重要意義，因為我們的 AI 系統改變了搜尋假設本身：它識別出生產者端優化何時已飽和，將瓶頸重新定位到 BMM→LayerNorm 邊界，並相應地轉移了優化目標。其依賴形狀的計劃進一步表明，該系統能夠隨著瓶頸在工作負載之間移動而進行調整——這是一種比調整固定核心設計更具廣泛價值的能力。
評估四：MLS-Bench — 融合因果注意力核心（H100）
注意力機制是 Transformer 訓練和推理中的主要計算和記憶體瓶頸，因此其效率直接影響模型的速度和成本。現代的融合注意力核心已經過高度優化，幾乎沒有明顯的改進空間；進一步的提升需要重新審視數值演算法以及排程和記憶體移動。
MLS-Bench 的融合因果注意力任務要求 AI 系統在 NVIDIA H100 上實作一個 OpenAI Triton 融合自注意力前向傳遞，最大化三種因果注意力配置的吞吐量，並保持最大絕對誤差低於 1e-2。該基準測試包含了來自 Claude Opus 4.6、GPT-5.4 和 Gemini 3.1 Pro 等前沿模型的結果，提供了來自 Anthropic、OpenAI 和 Google DeepMind 的強大基線。
在三種融合注意力配置中，我們的系統在頭部維度 64、128 和 256 上分別達到了 430.7、468.4 和 451.7 TFLOP/s。這些結果在所有三種配置上都建立了新的最佳紀錄，分別比先前的領先結果提升了 27.18%、15.63% 和 17.11%。
圖 4：三種 MLS-Bench 融合因果注意力工作負載的吞吐量比較。
最大的改進來自於簡化線上 softmax 路徑。標準的 FlashAttention 風格實作會維護一個運行中的最大值，並為了數值穩定性反覆重新縮放累積的 softmax 統計資料。我們的自動化研究系統發現，在 MLS-Bench 工作負載上，縮放後的注意力 logits 保持在一個足夠窄的範圍內，使得可以移除這種反覆的重新縮放，同時仍能滿足基準測試的數值容差。
由此產生的無重新縮放 softmax 直接累積指數和加權值，並在最後進行一次歸一化。這在頭部維度 64、128 和 256 上分別將吞吐量提升了 21.0%、8.5% 和 19.3%。
額外的提升來自於優化特定形狀的排程和記憶體移動，包括 LPT 排程和 TMA。無重新縮放路徑是最有趣的結果，因為它改變了數值演算法內部的一個假設：一個為更廣泛操作範圍設計的穩定性機制，對於正在評估的工作負載來說是不必要的。
更廣泛地說，這個結果指向了一個更大的機會：即使在系統前沿，進一步的收益也可能來自於重新審視那些通常被視為固定的假設。在這種情況下，Apex 的自動化研究系統不僅僅是調整現有核心的參數和排程：它識別出一個在基準測試的操作機制下可以安全省略的數值保護措施，並將這個觀察結果轉化為一條更快的執行路徑。這就是我們感興趣的行為：利用搜尋不僅優化參數和排程，還要挑戰既有實作的結構。
超越基準測試
一個基準測試捕捉一個結果。一個遞迴 AI 系統將其向前推進。 跨四個基準測試，我們的 AI 研究系統已經產生了經過驗證的前沿級改進。其過程遵循一個四階段循環：發現一個高價值的未知領域，驗證候選解決方案，從證據中學習，並改進下一個循環。下一步是遷移——將特定任務的進展轉化為可重複使用的知識，以強化後續的循環。
研究孕育下一條 S 曲線。 科學洞察、新穎研究和工程系統開闢了新的路徑——然後執行和規模化將其轉化為現實世界的產業。當一條 S 曲線趨於平緩時，進一步的進展取決於解鎖下一條曲線。我們相信，即將到來的技術革命將由 AI 作為一個原生研究引擎來定義。
AI 正在從副駕駛轉變為同事。 人類的判斷和想像力指引著什麼是重要的；AI 則擴展了什麼是可以被探索的。它們共同可以發現新的方向，激發新的問題，並構建更強大的模型——在機器發現和人類想像之間創造一個強化循環。Astra 展示了 AI 已達到的境界。什麼能讓它更進一步？幫助發現接下來會發生什麼的能力。
我們公開這些結果，供您檢查、複現和擴展。程式碼、實驗記錄、發現的實作和評估材料現已在 GitHub 和我們的網站上提供。
