Astra cho thấy AI đã tiến xa đến đâu. Điều gì sẽ đưa nó đi xa hơn nữa?
Sự tiến bộ liên tục của các mô hình mạnh nhất hiện nay phụ thuộc vào các quyết định thông minh hơn trước khi huấn luyện, các chiến lược tốt hơn trong quá trình huấn luyện và cơ sở hạ tầng hiệu quả hơn cho cả hai — công việc phần lớn vẫn do các nhà nghiên cứu con người dẫn dắt. Khi AI có thể theo đuổi những cải tiến này một cách đệ quy, tốc độ tiến bộ sẽ thay đổi về cơ bản: mỗi bước tiến đã được xác thực sẽ củng cố cho chu kỳ tiếp theo.
Đây là lý do chúng tôi xây dựng hệ thống nghiên cứu AI tự động của Apex Intelligence để khám phá và xác thực các cải tiến trên toàn bộ quy trình huấn luyện AI.
Trong đánh giá đầu tiên, hệ thống của chúng tôi đã đạt được ba SOTA chính thức mới trên SLDBench SimpleTES, GPUMode TriMul (H100) và MLS-Bench Fused Causal Attention Kernel, với kết quả TriMul vượt qua TTT-Discover từ một nhóm bao gồm Stanford, NVIDIA và các tổ chức khác. Trên NanoChat Autoresearch, kết quả B200 của nó vượt trội hơn các kết quả đã công bố từ cả Recursive SuperIntelligence và Hyra của Tencent Hunyuan, đưa nó đến gần với SOTA công khai cho việc huấn luyện LLM với ngân sách cố định.
Điều này chứng minh rằng mô hình nghiên cứu đệ quy tự động của Apex hoạt động ở cấp độ ngang bằng—và trong một số trường hợp vượt trội hơn—các kỹ thuật hàng đầu của con người và các hệ thống tự động hiện đại nhất trên dự đoán tỷ lệ mô hình, huấn luyện mô hình ngôn ngữ với ngân sách cố định và hiệu suất nhân GPU.
Trong mỗi điểm chuẩn, chu trình nghiên cứu diễn ra một cách tự động: hệ thống xác định những gì cần cải thiện, kiểm tra các ý tưởng của mình, xác thực kết quả và học hỏi từ các bằng chứng. Những kết quả đẳng cấp thế giới này tạo ra các điểm khởi đầu mạnh mẽ hơn cho các chu kỳ tiếp theo—đây là cách cải tiến trở nên đệ quy.
Đánh giá I: SLDBench (Giao thức 4 tác vụ SimpleTES)
Trước khi một đợt huấn luyện lớn bắt đầu, các nhà nghiên cứu phải dự đoán hiệu suất ở các quy mô mà họ không đủ khả năng kiểm tra trực tiếp. Các định luật tỷ lệ hướng dẫn các quyết định về kích thước mô hình, thành phần dữ liệu, tốc độ học, kích thước lô và sức mạnh tính toán; một định luật phù hợp với các thí nghiệm nhỏ nhưng ngoại suy kém có thể dẫn sai toàn bộ ngân sách huấn luyện.
SLDBench biến sự không chắc chắn này thành một nhiệm vụ khám phá có thể đo lường được, được xây dựng từ hơn 5.000 thí nghiệm huấn luyện LLM đã được công bố. Mỗi hệ thống phải tạo ra một định luật tượng trưng và một quy trình khớp để tổng quát hóa cho các chế độ tỷ lệ chưa được thấy. Theo đánh giá bốn tác vụ được SimpleTES sử dụng, hệ thống AI của chúng tôi được kiểm tra trên tỷ lệ song song, tỷ lệ hỗn hợp miền, tỷ lệ đồng thời tốc độ học/kích thước lô và tỷ lệ tính toán hình chữ U.
Theo các bộ đánh giá công khai cố định, hệ thống của chúng tôi cải thiện tham chiếu công khai trước đó trên mọi tác vụ, nâng điểm trung bình bốn tác vụ từ 0,8613 lên 0,8846 (+2,71%). Mức tăng lớn nhất đến từ tỷ lệ hình chữ U, nơi điểm số tăng từ 0,4975 lên 0,5761 (+15,80%). Tỷ lệ đồng thời tốc độ học/kích thước lô cải thiện từ 0,9506 lên 0,9650 (+1,51%), cùng với các mức tăng thêm trên tỷ lệ song song và hỗn hợp miền. Các điểm số này đo lường hiệu suất trên các chế độ chưa được thấy, khen thưởng các định luật vẫn chính xác ngoài các thí nghiệm được sử dụng để khớp chúng.
Hình 1: Hệ thống nghiên cứu AI của chúng tôi cải thiện tham chiếu công khai trước đó trên tất cả bốn tác vụ SLDBench đã chọn, nâng điểm trung bình giữ lại từ 0,8613 lên 0,8846. Mức tăng lớn nhất là trên tỷ lệ hình chữ U. Cao hơn là tốt hơn.
Bước tiến rõ ràng nhất ở cấp độ phương pháp xuất hiện trên tỷ lệ tính toán hình chữ U. Hệ thống AI của chúng tôi biểu diễn đường cong dưới dạng tổng của một xu hướng tỷ lệ bền vững và một hiệu ứng chế độ cục bộ xuất hiện trong một phạm vi tính toán giới hạn và sau đó suy giảm. Cấu trúc này ngăn chặn sự đảo ngược tạm thời trong dữ liệu quan sát được chiếu ra vô thời hạn.
Sự khác biệt trở nên quyết định khi bộ đánh giá giữ lại giai đoạn cuối của đường cong. Các phương trình linh hoạt có thể tái tạo độ cong quan sát được trong khi ngoại suy theo hướng sai; việc mô hình hóa rõ ràng sự khởi phát, thời gian và sự suy giảm của thành phần nhất thời tạo ra các dự đoán chính xác hơn sau điểm ngoặt.
Kết quả có ý nghĩa về mặt kỹ thuật vì sự phân rã cải thiện độ chính xác giữ lại trong khi vẫn có thể giải thích và kiểm tra được. Nó gợi ý một giả thuyết có thể tái sử dụng cho việc khám phá định luật tỷ lệ: một sự đảo ngược rõ ràng có thể phản ánh một chế độ tạm thời được xếp lớp trên một xu hướng tỷ lệ dài hạn.
Đánh giá II: NanoChat Autoresearch
Huấn luyện với ngân sách cố định buộc mọi ý tưởng phải chứng minh giá trị của nó: các cải tiến phải đến từ việc sử dụng cùng một thời gian và phần cứng hiệu quả hơn. Điều này làm cho NanoChat Autoresearch trở thành một bài kiểm tra trực tiếp về việc liệu một hệ thống AI có thể biến thử nghiệm nhanh chóng thành một triển khai huấn luyện mô hình mạnh mẽ hơn hay không.
Được phát hành bởi Andrej Karpathy vào tháng 3 năm 2026, NanoChat Autoresearch cung cấp cho một tác nhân một GPU và quyền tự do sửa đổi kiến trúc mô hình, bộ tối ưu hóa, siêu tham số và mã huấn luyện. Mỗi thí nghiệm nhận được cùng một ngân sách năm phút và được tính điểm bằng bits trên byte xác thực (val_bpb; thấp hơn là tốt hơn). Thiết lập này sau đó đã mở rộng thành autoresearch@home, nơi những người tham gia là con người và các tác nhân AI chia sẻ thí nghiệm và cạnh tranh với các giải pháp công khai mạnh nhất.
Trong cài đặt B200 đơn cố định 300 giây, hệ thống AI của chúng tôi đạt 0,892426 val_bpb, đưa nó đến gần ranh giới công khai. Điều này vượt qua lần chạy đơn công bố tốt nhất tháng 6 năm 2026 của Recursive SuperIntelligence là 0,903891 và giá trị trung bình 10 hạt giống là 0,9108745, cũng như kết quả Hyra tháng 7 năm 2026 của Tencent Hunyuan là 0,901543. Nó tiến gần đến người dẫn đầu bảng xếp hạng công khai tính đến tháng 9 năm 2026, ScienceGuru của AutoTrust AI, ở mức 0,889522.
Hình 2: So sánh BPB xác thực dưới ngân sách huấn luyện B200 đơn cố định 300 giây. Thấp hơn là tốt hơn.
Cải tiến quyết định đến từ việc mang tính thưa thớt n-gram xuyên suốt quá trình tính toán huấn luyện. Triển khai ScienceGuru chứng minh giá trị của bộ nhớ n-gram lớn, nhưng mỗi lô chỉ truy cập một phần nhỏ các hàng của chúng. Hệ thống AI của chúng tôi xác định các chi phí gradient dày đặc còn lại trong đường dẫn huấn luyện và thay thế chúng bằng một lượt truyền ngược nhỏ gọn chỉ cập nhật các hàng được sử dụng bởi lô hiện tại.
Sự thay đổi này cắt giảm bộ nhớ huấn luyện cao điểm từ khoảng 177,7 GB xuống còn 140,6 GB—giảm 20,9%—trong khi vẫn duy trì chất lượng gần SOTA. Trong cùng một ngân sách 300 giây, hệ thống AI của chúng tôi đạt 0,892426 val_bpb trong khi xử lý ít hơn khoảng 4,5% token so với triển khai ScienceGuru, cho thấy chất lượng gần SOTA không phụ thuộc vào thông lượng token cao hơn.
Hệ thống AI của chúng tôi mở rộng cùng một nguyên tắc trên toàn bộ đường dẫn truy cập bộ nhớ. Nó hợp nhất hai tra cứu bảng n-gram, nối, khám phá hàng hoạt động và đăng ký hàng thành một nhân Triton duy nhất. Lượt truyền ngược trực tiếp tái sử dụng ánh xạ hàng-đến-vị trí kết quả, loại bỏ công việc lập chỉ mục trùng lặp và bảo toàn tính thưa thớt từ tra cứu đến cập nhật gradient.
Đây là một kết quả hệ thống mạnh mẽ vì một mô hình thưa thớt không còn phải trả chi phí hệ thống dày đặc. Cùng một nguyên tắc có thể chuyển giao cho các khối lượng công việc khác được xây dựng xung quanh các bảng nhúng hoặc bộ nhớ lớn bất cứ khi nào mỗi lô chỉ chạm vào một tập hợp con nhỏ các hàng.
Đánh giá III: GPUMode TriMul H100
Khi một nhân GPU đã được tối ưu hóa mạnh mẽ, độ trễ còn lại hiếm khi nằm ở thao tác rõ ràng nhất. Các nút thắt cổ chai di chuyển qua các ranh giới hợp nhất, bố cục tensor và đường dẫn truy cập bộ nhớ, khiến cho việc tiến xa hơn trở thành một bài kiểm tra về khả năng khám phá nút thắt cổ chai cũng như tạo nhân.
Tác vụ GPUMode TriMul nhắm mục tiêu vào Cập nhật Nhân tam giác đi ra được sử dụng trong các mô hình cấu trúc protein lớp AlphaFold. Những người tham gia phải tạo ra một triển khai chính xác về mặt số học để giảm thiểu độ trễ trung bình hình học trên bảy hình dạng đầu vào cố định trên NVIDIA H100. Tác vụ này đã thu hút các giải pháp mạnh mẽ từ con người và tự động, bao gồm TTT-Discover, được công bố vào tháng 1 năm 2026 bởi các nhà nghiên cứu từ Stanford, NVIDIA, Viện Astera, UC San Diego và Together AI.
Trên bảy hình dạng H100, hệ thống AI của chúng tôi đạt độ trễ trung bình hình học là 1.036,1 μs. Trong đánh giá cặp trên cùng một máy của chúng tôi, điều này cải thiện so với so sánh do con người thiết kế mạnh nhất, stashuk-olek (1.064,9 μs), với 2,71%. Kết quả này cũng thấp hơn về mặt số học so với các triển khai được báo cáo riêng biệt từ shiyegao CUDA (1.074 μs), Zeyu Shen Triton (1.140 μs) và TTT-Discover (1.161 μs), đồng thời nằm trong khoảng 0,59% so với 1.030 μs được báo cáo riêng biệt của K-Search.
Hình 3: Độ trễ trung bình hình học trên bảy khối lượng công việc GPUMode TriMul H100. Hệ thống AI của chúng tôi đạt 1.036,1 μs. Thấp hơn là tốt hơn.
Các giá trị công khai được lấy từ các báo cáo hoặc hồ sơ đánh giá tương ứng của chúng và không phải là các phép đo cặp trên cùng một máy. Kết quả 1.036,1 μs của chúng tôi được đo cục bộ bằng bộ đánh giá chính thức.
Các triển khai TriMul hiệu suất cao hiện có đã sử dụng hợp nhất, nhân ma trận chuyên biệt, chuyên biệt hóa hình dạng và di chuyển dữ liệu nhận biết bố cục. Hệ thống của chúng tôi ban đầu thúc đẩy hợp nhất phía nhà sản xuất xa hơn, sau đó phát hiện lợi nhuận giảm dần và phụ thuộc vào hình dạng khi áp lực thanh ghi tăng lên. Do đó, nó chuyển hướng tìm kiếm sang cách đầu ra của nhà sản xuất được tiêu thụ.
Đối với một số hình dạng khối lượng công việc, hệ thống AI của chúng tôi xác định ranh giới BMM→LayerNorm là nguồn độ trễ còn lại. Triển khai kết quả tải đầu ra BMM dọc theo chiều vật lý liền kề và thực hiện chuyển vị cần thiết trong các thanh ghi trước LayerNorm.
Kết quả có ý nghĩa về mặt kỹ thuật vì hệ thống AI của chúng tôi tự thay đổi giả thuyết tìm kiếm: nó nhận ra khi nào tối ưu hóa phía nhà sản xuất đã bão hòa, định vị lại nút thắt cổ chai qua ranh giới BMM→LayerNorm và chuyển mục tiêu tối ưu hóa cho phù hợp. Các kế hoạch phụ thuộc vào hình dạng của nó cho thấy hệ thống có thể thích ứng khi các nút thắt cổ chai di chuyển qua các khối lượng công việc—một khả năng có giá trị rộng hơn là chỉ điều chỉnh một thiết kế nhân cố định.
Đánh giá IV: MLS-Bench — Nhân Chú ý Nhân quả Hợp nhất (H100)
Sự chú ý là một nút thắt cổ chai lớn về tính toán và bộ nhớ trong quá trình huấn luyện và suy luận Transformer, do đó hiệu quả của nó ảnh hưởng trực tiếp đến tốc độ và chi phí của mô hình. Các nhân chú ý hợp nhất hiện đại đã được tối ưu hóa cao, để lại ít khoảng trống rõ ràng; những cải tiến tiếp theo đòi hỏi phải xem xét lại thuật toán số cùng với lập lịch và di chuyển bộ nhớ.
Tác vụ Chú ý Nhân quả Hợp nhất của MLS-Bench yêu cầu các hệ thống AI triển khai một lượt truyền xuôi tự chú ý hợp nhất OpenAI Triton trên NVIDIA H100, tối đa hóa thông lượng trên ba cấu hình chú ý nhân quả và duy trì sai số tuyệt đối tối đa dưới 1e-2. Điểm chuẩn bao gồm các kết quả từ các mô hình tiên tiến như Claude Opus 4.6, GPT-5.4 và Gemini 3.1 Pro, cung cấp các đường cơ sở mạnh mẽ từ Anthropic, OpenAI và Google DeepMind.
Trên ba cấu hình chú ý hợp nhất, hệ thống của chúng tôi đạt 430,7, 468,4 và 451,7 TFLOP/s trên các kích thước đầu 64, 128 và 256. Các kết quả này thiết lập một kỷ lục mới trên cả ba cấu hình, cải thiện so với các kết quả dẫn đầu trước đó lần lượt là 27,18%, 15,63% và 17,11%.
Hình 4: So sánh thông lượng trên ba khối lượng công việc chú ý nhân quả hợp nhất của MLS-Bench.
Cải tiến lớn nhất đến từ việc đơn giản hóa đường dẫn softmax trực tuyến. Các triển khai kiểu FlashAttention tiêu chuẩn duy trì một giá trị tối đa đang chạy và liên tục điều chỉnh lại tỷ lệ các thống kê softmax tích lũy để ổn định số học. Hệ thống nghiên cứu tự động của chúng tôi nhận thấy rằng, trên các khối lượng công việc MLS-Bench, các logit chú ý đã được chia tỷ lệ nằm trong một phạm vi đủ hẹp, cho phép loại bỏ việc điều chỉnh lại tỷ lệ lặp đi lặp lại này trong khi vẫn đáp ứng dung sai số học của điểm chuẩn.
Softmax không điều chỉnh lại tỷ lệ kết quả trực tiếp tích lũy các số mũ và các giá trị có trọng số và chuẩn hóa một lần ở cuối. Điều này cải thiện thông lượng lên 21,0%, 8,5% và 19,3% cho các kích thước đầu 64, 128 và 256.
Các cải tiến bổ sung đến từ việc tối ưu hóa lập lịch cụ thể theo hình dạng và di chuyển bộ nhớ, bao gồm lập lịch LPT và TMA. Đường dẫn không điều chỉnh lại tỷ lệ là kết quả thú vị nhất vì nó đã thay đổi một giả định bên trong chính thuật toán số: một cơ chế ổn định được thiết kế cho một phạm vi hoạt động rộng hơn là không cần thiết cho khối lượng công việc đang được đánh giá.
Rộng hơn, kết quả này chỉ ra một cơ hội rộng lớn hơn rằng ngay cả gần ranh giới hệ thống, những cải tiến tiếp theo có thể đến từ việc xem xét lại các giả định thường được coi là cố định. Trong trường hợp này, hệ thống nghiên cứu tự động của Apex đã vượt ra ngoài việc điều chỉnh các tham số và lịch trình của một nhân hiện có: nó xác định một biện pháp bảo vệ số học có thể được bỏ qua một cách an toàn trong chế độ hoạt động của điểm chuẩn và biến quan sát đó thành một đường dẫn thực thi nhanh hơn. Đây là loại hành vi mà chúng tôi quan tâm: sử dụng tìm kiếm không chỉ để tối ưu hóa các tham số và lịch trình, mà còn để thách thức cấu trúc của các triển khai đã được thiết lập.
Vượt ra ngoài các Điểm chuẩn
Một điểm chuẩn ghi lại một kết quả. Một hệ thống AI đệ quy mang nó về phía trước. Trên bốn điểm chuẩn, hệ thống nghiên cứu AI của chúng tôi đã tạo ra các cải tiến đẳng cấp thế giới đã được xác thực. Quy trình của nó tuân theo một vòng lặp bốn giai đoạn: khám phá một ẩn số có giá trị cao, xác thực các giải pháp ứng viên, học hỏi từ các bằng chứng và cải thiện chu kỳ tiếp theo. Bước tiếp theo là chuyển giao—biến các tiến bộ dành riêng cho tác vụ thành kiến thức có thể tái sử dụng để củng cố các chu kỳ tiếp theo.
Nghiên cứu khai sinh ra đường cong S tiếp theo. Cái nhìn sâu sắc khoa học, nghiên cứu mới lạ và các hệ thống kỹ thuật mở ra những con đường mới—mà việc thực thi và quy mô sau đó biến thành các ngành công nghiệp trong thế giới thực. Khi một đường cong S đi đến cao nguyên, tiến bộ tiếp theo phụ thuộc vào việc mở khóa đường cong tiếp theo. Chúng tôi tin rằng cuộc cách mạng công nghệ sắp tới sẽ được định nghĩa bởi AI hoạt động như một động cơ nghiên cứu bản địa.
AI đang chuyển từ trợ lý sang đồng nghiệp. Phán đoán và trí tưởng tượng của con người hướng dẫn những gì quan trọng; AI mở rộng những gì có thể được khám phá. Cùng nhau, họ có thể khám phá những hướng đi mới, truyền cảm hứng cho những câu hỏi mới và xây dựng các mô hình có năng lực hơn—tạo ra một vòng lặp củng cố giữa khám phá máy móc và trí tưởng tượng của con người. Astra cho thấy AI đã tiến xa đến đâu. Điều gì sẽ đưa nó đi xa hơn nữa? Khả năng giúp khám phá những gì tiếp theo.
Chúng tôi đang công bố những kết quả này để bạn kiểm tra, tái tạo và mở rộng. Mã nguồn, hồ sơ thí nghiệm, các triển khai đã khám phá và tài liệu đánh giá hiện có sẵn trên GitHub và trang web của chúng tôi.
