Astra가 보여준 AI의 현재 수준, 그 다음 단계는 무엇일까?
오늘날 가장 강력한 모델들의 지속적인 발전은 훈련 전 더 나은 의사 결정, 훈련 중 더 효과적인 전략, 그리고 이 두 가지를 뒷받침하는 더 효율적인 인프라에 달려 있습니다. 이 작업은 여전히 주로 인간 연구자들이 주도하고 있습니다. AI가 이러한 개선 사항을 반복적으로 추구할 수 있게 되면, 발전 속도는 근본적으로 변화합니다. 즉, 검증된 각 진전이 다음 주기를 강화하는 것입니다.
이것이 바로 우리가 AI 훈련 스택 전반에 걸쳐 개선 사항을 발견하고 검증하는 Apex Intelligence의 자동화된 AI 연구 시스템을 구축한 이유입니다.
첫 번째 평가에서, 우리 시스템은 SLDBench SimpleTES, GPUMode TriMul (H100), MLS-Bench Fused Causal Attention Kernel에서 3개의 새로운 공식 SOTA를 달성했습니다. 특히 TriMul 결과는 Stanford, NVIDIA 및 기타 기관의 팀이 달성한 TTT-Discover를 능가했습니다. NanoChat Autoresearch에서는 B200 결과가 Recursive SuperIntelligence와 Tencent Hunyuan의 Hyra의 발표된 결과를 모두 능가하며, 고정 예산 LLM 훈련 부문에서 공개 SOTA에 근접했습니다.
이는 Apex의 자동화된 반복 연구 패러다임이 모델 확장 예측, 고정 예산 언어 모델 훈련, GPU 커널 성능 전반에 걸쳐 최고 수준의 인간 엔지니어링 및 최첨단 자동화 시스템 수준, 경우에 따라서는 그 이상의 성능을 발휘한다는 것을 입증합니다.
각 벤치마크 내에서 연구 주기는 자율적으로 실행됩니다. 시스템은 개선할 사항을 식별하고, 아이디어를 테스트하며, 결과를 검증하고, 증거로부터 학습합니다. 이러한 최첨단 결과는 이후 주기를 위한 더 강력한 출발점을 만들어내며, 이것이 바로 개선이 반복적으로 이루어지는 방식입니다.
평가 I: SLDBench (SimpleTES 4-태스크 프로토콜)
대규모 훈련 실행을 시작하기 전에, 연구자들은 직접 테스트하기에는 비용이 많이 드는 규모에서의 성능을 예측해야 합니다. 스케일링 법칙은 모델 크기, 데이터 구성, 학습률, 배치 크기 및 컴퓨팅에 대한 결정을 안내합니다. 작은 실험에는 잘 맞지만 확장성이 떨어지는 법칙은 전체 훈련 예산을 잘못된 방향으로 이끌 수 있습니다.
SLDBench는 이러한 불확실성을 5,000개 이상의 발표된 LLM 훈련 실험을 기반으로 구축된 측정 가능한 발견 과제로 전환합니다. 각 시스템은 숨겨진 스케일링 영역으로 일반화되는 기호 법칙과 피팅 절차를 생성해야 합니다. SimpleTES에서 사용하는 4가지 태스크 평가에 따라, 우리의 AI 시스템은 병렬 스케일링, 도메인 혼합 스케일링, 학습률/배치 크기 공동 스케일링, U자형 컴퓨트 스케일링에 대해 테스트됩니다.
고정된 공개 평가자 아래에서, 우리 시스템은 모든 태스크에서 이전 공개 참조치를 개선하여 4개 태스크 평균을 0.8613에서 0.8846 (+2.71%) 으로 높였습니다. 가장 큰 향상은 U자형 스케일링에서 나타났으며, 점수가 0.4975에서 0.5761 (+15.80%) 로 상승했습니다. 학습률/배치 크기 공동 스케일링은 0.9506에서 0.9650 (+1.51%) 으로 개선되었으며, 병렬 및 도메인 혼합 스케일링에서도 추가적인 향상이 있었습니다. 이러한 점수는 숨겨진 영역에서의 성능을 측정하며, 피팅에 사용된 실험을 넘어서도 정확하게 유지되는 법칙에 보상을 제공합니다.
그림 1: 우리의 AI 연구 시스템은 선택된 4가지 SLDBench 태스크 모두에서 이전 공개 참조치를 개선하여 평균 숨겨진 점수를 0.8613에서 0.8846으로 높였습니다. 가장 큰 향상은 U자형 스케일링에서 나타났습니다. 높을수록 좋습니다.
가장 명확한 방법 수준의 진전은 U자형 컴퓨트 스케일링에서 나타납니다. 우리의 AI 시스템은 곡선을 지속적인 스케일링 추세와 제한된 컴퓨트 범위에 걸쳐 나타났다가 사라지는 국소적 영역 효과의 합으로 표현합니다. 이 구조는 관찰된 데이터의 일시적 역전이 무기한 투영되는 것을 방지합니다.
이 구분은 평가자가 곡선의 최종 단계를 숨길 때 결정적입니다. 유연한 방정식은 관찰된 굴곡을 재현하면서도 잘못된 방향으로 외삽할 수 있습니다. 과도 구성 요소의 시작, 지속 시간 및 감쇠를 명시적으로 모델링하면 전환점 이후 예측의 정확도가 향상됩니다.
이 결과는 분해가 해석 가능하고 테스트 가능한 상태를 유지하면서 숨겨진 정확도를 향상시키기 때문에 기술적으로 의미가 있습니다. 이는 스케일링 법칙 발견을 위한 재사용 가능한 가설을 제시합니다. 즉, 명백한 역전은 장기적인 스케일링 추세 위에 겹쳐진 일시적 영역을 반영할 수 있다는 것입니다.
평가 II: NanoChat Autoresearch
고정 예산 훈련은 모든 아이디어가 그 가치를 입증하도록 강제합니다. 즉, 개선은 동일한 시간과 하드웨어를 더 효과적으로 사용함으로써 이루어져야 합니다. 이는 NanoChat Autoresearch를 AI 시스템이 신속한 실험을 더 강력한 모델 훈련 구현으로 전환할 수 있는지에 대한 직접적인 테스트로 만듭니다.
Andrej Karpathy가 2026년 3월에 출시한 NanoChat Autoresearch는 에이전트에게 하나의 GPU와 모델 아키텍처, 옵티마이저, 하이퍼파라미터 및 훈련 코드를 수정할 수 있는 자유를 제공합니다. 모든 실험은 동일한 5분 예산을 받고 검증 bits per byte (val_bpb; 낮을수록 좋음)로 점수가 매겨집니다. 이 설정은 이후 autoresearch@home으로 확장되어 인간 참가자와 AI 에이전트가 실험을 공유하고 가장 강력한 공개 솔루션과 경쟁합니다.
고정된 300초 단일 B200 설정에서, 우리의 AI 시스템은 0.892426 val_bpb에 도달하여 공개 최전선에 근접했습니다. 이는 Recursive SuperIntelligence의 2026년 6월 최고 발표 단일 실행 0.903891 및 10-시드 평균 0.9108745, 그리고 Tencent Hunyuan의 2026년 7월 Hyra 결과 0.901543을 능가합니다. 2026년 9월 기준 공개 리더보드 선두인 AutoTrust AI의 ScienceGuru 0.889522에 근접합니다.
그림 2: 고정된 300초 단일 B200 훈련 예산 하에서의 검증 BPB 비교. 낮을수록 좋습니다.
결정적인 개선은 훈련 계산을 통해 n-gram 희소성을 유지함으로써 이루어졌습니다. ScienceGuru 구현은 대규모 n-gram 메모리의 가치를 입증하지만, 각 배치는 해당 행의 극히 일부만 액세스합니다. 우리의 AI 시스템은 훈련 경로에 남아 있는 조밀한 그래디언트 비용을 식별하고, 현재 배치에서 사용된 행만 업데이트하는 컴팩트한 역전파로 대체합니다.
이 변경으로 최대 훈련 메모리가 약 177.7 GB에서 140.6 GB로 20.9% 감소하면서도 SOTA에 근접한 품질을 유지했습니다. 동일한 300초 예산 내에서, 우리의 AI 시스템은 ScienceGuru 구현보다 약 4.5% 적은 토큰을 처리하면서 0.892426 val_bpb에 도달하여, SOTA에 근접한 품질이 더 높은 토큰 처리량에 의존하지 않음을 보여줍니다.
우리의 AI 시스템은 전체 메모리 액세스 경로에 걸쳐 동일한 원칙을 확장합니다. 두 개의 n-gram 테이블 조회, 연결, 활성 행 발견 및 행 등록을 단일 Triton 커널로 융합합니다. 역전파는 결과적인 행-슬롯 매핑을 직접 재사용하여 중복된 인덱싱 작업을 제거하고 조회부터 그래디언트 업데이트까지 희소성을 유지합니다.
이는 희소 모델이 더 이상 조밀한 시스템 비용을 지불하지 않기 때문에 강력한 시스템 결과입니다. 동일한 원칙은 각 배치가 소수의 행 하위 집합만 건드릴 때마다 대규모 임베딩 또는 메모리 테이블을 중심으로 구축된 다른 워크로드로 전환될 수 있습니다.
평가 III: GPUMode TriMul H100
GPU 커널이 대폭 최적화되면, 남은 지연 시간은 가장 명백한 연산에서 거의 발견되지 않습니다. 병목 현상은 융합 경계, 텐서 레이아웃 및 메모리 액세스 경로를 가로질러 이동하므로, 추가 진행은 커널 생성만큼이나 병목 현상 발견의 테스트가 됩니다.
GPUMode TriMul 태스크는 AlphaFold 계열 단백질 구조 모델에 사용되는 발산 삼각형 곱셈 업데이트를 대상으로 합니다. 참가자는 NVIDIA H100에서 7개의 고정된 입력 형태에 걸쳐 기하 평균 지연 시간을 최소화하는 수치적으로 올바른 구현을 생성해야 합니다. 이 태스크는 Stanford, NVIDIA, Astera Institute, UC San Diego 및 Together AI의 연구원들이 2026년 1월에 발표한 TTT-Discover를 포함하여 강력한 인간 및 자동화 솔루션을 끌어모았습니다.
7개의 H100 형태에 걸쳐, 우리의 AI 시스템은 1,036.1 μs의 기하 평균 지연 시간에 도달했습니다. 동일 머신 쌍 평가에서, 이는 가장 강력한 인간 설계 비교 대상인 stashuk-olek (1,064.9 μs)보다 2.71% 개선된 것입니다. 이 결과는 별도로 보고된 shiyegao CUDA (1,074 μs), Zeyu Shen Triton (1,140 μs) 및 TTT-Discover (1,161 μs) 구현보다 수치적으로 낮으며, K-Search의 별도 보고된 1,030 μs에 0.59% 이내로 접근합니다.
그림 3: 7가지 GPUMode TriMul H100 워크로드에 걸친 기하 평균 지연 시간. 우리의 AI 시스템은 1,036.1 μs에 도달합니다. 낮을수록 좋습니다.
공개 값은 각각의 보고서 또는 평가 기록에서 가져온 것이며 동일 머신 쌍 측정값이 아닙니다. 1,036.1 μs 결과는 공식 평가자를 사용하여 로컬에서 측정되었습니다.
기존의 고성능 TriMul 구현은 이미 융합, 특수 행렬 곱셈, 형태 특수화 및 레이아웃 인식 데이터 이동을 사용합니다. 우리 시스템은 초기에 생성자 측 융합을 더욱 추진하다가, 레지스터 압력이 증가함에 따라 수익 체감 및 형태 종속적 수익을 감지합니다. 결과적으로 생성자의 출력이 어떻게 소비되는지에 대한 검색으로 전환합니다.
여러 워크로드 형태에 대해, 우리의 AI 시스템은 BMM→LayerNorm 경계를 지연 시간의 남은 원인으로 식별합니다. 결과적인 구현은 연속적인 물리적 차원을 따라 BMM 출력을 로드하고 LayerNorm 전에 레지스터에서 필요한 전치를 수행합니다.
이 결과는 우리의 AI 시스템이 검색 가설 자체를 변경했기 때문에 기술적으로 중요합니다. 즉, 생성자 측 최적화가 포화되었음을 인식하고, BMM→LayerNorm 경계를 가로질러 병목 현상을 재배치하며, 그에 따라 최적화 대상을 전환합니다. 형태 종속적 계획은 시스템이 워크로드에 따라 병목 현상이 이동함에 따라 적응할 수 있음을 보여주며, 이는 고정된 커널 설계를 조정하는 것보다 더 광범위한 가치를 지닌 능력입니다.
평가 IV: MLS-Bench — Fused Causal Attention Kernel (H100)
어텐션은 Transformer 훈련 및 추론에서 주요 컴퓨팅 및 메모리 병목 현상이므로, 그 효율성은 모델 속도와 비용에 직접적인 영향을 미칩니다. 최신 융합 어텐션 커널은 이미 고도로 최적화되어 있어 명백한 여유 공간이 거의 없습니다. 추가적인 이득을 얻으려면 스케줄링 및 메모리 이동과 함께 수치 알고리즘을 재검토해야 합니다.
MLS-Bench의 Fused Causal Attention 태스크는 AI 시스템이 NVIDIA H100에서 OpenAI Triton 융합 셀프 어텐션 순방향 패스를 구현하고, 3가지 인과 어텐션 구성에 걸쳐 처리량을 최대화하며, 최대 절대 오차를 1e-2 미만으로 유지하도록 요구합니다. 이 벤치마크에는 Claude Opus 4.6, GPT-5.4 및 Gemini 3.1 Pro와 같은 최첨단 모델의 결과가 포함되어 있어 Anthropic, OpenAI 및 Google DeepMind의 강력한 기준선을 제공합니다.
3가지 융합 어텐션 구성에 걸쳐, 우리 시스템은 헤드 차원 64, 128 및 256에서 각각 430.7, 468.4 및 451.7 TFLOP/s에 도달했습니다. 이러한 결과는 세 가지 구성 모두에서 새로운 최고 기록을 수립하며, 이전 최고 결과를 각각 27.18%, 15.63% 및 17.11% 개선했습니다.
그림 4: 3가지 MLS-Bench 융합 인과 어텐션 워크로드에 대한 처리량 비교.
가장 큰 개선은 온라인 소프트맥스 경로를 단순화함으로써 이루어졌습니다. 표준 FlashAttention 스타일 구현은 실행 최대값을 유지하고 수치적 안정성을 위해 누적된 소프트맥스 통계를 반복적으로 재조정합니다. 우리의 자동화된 연구 시스템은 MLS-Bench 워크로드에서 스케일링된 어텐션 로짓이 충분히 좁은 범위 내에 유지되어, 이 반복적인 재조정을 제거하면서도 벤치마크의 수치적 허용 오차를 충족할 수 있음을 발견했습니다.
결과적인 재조정 없는 소프트맥스는 지수 및 가중치 값을 직접 누적하고 마지막에 한 번 정규화합니다. 이는 헤드 차원 64, 128 및 256에 대해 각각 21.0%, 8.5% 및 19.3% 의 처리량 향상을 가져왔습니다.
추가적인 이득은 LPT 스케줄링 및 TMA를 포함한 형태별 스케줄링 및 메모리 이동 최적화에서 비롯되었습니다. 재조정 없는 경로는 수치 알고리즘 내부의 가정을 변경했기 때문에 가장 흥미로운 결과였습니다. 즉, 더 넓은 작동 범위를 위해 설계된 안정성 메커니즘이 평가 중인 워크로드에는 불필요했던 것입니다.
더 광범위하게, 이 결과는 시스템 최전선 근처에서도 일반적으로 고정된 것으로 취급되는 가정을 재검토함으로써 추가적인 이득을 얻을 수 있는 더 넓은 기회를 지적합니다. 이 경우, Apex의 자동화된 연구 시스템은 기존 커널의 매개변수와 스케줄을 조정하는 것을 넘어섰습니다. 벤치마크의 작동 영역에서 안전하게 생략할 수 있는 수치적 안전 장치를 식별하고, 그 관찰을 더 빠른 실행 경로로 전환했습니다. 이것이 바로 우리가 관심을 갖는 행동입니다. 즉, 매개변수와 스케줄을 최적화할 뿐만 아니라 기존 구현의 구조에 도전하기 위해 검색을 사용하는 것입니다.
벤치마크를 넘어서
벤치마크는 결과를 포착합니다. 반복적 AI 시스템은 그 결과를 앞으로 나아가게 합니다. 4개의 벤치마크에 걸쳐, 우리의 AI 연구 시스템은 검증된 최첨단 수준의 개선 사항을 생산했습니다. 그 프로세스는 4단계 루프를 따릅니다. 즉, 가치가 높은 미지의 것을 발견하고, 후보 솔루션을 검증하며, 증거로부터 학습하고, 다음 주기를 개선합니다. 다음 단계는 전이, 즉 태스크별 진전을 다음 주기를 강화하는 재사용 가능한 지식으로 전환하는 것입니다.
연구는 다음 S-곡선을 탄생시킵니다. 과학적 통찰력, 새로운 연구 및 엔지니어링된 시스템은 새로운 경로를 개척하며, 실행과 규모는 이를 실제 산업으로 전환합니다. 하나의 S-곡선이 정체되면, 추가 진전은 다음 곡선을 여는 데 달려 있습니다. 우리는 다가올 기술 혁명이 AI가 고유한 연구 엔진으로 작용함으로써 정의될 것이라고 믿습니다.
AI는 코파일럿에서 동료로 진화하고 있습니다. 인간의 판단과 상상력이 중요한 것을 안내하고, AI는 탐구할 수 있는 범위를 확장합니다. 함께, 그들은 새로운 방향을 발견하고, 새로운 질문에 영감을 주며, 더 강력한 모델을 구축하여 기계 발견과 인간 상상력 사이의 강화 순환을 만들어낼 수 있습니다. Astra가 보여준 AI의 현재 수준, 그 다음 단계는 무엇일까? 바로 다음에 올 것을 발견하는 데 도움을 주는 능력입니다.
저희는 이러한 결과를 여러분이 검사하고, 재현하고, 확장할 수 있도록 공개합니다. 코드, 실험 기록, 발견된 구현 및 평가 자료는 이제 GitHub 및 저희 웹사이트에서 확인하실 수 있습니다.
