Astra mostra quanto l'IA sia avanzata. Cosa la porta oltre?
Il progresso continuo dei modelli più capaci di oggi dipende da decisioni più intelligenti prima dell'addestramento, strategie migliori durante l'addestramento e un'infrastruttura più efficiente alla base di entrambi—un lavoro ancora in gran parte guidato da ricercatori umani. Quando l'IA potrà perseguire questi miglioramenti in modo ricorsivo, il ritmo del progresso cambierà radicalmente: ogni avanzamento verificato rafforzerà il ciclo successivo.
Ecco perché abbiamo costruito il sistema di ricerca automatizzata sull'IA di Apex Intelligence per scoprire e convalidare miglioramenti nell'intero stack di addestramento dell'IA.
Nella sua prima valutazione, il nostro sistema ha raggiunto tre nuovi SOTA ufficiali su SLDBench SimpleTES, GPUMode TriMul (H100) e MLS-Bench Fused Causal Attention Kernel, con il suo risultato TriMul che ha superato TTT-Discover di un team comprendente Stanford, NVIDIA e altre istituzioni. Su NanoChat Autoresearch, il suo risultato B200 ha superato i risultati pubblicati sia da Recursive SuperIntelligence che da Hyra di Tencent Hunyuan, posizionandosi vicino al SOTA pubblico per l'addestramento LLM a budget fisso.
Questo dimostra che il paradigma di ricerca ricorsiva automatizzata di Apex opera al livello—e in alcuni casi oltre—dell'ingegneria umana di alto livello e dei sistemi automatizzati all'avanguardia in previsione di scaling dei modelli, addestramento di modelli linguistici a budget fisso e prestazioni dei kernel GPU.
All'interno di ogni benchmark, il ciclo di ricerca procede in modo autonomo: il sistema identifica cosa migliorare, testa le sue idee, verifica i risultati e impara dalle evidenze. Questi risultati all'avanguardia creano punti di partenza più solidi per i cicli successivi—è così che il miglioramento diventa ricorsivo.
Valutazione I: SLDBench (Protocollo SimpleTES a 4 Attività)
Prima che inizi un grande ciclo di addestramento, i ricercatori devono prevedere le prestazioni a scale che non possono permettersi di testare direttamente. Le leggi di scaling guidano le decisioni sulla dimensione del modello, la composizione dei dati, il tasso di apprendimento, la dimensione del batch e il calcolo; una legge che si adatta a piccoli esperimenti ma estrapola male può indirizzare male l'intero budget di addestramento.
SLDBench trasforma questa incertezza in un'attività di scoperta misurabile costruita da oltre 5.000 esperimenti di addestramento LLM pubblicati. Ogni sistema deve produrre una legge simbolica e una procedura di adattamento che generalizzino a regimi di scaling non visti. Seguendo la valutazione a quattro attività utilizzata da SimpleTES, il nostro sistema IA viene testato su scaling parallelo, scaling della miscela di domini, co-scaling del tasso di apprendimento/dimensione del batch e scaling computazionale a forma di U.
Sotto i valutatori pubblici fissi, il nostro sistema migliora il precedente riferimento pubblico su ogni attività, aumentando la media delle quattro attività da 0,8613 a 0,8846 (+2,71%). Il guadagno maggiore si verifica sullo scaling a forma di U, dove il punteggio sale da 0,4975 a 0,5761 (+15,80%). Il co-scaling del tasso di apprendimento/dimensione del batch migliora da 0,9506 a 0,9650 (+1,51%), con ulteriori guadagni sullo scaling parallelo e sulla miscela di domini. Questi punteggi misurano le prestazioni su regimi non visti, premiando le leggi che rimangono accurate oltre gli esperimenti utilizzati per adattarle.
Figura 1: Il nostro sistema di ricerca IA migliora il precedente riferimento pubblico in tutte e quattro le attività SLDBench selezionate, aumentando il punteggio medio non visto da 0,8613 a 0,8846. Il guadagno maggiore è sullo scaling a forma di U. Più alto è meglio.
Il progresso metodologico più chiaro appare sullo scaling computazionale a forma di U. Il nostro sistema IA rappresenta la curva come la somma di un trend di scaling persistente e un effetto di regime localizzato che emerge su un intervallo di calcolo limitato e poi decade. Questa struttura impedisce che un'inversione temporanea nei dati osservati venga proiettata indefinitamente.
La distinzione diventa decisiva quando il valutatore nasconde la fase finale della curva. Equazioni flessibili possono riprodurre la piega osservata estrapolando nella direzione sbagliata; modellare esplicitamente l'inizio, la durata e il decadimento della componente transitoria produce previsioni più accurate dopo il punto di svolta.
Il risultato è tecnicamente significativo perché la scomposizione migliora l'accuratezza non vista rimanendo interpretabile e testabile. Suggerisce un'ipotesi riutilizzabile per la scoperta di leggi di scaling: un'inversione apparente può riflettere un regime temporaneo sovrapposto a un trend di scaling a lungo termine.
Valutazione II: NanoChat Autoresearch
L'addestramento a budget fisso costringe ogni idea a guadagnarsi il suo posto: i miglioramenti devono provenire dall'uso più efficace dello stesso tempo e hardware. Questo rende NanoChat Autoresearch un test diretto di se un sistema IA può trasformare la sperimentazione rapida in un'implementazione di addestramento del modello più forte.
Rilasciato da Andrej Karpathy a marzo 2026, NanoChat Autoresearch fornisce a un agente una GPU e la libertà di modificare l'architettura del modello, l'ottimizzatore, gli iperparametri e il codice di addestramento. Ogni esperimento riceve lo stesso budget di cinque minuti e viene valutato in base ai bit per byte di convalida (val_bpb; più basso è meglio). La configurazione si è da allora espansa in autoresearch@home, dove partecipanti umani e agenti IA condividono esperimenti e competono contro le soluzioni pubbliche più forti.
Con l'impostazione fissa di 300 secondi su singola B200, il nostro sistema IA raggiunge 0,892426 val_bpb, posizionandosi vicino alla frontiera pubblica. Questo supera il miglior singolo run pubblicato di Recursive SuperIntelligence del giugno 2026 di 0,903891 e la media su 10 seed di 0,9108745, così come il risultato Hyra di Tencent Hunyuan del luglio 2026 di 0,901543. Si avvicina al leader della classifica pubblica a settembre 2026, ScienceGuru di AutoTrust AI, a 0,889522.
Figura 2: Confronto BPB di convalida con il budget di addestramento fisso di 300 secondi su singola B200. Più basso è meglio.
Il miglioramento decisivo deriva dal trasportare la sparsità degli n-grammi attraverso il calcolo di addestramento. L'implementazione di ScienceGuru dimostra il valore delle grandi memorie di n-grammi, ma ogni batch accede solo a una piccola frazione delle loro righe. Il nostro sistema IA identifica i costi di gradiente densi che rimangono nel percorso di addestramento e li sostituisce con un passaggio all'indietro compatto che aggiorna solo le righe utilizzate dal batch corrente.
Questa modifica riduce la memoria di picco di addestramento da circa 177,7 GB a 140,6 GB—una riduzione del 20,9%—mantenendo una qualità vicina al SOTA. All'interno dello stesso budget di 300 secondi, il nostro sistema IA raggiunge 0,892426 val_bpb elaborando circa il 4,5% in meno di token rispetto all'implementazione di ScienceGuru, dimostrando che la qualità vicina al SOTA non dipende da un throughput di token più elevato.
Il nostro sistema IA estende lo stesso principio attraverso l'intero percorso di accesso alla memoria. Fonde due ricerche nella tabella degli n-grammi, la concatenazione, la scoperta delle righe attive e la registrazione delle righe in un singolo kernel Triton. Il passaggio all'indietro riutilizza direttamente la mappatura riga-slot risultante, eliminando il lavoro di indicizzazione duplicato e preservando la sparsità dalla ricerca all'aggiornamento del gradiente.
Questo è un forte risultato di sistema perché un modello sparso non paga più i costi dei sistemi densi. Lo stesso principio può trasferirsi ad altri carichi di lavoro costruiti attorno a grandi tabelle di embedding o memoria ogni volta che ogni batch tocca solo un piccolo sottoinsieme di righe.
Valutazione III: GPUMode TriMul H100
Una volta che un kernel GPU è pesantemente ottimizzato, la latenza rimanente si trova raramente nell'operazione più ovvia. I colli di bottiglia si spostano attraverso i confini di fusione, i layout dei tensori e i percorsi di accesso alla memoria, rendendo l'ulteriore progresso un test di scoperta dei colli di bottiglia tanto quanto di generazione del kernel.
L'attività GPUMode TriMul ha come obiettivo l'aggiornamento moltiplicativo triangolare in uscita utilizzato nei modelli di struttura proteica di classe AlphaFold. I partecipanti devono produrre un'implementazione numericamente corretta che minimizzi la latenza media geometrica su sette forme di input fisse su una NVIDIA H100. L'attività ha attratto forti soluzioni umane e automatizzate, incluso TTT-Discover, pubblicato a gennaio 2026 da ricercatori di Stanford, NVIDIA, Astera Institute, UC San Diego e Together AI.
Sulle sette forme H100, il nostro sistema IA raggiunge una latenza media geometrica di 1.036,1 μs. Nella nostra valutazione accoppiata sulla stessa macchina, questo migliora il confronto umano più forte progettato, stashuk-olek (1.064,9 μs), del 2,71%. Il risultato è anche numericamente inferiore alle implementazioni riportate separatamente da shiyegao CUDA (1.074 μs), Zeyu Shen Triton (1.140 μs) e TTT-Discover (1.161 μs), mentre si avvicina al 0,59% del 1.030 μs riportato separatamente da K-Search.
Figura 3: Latenza media geometrica sui sette carichi di lavoro GPUMode TriMul H100. Il nostro sistema IA raggiunge 1.036,1 μs. Più basso è meglio.
I valori pubblici sono tratti dai rispettivi rapporti o registri di valutazione e non sono misurazioni accoppiate sulla stessa macchina. Il nostro risultato di 1.036,1 μs è misurato localmente utilizzando il valutatore ufficiale.
Le implementazioni TriMul ad alte prestazioni esistenti utilizzano già fusione, moltiplicazione di matrici specializzata, specializzazione della forma e movimento dei dati consapevole del layout. Il nostro sistema inizialmente spinge ulteriormente la fusione lato produttore, poi rileva rendimenti decrescenti e dipendenti dalla forma all'aumentare della pressione dei registri. Di conseguenza, sposta la ricerca verso come viene consumato l'output del produttore.
Per diverse forme di carico di lavoro, il nostro sistema IA identifica il confine BMM→LayerNorm come la fonte rimanente di latenza. L'implementazione risultante carica gli output BMM lungo la dimensione fisica contigua ed esegue la trasposizione richiesta nei registri prima di LayerNorm.
Il risultato è tecnicamente significativo perché il nostro sistema IA cambia l'ipotesi di ricerca stessa: riconosce quando l'ottimizzazione lato produttore si è saturata, rilocalizza il collo di bottiglia attraverso il confine BMM→LayerNorm e sposta di conseguenza l'obiettivo di ottimizzazione. I suoi piani dipendenti dalla forma mostrano inoltre che il sistema può adattarsi man mano che i colli di bottiglia si spostano tra i carichi di lavoro—una capacità con un valore più ampio della semplice ottimizzazione di un progetto di kernel fisso.
Valutazione IV: MLS-Bench — Kernel di Attenzione Causale Fusa (H100)
L'attenzione è un importante collo di bottiglia computazionale e di memoria nell'addestramento e nell'inferenza dei Transformer, quindi la sua efficienza influisce direttamente sulla velocità e sul costo del modello. I kernel di attenzione fusa moderni sono già altamente ottimizzati, lasciando poco margine di miglioramento evidente; ulteriori guadagni richiedono di rivisitare l'algoritmo numerico insieme alla pianificazione e al movimento della memoria.
L'attività di Attenzione Causale Fusa di MLS-Bench chiede ai sistemi IA di implementare un forward pass di self-attenzione fusa OpenAI Triton su una NVIDIA H100, massimizzare il throughput attraverso tre configurazioni di attenzione causale e mantenere un errore assoluto massimo inferiore a 1e-2. Il benchmark include risultati di modelli all'avanguardia come Claude Opus 4.6, GPT-5.4 e Gemini 3.1 Pro, fornendo forti basi di riferimento da Anthropic, OpenAI e Google DeepMind.
Nelle tre configurazioni di attenzione fusa, il nostro sistema raggiunge 430,7, 468,4 e 451,7 TFLOP/s attraverso le dimensioni della testa 64, 128 e 256. Questi risultati stabiliscono un nuovo record su tutte e tre le configurazioni, migliorando i precedenti risultati leader rispettivamente del 27,18%, 15,63% e 17,11%.
Figura 4: Confronto del throughput sui tre carichi di lavoro di attenzione causale fusa di MLS-Bench.
Il miglioramento più grande è derivato dalla semplificazione del percorso softmax online. Le implementazioni standard in stile FlashAttention mantengono un massimo corrente e riscalano ripetutamente le statistiche softmax accumulate per la stabilità numerica. Il nostro sistema di ricerca automatizzato ha scoperto che, sui carichi di lavoro MLS-Bench, i logit di attenzione scalati rimangono entro un intervallo sufficientemente ristretto, consentendo di rimuovere questo riscalamento ripetuto pur soddisfacendo la tolleranza numerica del benchmark.
Il softmax senza riscalamento risultante accumula direttamente esponenziali e valori pesati e normalizza una volta alla fine. Ciò ha migliorato il throughput del 21,0%, 8,5% e 19,3% rispettivamente per le dimensioni della testa 64, 128 e 256.
Ulteriori guadagni sono derivati dall'ottimizzazione della pianificazione specifica della forma e del movimento della memoria, inclusa la pianificazione LPT e TMA. Il percorso senza riscalamento è stato il risultato più interessante perché ha cambiato un'ipotesi all'interno dell'algoritmo numerico stesso: un meccanismo di stabilità progettato per un intervallo operativo più ampio non era necessario per il carico di lavoro in fase di valutazione.
Più in generale, questo risultato indica un'opportunità più ampia: anche vicino alla frontiera dei sistemi, ulteriori guadagni possono derivare dal rivisitare ipotesi che sono tipicamente trattate come fisse. In questo caso, il sistema di ricerca automatizzato di Apex è andato oltre la semplice ottimizzazione dei parametri e delle pianificazioni di un kernel esistente: ha identificato una salvaguardia numerica che poteva essere tranquillamente omessa nel regime operativo del benchmark e ha trasformato quell'osservazione in un percorso di esecuzione più veloce. Questo è il tipo di comportamento che ci interessa: utilizzare la ricerca non solo per ottimizzare parametri e pianificazioni, ma anche per sfidare la struttura delle implementazioni consolidate.
Oltre i Benchmark
Un benchmark cattura un risultato. Un sistema IA ricorsivo lo porta avanti. Attraverso quattro benchmark, il nostro sistema di ricerca IA ha prodotto miglioramenti verificati a livello di frontiera. Il suo processo segue un ciclo in quattro fasi: scoprire un valore sconosciuto elevato, verificare le soluzioni candidate, imparare dalle evidenze e migliorare il ciclo successivo. Il passo successivo è il trasferimento—trasformare i progressi specifici dell'attività in conoscenza riutilizzabile che rafforza i cicli successivi.
La ricerca genera la prossima curva a S. L'intuizione scientifica, la ricerca innovativa e i sistemi ingegnerizzati tracciano nuovi percorsi—che l'esecuzione e la scala trasformano poi in industrie del mondo reale. Quando una curva a S si appiattisce, l'ulteriore progresso dipende dallo sbloccare la successiva. Crediamo che la prossima rivoluzione tecnologica sarà definita dall'IA che agisce come un motore di ricerca nativo.
L'IA si sta evolvendo da copilota a collega. Il giudizio e l'immaginazione umani guidano ciò che è importante; l'IA espande ciò che può essere esplorato. Insieme, possono scoprire nuove direzioni, ispirare nuove domande e costruire modelli più capaci—creando un ciclo di rinforzo tra scoperta della macchina e immaginazione umana. Astra mostra quanto l'IA sia avanzata. Cosa la porta oltre? La capacità di aiutare a scoprire cosa verrà dopo.
Stiamo aprendo questi risultati per consentirvi di ispezionarli, riprodurli ed estenderli. Il codice, i registri degli esperimenti, le implementazioni scoperte e i materiali di valutazione sono ora disponibili su GitHub e sul nostro sito web.
