A Astra mostra o quão longe a IA chegou. O que a leva adiante?
O progresso contínuo dos modelos mais capazes de hoje depende de decisões mais inteligentes antes do treinamento, melhores estratégias durante o treinamento e uma infraestrutura mais eficiente sustentando ambos — um trabalho ainda liderado em grande parte por pesquisadores humanos. Quando a IA pode buscar essas melhorias de forma recursiva, o ritmo do progresso muda fundamentalmente: cada avanço verificado fortalece o próximo ciclo.
É por isso que construímos o sistema automatizado de pesquisa em IA da Apex Intelligence para descobrir e validar melhorias em todas as camadas de treinamento de IA.
Em sua primeira avaliação, nosso sistema alcançou três novos SOTAs oficiais no SLDBench SimpleTES, GPUMode TriMul (H100) e MLS-Bench Fused Causal Attention Kernel, com seu resultado TriMul superando o TTT-Discover de uma equipe que inclui Stanford, NVIDIA e outras instituições. No NanoChat Autoresearch, seu resultado B200 superou os resultados publicados tanto da Recursive SuperIntelligence quanto da Hyra da Tencent Hunyuan, posicionando-o próximo ao SOTA público para treinamento de LLM com orçamento fixo.
Isso demonstra que o paradigma de pesquisa recursiva automatizada da Apex opera no nível — e, em alguns casos, além — da engenharia humana de ponta e dos sistemas automatizados de última geração em previsão de escalonamento de modelos, treinamento de modelos de linguagem com orçamento fixo e desempenho de kernel de GPU.
Dentro de cada benchmark, o ciclo de pesquisa é executado de forma autônoma: o sistema identifica o que melhorar, testa suas ideias, verifica os resultados e aprende com as evidências. Esses resultados de nível de fronteira criam pontos de partida mais fortes para os ciclos seguintes — é assim que a melhoria se torna recursiva.
Avaliação I: SLDBench (Protocolo SimpleTES de 4 Tarefas)
Antes do início de uma grande execução de treinamento, os pesquisadores devem prever o desempenho em escalas que não podem testar diretamente. As leis de escalonamento orientam as decisões sobre tamanho do modelo, composição dos dados, taxa de aprendizado, tamanho do lote e poder computacional; uma lei que se ajusta a pequenos experimentos, mas extrapola mal, pode direcionar mal todo um orçamento de treinamento.
O SLDBench transforma essa incerteza em uma tarefa de descoberta mensurável, construída a partir de mais de 5.000 experimentos de treinamento de LLM publicados. Cada sistema deve produzir uma lei simbólica e um procedimento de ajuste que generalizem para regimes de escalonamento não vistos. Seguindo a avaliação de quatro tarefas usada pelo SimpleTES, nosso sistema de IA é testado em escalonamento paralelo, escalonamento de mistura de domínios, co-escalonamento de taxa de aprendizado/tamanho do lote e escalonamento de computação em forma de U.
Sob os avaliadores públicos fixos, nosso sistema melhora a referência pública anterior em todas as tarefas, elevando a média das quatro tarefas de 0,8613 para 0,8846 (+2,71%). O maior ganho ocorre no escalonamento em forma de U, onde a pontuação sobe de 0,4975 para 0,5761 (+15,80%). O co-escalonamento de taxa de aprendizado/tamanho do lote melhora de 0,9506 para 0,9650 (+1,51%), com ganhos adicionais no escalonamento paralelo e de mistura de domínios. Essas pontuações medem o desempenho em regimes não vistos, recompensando leis que permanecem precisas além dos experimentos usados para ajustá-las.
Figura 1: Nosso sistema de pesquisa em IA melhora a referência pública anterior em todas as quatro tarefas selecionadas do SLDBench, elevando a pontuação média não vista de 0,8613 para 0,8846. O maior ganho está no escalonamento em forma de U. Quanto maior, melhor.
O avanço mais claro no nível do método aparece no escalonamento de computação em forma de U. Nosso sistema de IA representa a curva como a soma de uma tendência de escalonamento persistente e um efeito de regime localizado que emerge em uma faixa de computação limitada e depois decai. Essa estrutura impede que uma reversão temporária nos dados observados seja projetada indefinidamente.
A distinção se torna decisiva quando o avaliador retém a fase final da curva. Equações flexíveis podem reproduzir a curvatura observada enquanto extrapolam na direção errada; modelar explicitamente o início, a duração e o decaimento do componente transitório produz previsões pós-ponto de virada mais precisas.
O resultado é tecnicamente significativo porque a decomposição melhora a precisão não vista, permanecendo interpretável e testável. Sugere uma hipótese reutilizável para a descoberta de leis de escalonamento: uma reversão aparente pode refletir um regime temporário sobreposto a uma tendência de escalonamento de longo prazo.
Avaliação II: NanoChat Autoresearch
O treinamento com orçamento fixo força cada ideia a ganhar seu lugar: as melhorias devem vir do uso mais eficaz do mesmo tempo e hardware. Isso torna o NanoChat Autoresearch um teste direto de se um sistema de IA pode transformar experimentação rápida em uma implementação de treinamento de modelo mais forte.
Lançado por Andrej Karpathy em março de 2026, o NanoChat Autoresearch dá a um agente uma GPU e a liberdade de modificar a arquitetura do modelo, o otimizador, os hiperparâmetros e o código de treinamento. Cada experimento recebe o mesmo orçamento de cinco minutos e é pontuado por bits de validação por byte (val_bpb; quanto menor, melhor). A configuração desde então se expandiu para o autoresearch@home, onde participantes humanos e agentes de IA compartilham experimentos e competem contra as soluções públicas mais fortes.
Sob a configuração fixa de 300 segundos em uma única B200, nosso sistema de IA atinge 0,892426 val_bpb, colocando-o próximo à fronteira pública. Isso supera a melhor execução única publicada de junho de 2026 da Recursive SuperIntelligence de 0,903891 e a média de 10 sementes de 0,9108745, bem como o resultado Hyra de julho de 2026 da Tencent Hunyuan de 0,901543. Aproxima-se do líder do ranking público de setembro de 2026, o ScienceGuru da AutoTrust AI, com 0,889522.
Figura 2: Comparação de BPB de validação sob o orçamento de treinamento fixo de 300 segundos em uma única B200. Quanto menor, melhor.
A melhoria decisiva vem de transportar a esparsidade de n-gramas através do cálculo do treinamento. A implementação do ScienceGuru demonstra o valor de grandes memórias de n-gramas, no entanto, cada lote acessa apenas uma pequena fração de suas linhas. Nosso sistema de IA identifica custos de gradiente densos que permanecem no caminho de treinamento e os substitui por uma passagem reversa compacta que atualiza apenas as linhas usadas pelo lote atual.
Essa mudança reduz a memória de pico de treinamento de aproximadamente 177,7 GB para 140,6 GB — uma redução de 20,9% — enquanto preserva a qualidade próxima ao SOTA. Dentro do mesmo orçamento de 300 segundos, nosso sistema de IA atinge 0,892426 val_bpb enquanto processa aproximadamente 4,5% menos tokens do que a implementação do ScienceGuru, mostrando que a qualidade próxima ao SOTA não depende de uma maior taxa de transferência de tokens.
Nosso sistema de IA estende o mesmo princípio por todo o caminho de acesso à memória. Ele funde duas consultas à tabela de n-gramas, concatenação, descoberta de linhas ativas e registro de linhas em um único kernel Triton. A passagem reversa reutiliza diretamente o mapeamento linha-para-slot resultante, eliminando o trabalho de indexação duplicado e preservando a esparsidade da consulta até a atualização do gradiente.
Este é um resultado forte de sistemas porque um modelo esparso não paga mais os custos de sistemas densos. O mesmo princípio pode ser transferido para outras cargas de trabalho construídas em torno de grandes tabelas de incorporação ou memória, sempre que cada lote tocar apenas um pequeno subconjunto de linhas.
Avaliação III: GPUMode TriMul H100
Uma vez que um kernel de GPU é fortemente otimizado, a latência restante raramente é encontrada na operação mais óbvia. Os gargalos se movem através de limites de fusão, layouts de tensor e caminhos de acesso à memória, tornando o progresso adicional um teste de descoberta de gargalos tanto quanto de geração de kernel.
A tarefa GPUMode TriMul tem como alvo a Atualização Multiplicativa Triangular de saída usada em modelos de estrutura de proteínas da classe AlphaFold. Os participantes devem produzir uma implementação numericamente correta que minimize a latência da média geométrica em sete formatos de entrada fixos em uma NVIDIA H100. A tarefa atraiu soluções humanas e automatizadas fortes, incluindo o TTT-Discover, publicado em janeiro de 2026 por pesquisadores de Stanford, NVIDIA, Astera Institute, UC San Diego e Together AI.
Nos sete formatos H100, nosso sistema de IA atinge uma latência de média geométrica de 1.036,1 μs. Em nossa avaliação pareada na mesma máquina, isso melhora a comparação humana mais forte projetada, stashuk-olek (1.064,9 μs), em 2,71%. O resultado também é numericamente menor do que implementações relatadas separadamente de shiyegao CUDA (1.074 μs), Zeyu Shen Triton (1.140 μs) e TTT-Discover (1.161 μs), enquanto fica dentro de 0,59% dos 1.030 μs relatados separadamente pelo K-Search.
Figura 3: Latência de média geométrica nas sete cargas de trabalho GPUMode TriMul H100. Nosso sistema de IA atinge 1.036,1 μs. Quanto menor, melhor.
Os valores públicos são extraídos de seus respectivos relatórios ou registros de avaliação e não são medições pareadas na mesma máquina. Nosso resultado de 1.036,1 μs é medido localmente usando o avaliador oficial.
As implementações existentes de alto desempenho do TriMul já usam fusão, multiplicação de matrizes especializada, especialização de forma e movimento de dados consciente do layout. Nosso sistema inicialmente empurra a fusão do lado do produtor ainda mais, depois detecta retornos decrescentes e dependentes da forma à medida que a pressão do registro aumenta. Consequentemente, ele desloca a busca para como a saída do produtor é consumida.
Para várias formas de carga de trabalho, nosso sistema de IA identifica o limite BMM→LayerNorm como a fonte restante de latência. A implementação resultante carrega as saídas BMM ao longo da dimensão física contígua e realiza a transposição necessária nos registros antes do LayerNorm.
O resultado é tecnicamente significativo porque nosso sistema de IA muda a própria hipótese de busca: ele reconhece quando a otimização do lado do produtor satuou, relocaliza o gargalo através do limite BMM→LayerNorm e desloca o alvo de otimização de acordo. Seus planos dependentes da forma mostram ainda que o sistema pode se adaptar à medida que os gargalos se movem entre as cargas de trabalho — uma capacidade com valor mais amplo do que ajustar um design de kernel fixo.
Avaliação IV: MLS-Bench — Kernel de Atenção Causal Fundida (H100)
A atenção é um grande gargalo de computação e memória no treinamento e inferência de Transformers, portanto, sua eficiência afeta diretamente a velocidade e o custo do modelo. Os kernels de atenção fundida modernos já são altamente otimizados, deixando pouca margem óbvia; ganhos adicionais exigem revisitar o algoritmo numérico juntamente com o agendamento e o movimento da memória.
A tarefa de Atenção Causal Fundida do MLS-Bench pede que os sistemas de IA implementem uma passagem direta de autoatenção fundida do OpenAI Triton em uma NVIDIA H100, maximizem a taxa de transferência em três configurações de atenção causal e mantenham um erro absoluto máximo abaixo de 1e-2. O benchmark inclui resultados de modelos de fronteira como Claude Opus 4.6, GPT-5.4 e Gemini 3.1 Pro, fornecendo linhas de base fortes da Anthropic, OpenAI e Google DeepMind.
Nas três configurações de atenção fundida, nosso sistema atinge 430,7, 468,4 e 451,7 TFLOP/s nas dimensões de cabeçalho 64, 128 e 256. Esses resultados estabelecem um novo recorde em todas as três configurações, melhorando os resultados líderes anteriores em 27,18%, 15,63% e 17,11%, respectivamente.
Figura 4: Comparação de taxa de transferência nas três cargas de trabalho de atenção causal fundida do MLS-Bench.
A maior melhoria veio da simplificação do caminho softmax online. As implementações padrão no estilo FlashAttention mantêm um máximo corrente e redimensionam repetidamente as estatísticas softmax acumuladas para estabilidade numérica. Nosso sistema de pesquisa automatizado descobriu que, nas cargas de trabalho do MLS-Bench, os logits de atenção escalonados permanecem dentro de uma faixa suficientemente estreita, permitindo que esse redimensionamento repetido seja removido, ainda assim satisfazendo a tolerância numérica do benchmark.
O softmax livre de redimensionamento resultante acumula diretamente exponenciais e valores ponderados e normaliza uma vez no final. Isso melhorou a taxa de transferência em 21,0%, 8,5% e 19,3% para as dimensões de cabeçalho 64, 128 e 256, respectivamente.
Ganhos adicionais vieram da otimização do agendamento específico da forma e do movimento da memória, incluindo agendamento LPT e TMA. O caminho livre de redimensionamento foi o resultado mais interessante porque mudou uma suposição dentro do próprio algoritmo numérico: um mecanismo de estabilidade projetado para uma faixa operacional mais ampla era desnecessário para a carga de trabalho sendo avaliada.
Mais amplamente, este resultado aponta para uma oportunidade mais ampla: mesmo perto da fronteira dos sistemas, ganhos adicionais podem vir de revisitar suposições que são tipicamente tratadas como fixas. Neste caso, o sistema de pesquisa automatizado da Apex foi além de ajustar os parâmetros e agendamentos de um kernel existente: ele identificou uma salvaguarda numérica que poderia ser omitida com segurança sob o regime operacional do benchmark e transformou essa observação em um caminho de execução mais rápido. Este é o tipo de comportamento que nos interessa: usar a busca não apenas para otimizar parâmetros e agendamentos, mas também para desafiar a estrutura de implementações estabelecidas.
Além dos Benchmarks
Um benchmark captura um resultado. Um sistema de IA recursivo o leva adiante. Em quatro benchmarks, nosso sistema de pesquisa em IA produziu melhorias verificadas de nível de fronteira. Seu processo segue um loop de quatro estágios: descobrir um desconhecido de alto valor, verificar soluções candidatas, aprender com as evidências e melhorar o próximo ciclo. O próximo passo é a transferência — transformar avanços específicos de tarefas em conhecimento reutilizável que fortalece os ciclos seguintes.
A pesquisa dá à luz a próxima curva S. A percepção científica, a pesquisa inovadora e os sistemas de engenharia abrem novos caminhos — que a execução e a escala transformam em indústrias do mundo real. Quando uma curva S se estabiliza, o progresso adicional depende de desbloquear a próxima. Acreditamos que a próxima revolução tecnológica será definida pela IA atuando como um motor de pesquisa nativo.
A IA está passando de copiloto para colega de trabalho. O julgamento e a imaginação humanos guiam o que é importante; a IA expande o que pode ser explorado. Juntos, eles podem descobrir novas direções, inspirar novas perguntas e construir modelos mais capazes — criando um ciclo de reforço entre a descoberta da máquina e a imaginação humana. A Astra mostra o quão longe a IA chegou. O que a leva adiante? A capacidade de ajudar a descobrir o que vem a seguir.
Estamos abrindo esses resultados para que você os inspecione, reproduza e estenda. O código, os registros de experimentos, as implementações descobertas e os materiais de avaliação estão agora disponíveis no GitHub e em nosso site.
