Estamos construindo sistemas de IA auto-aprimoráveis para o software por trás da IA moderna. Nosso primeiro produto gera e otimiza software de GPU de baixo nível e, em seguida, valida seu trabalho com testes e benchmarks.
Hoje, estamos lançando a INT21: a primeira empresa a alcançar enxames de agentes de IA auto-aprimoráveis, aplicados à infraestrutura de IA.
A Camada Que a Maioria das Pessoas Não Vê
A maioria das conversas sobre o progresso da IA foca nos modelos. Mas todo modelo depende de uma camada menos visível: o software que instrui as GPUs sobre como executar cada operação.
Esse software tem um efeito desproporcional na velocidade e no custo. Também é difícil de construir. Alcançar o melhor desempenho em uma nova GPU geralmente exige especialistas que entendam tanto o algoritmo quanto o hardware com uma profundidade extraordinária.
A INT21 existe para tornar esse trabalho mais escalável. Chamamos essa nova categoria de Infraestrutura Computacional Auto-Aprimorável.
Nosso Primeiro Produto: PTX Kernel Factory
O PTX Kernel Factory é um sistema de IA que gera e melhora software para GPUs NVIDIA. Uma equipe define a operação, os requisitos e a métrica de sucesso. A fábrica escreve uma implementação, testa, mede no hardware alvo, aprende com o resultado e repete.
As primeiras quatro implementações produzidas pelo PTX Kernel Factory são open source hoje. O produto também está entrando em beta, com acesso antecipado disponível em int21.ai.
Para cargas de trabalho de IA executadas em GPUs NVIDIA, cada operação do modelo eventualmente se torna instruções executadas pelo hardware. Um kernel de GPU é o programa pequeno e especializado responsável por uma dessas operações, como normalização, atenção ou movimentação de dados pela memória. Milhares desses kernels operam sob cada tarefa de treinamento e aplicação de IA.
PTX é a linguagem de GPU de baixo nível, semelhante a assembly, da NVIDIA. Ela fica entre o software de GPU de nível superior e as instruções finais da máquina executadas pelo hardware, tornando-se uma das camadas programáveis mais próximas na stack da NVIDIA.
Trabalhar nesse nível oferece controle preciso sobre como os dados se movem pela memória, como as threads cooperam, quando o trabalho é sincronizado e quais instruções especializadas da GPU são usadas. Essas escolhas podem determinar se uma GPU cara passa seu tempo trabalhando ou esperando.
Muito poucos engenheiros conseguem escrever e otimizar PTX bem. O trabalho exige uma combinação rara de conhecimento de algoritmos, expertise em arquitetura de GPU, rigor numérico e intuição de desempenho. Ferramentas, bibliotecas e compiladores de nível superior tornam o desenvolvimento de GPU acessível a muito mais pessoas, mas quando uma nova operação de IA não tem uma implementação madura, ou quando as abstrações existentes não conseguem atingir o desempenho necessário, essa escassa expertise de baixo nível se torna um gargalo.
Também é excepcionalmente difícil. Um kernel pode parecer correto, mas falhar em uma entrada rara. Pode ser rápido para um formato e lento para outro. Pode usar muitos registradores, mover muitos dados ou ter um bom desempenho em Hopper e regredir em Blackwell. Até engenheiros especialistas precisam testar muitas ideias, e a maioria dessas ideias não funciona. Cada geração de hardware muda parte do problema.
Essa combinação faz do PTX um campo de provas inicial ideal para a INT21: é tecnicamente exigente, economicamente importante e objetivamente mensurável. Um kernel gerado está correto ou não. É mais rápido ou não.
O PTX Kernel Factory transforma o loop de especialista de escrever, testar, perfilar e revisar código de GPU de baixo nível em um processo que pode ser executado continuamente e aprender com seus resultados.
Como o PTX Kernel Factory Funciona
A interface é intencionalmente simples:
- Descreva a operação. Defina o que o kernel precisa fazer e as entradas que ele deve suportar.
- Defina os requisitos. Forneça testes de correção, hardware alvo e quaisquer restrições de integração.
- Defina o sucesso. Escolha a métrica de desempenho que o sistema deve otimizar.
A partir daí, a fábrica executa um processo de engenharia de longo horizonte. Ela gera implementações candidatas, compila, rejeita resultados incorretos, faz benchmark dos candidatos válidos e usa as evidências para orientar a próxima rodada.
As implementações lançadas combinam CUDA C++ com PTX inline, dando ao sistema controle sobre detalhes de hardware que ferramentas de nível superior podem ocultar intencionalmente. Em vez de depender de um único agente para produzir uma resposta única, o PTX Kernel Factory coordena múltiplos agentes de IA nesse loop.
Engenheiros humanos ainda definem o objetivo, as restrições e os critérios de aceitação. O PTX Kernel Factory automatiza a busca custosa entre uma especificação clara e uma implementação robusta.
O Que Queremos Dizer com Auto-Aprimorável
Um agente de codificação pode produzir uma resposta. Um sistema de engenharia confiável também precisa determinar se a resposta funciona, entender por que uma tentativa falhou e carregar conhecimento útil para a próxima tentativa.
É isso que queremos dizer com auto-aprimorável.
A maioria dos esforços nesse espaço foca em auto-aprimorar a própria IA. Estamos seguindo um caminho fundamentalmente diferente, onde os enxames de agentes auto-aprimoram a infraestrutura na qual são executados, preservando o controle humano enquanto ainda compõem desempenho a cada ciclo de produção.
O desafio é menos sobre produzir um kernel plausível e mais sobre construir um sistema que possa rejeitar milhares de tentativas erradas, frágeis ou enganosas, preservar as poucas lições que importam e continuar melhorando sem se desviar da correção.
O PTX Kernel Factory não trata cada geração como um prompt novo. Ele preserva descobertas úteis de experimentos bem-sucedidos e fracassados, permitindo que o trabalho posterior se baseie em evidências anteriores. O objetivo é melhorar o processo que produz o código.
É assim que o desempenho da fábrica se compõe ao longo do tempo. Cada geração começa com mais evidências sobre o que funciona, o que falha e quais direções valem a pena explorar.
Nossa tese mais ampla é:
Use computação para melhorar a computação.
Inteligência não é apenas o que um modelo sabe. É a capacidade de buscar, testar, lembrar, corrigir e melhorar. Acreditamos que sistemas que tornam essas habilidades cumulativas se tornarão uma parte importante da futura infraestrutura computacional e da evolução auto-aprimorável mais ampla na IA.
Nossa Primeira Prova: Duas Cargas de Trabalho de IA Muito Diferentes
Para o primeiro lançamento público, escolhemos duas cargas de trabalho que testam habilidades diferentes.
RMSNorm é uma operação comum usada em modelos de linguagem modernos. É madura, amplamente compreendida e já possui implementações humanas fortes. Testa se a fábrica pode competir em trabalhos estabelecidos.
Kimi Delta Attention (KDA) é um mecanismo de atenção mais recente. É mais especializado e tem menos padrões de implementação estabelecidos. Testa se a fábrica pode se adaptar rapidamente a uma carga de trabalho de pesquisa mais nova.
Comparamos as implementações geradas com baselines humanas bem otimizadas: QuACK para RMSNorm e a implementação FlashKDA baseada em CUTLASS para KDA. As comparações foram executadas no mesmo hardware com verificações de correção antes da medição de tempo.
Destaques dos Benchmarks
Carga de Trabalho
Hardware
Resultado contra o baseline especialista
KDA
NVIDIA GH200, Hopper
1.24x a 1.59x mais rápido em seis cenários de comprimento fixo e variável
KDA
NVIDIA B200, Blackwell
1.42x mais rápido através da interface pública padrão, e 1.52x mais rápido em uma integração otimizada
RMSNorm
NVIDIA GH200, Hopper
8.17% mais rápido na média geométrica em 11 casos forward usando um formato comum de IA de 16 bits; 15% a 34% mais rápido em comparações backward selecionadas
RMSNorm
NVIDIA B200, Blackwell
Mais rápido em todos os 126 casos comparáveis em toda a matriz de benchmark padrão
Estes são resultados de benchmark em nível de operador, não alegações sobre acelerações de modelo completo. O efeito em uma aplicação depende de seu modelo, carga de trabalho, formatos, stack de software e quanto tempo total gasta na operação otimizada.
Também relatamos os resultados menos lisonjeiros. Na matriz RMSNorm Hopper, dois outros formatos de número incluíram pequenas regressões; os casos mais lentos ficaram 0.42% e 0.84% atrás do QuACK. Preferimos publicar o limite do resultado do que escondê-lo atrás de um único número favorável.
Correção Vem Antes da Velocidade
Um kernel rápido é inútil se altera o resultado ou falha em entradas reais.
Portanto, toda comparação de desempenho começa com a correção:
- A implementação KDA B200 passou em todos os 580 testes upstream.
- A implementação KDA Hopper passou em 584 testes upstream e 235 testes de pacote no sistema GH200 validado.
- As implementações RMSNorm passaram em suas suítes de pacote completas no hardware validado: 48 testes mais 65 subtestes no GH200 e 66 testes no B200.
As suítes cobrem diferentes tipos de dados, tamanhos de entrada, sequências de comprimento fixo e variável, estado opcional, caminhos forward e backward onde suportado e casos extremos difíceis.
Os benchmarks ainda podem ser específicos do ambiente, então cada repositório inclui o código-fonte, comandos de teste, método de medição, versões de software e relatórios brutos ou gerados necessários para inspecionar e reproduzir os resultados.
Por Que Começar Aqui
Kernels de GPU são um primeiro teste útil para nossa abordagem porque o feedback é implacável.
A saída está correta ou não. A implementação é mais rápida ou não. Uma mudança pode ser compilada, testada e medida. O progresso é baseado em evidências, em vez de julgado por quão convincente soa o texto gerado.
A otimização de kernel também está em um gargalo importante. Os modelos de IA estão evoluindo rapidamente, o hardware está mudando a cada geração e a oferta de expertise em otimização de baixo nível não pode crescer no mesmo ritmo.
Transformar mais desse trabalho em um sistema repetível poderia ajudar as equipes a:
- Levar novas operações de modelo para produção mais rapidamente.
- Fazer melhor uso de novas gerações de GPU.
- Explorar ideias de otimização que seriam muito caras para testar manualmente.
- Reservar o tempo de especialistas para arquitetura, requisitos e decisões em nível de sistema.
Não se trata de remover engenheiros. Trata-se de dar a um pequeno número de especialistas mais alavancagem.
Disponibilizando como Open Source os Primeiros Quatro Artefatos da Fábrica
Hoje, estamos lançando:
- Int21-AI/KDA-B200: Kimi Delta Attention para Blackwell, validado em NVIDIA B200.
- Int21-AI/KDA-H100: Kimi Delta Attention para Hopper, validado em NVIDIA GH200.
- Int21-AI/RMSNorm-B200: RMSNorm para Blackwell, validado em NVIDIA B200.
- Int21-AI/RMSNorm-H100: RMSNorm para Hopper, validado em NVIDIA GH200.
Estamos publicando o código porque as alegações de desempenho devem ser inspecionáveis. Os desenvolvedores devem poder ler a implementação, executar os testes, reproduzir os benchmarks e desafiar os resultados.
Esses lançamentos não são o produto final. Eles são a primeira evidência pública de que a fábrica pode produzir software de baixo nível útil em cargas de trabalho estabelecidas e emergentes, e em duas gerações de hardware NVIDIA.
Sobre Nós
A INT21 foi fundada por Bing Xu em abril de 2026 como uma empresa nativa de IA, construída sobre uma ideia simples: a capacidade de engenharia da própria empresa deve escalar com a computação.
Bing foi coautor do artigo original sobre Redes Generativas Adversariais, o criador original do pacote Python do XGBoost e cocriador do MXNet e do AITemplate.
Em fevereiro de 2025, ele coautorou o trabalho inicial da NVIDIA sobre geração agêntica de kernels de GPU, usando um modelo de raciocínio e escalonamento por inferência para gerar e otimizar kernels de atenção. Antes da INT21, Bing foi Engenheiro Distinto na NVIDIA. Ele entrou na NVIDIA após a aquisição da HippoML, a startup de inferência em GPU que ele cofundou e liderou como CEO.
Uma Nova Era da Computação
O PTX Kernel Factory agora está em beta para equipes que constroem modelos de IA, sistemas de inferência, plataformas de treinamento e outros produtos intensivos em GPU.
O ponto de partida pode ser uma operação muito lenta, uma nova arquitetura sem um kernel maduro ou uma carga de trabalho importante que não justificou semanas de tempo de especialista. A equipe fornece o problema e a definição de sucesso. A fábrica assume a busca.
O PTX Kernel Factory também é o primeiro passo em uma direção maior para a INT21 e para a indústria de forma mais ampla.
A maior parte da infraestrutura computacional hoje é estática: as pessoas escrevem, otimizam e revisitam quando os requisitos ou o hardware mudam. Os sistemas de IA podem gerar resultados impressionantes, mas implantá-los de forma confiável em produção, em escala, permanece em grande parte não resolvido.
Acreditamos que mais dessa infraestrutura se tornará adaptativa. Ela testará seu próprio trabalho, preservará o que aprende e melhorará a maneira como resolve o próximo problema.
Estamos começando com uma das camadas mais difíceis e mensuráveis da stack. O conhecimento humano não escala, mas enxames de agentes podem continuar melhorando a cada execução. A infraestrutura computacional auto-aprimorável é uma mudança fundamental na forma como a IA é construída.
Descreva o kernel. Defina o sucesso. Deixe a fábrica melhorar a implementação.
