Estamos construindo sistemas de IA autoaprimoráveis para o software que sustenta a IA moderna. Nosso primeiro produto gera e otimiza software de GPU de baixo nível e, em seguida, comprova seu trabalho com testes e benchmarks.
Hoje, estamos lançando a INT21: a primeira empresa a alcançar enxames de agentes de IA autoaprimoráveis, aplicados à infraestrutura de IA.
A Camada Que a Maioria das Pessoas Não Vê
A maioria das conversas sobre o progresso da IA foca nos modelos. Mas todo modelo depende de uma camada menos visível: o software que instrui as GPUs sobre como executar cada operação.
Esse software tem um efeito desproporcional na velocidade e no custo. Também é difícil de construir. Alcançar o melhor desempenho em uma nova GPU frequentemente exige especialistas que entendam tanto o algoritmo quanto o hardware em uma profundidade extraordinária.
A INT21 existe para tornar esse trabalho mais escalável. Chamamos essa nova categoria de Infraestrutura de Computação Autoaprimorável.
Nosso Primeiro Produto: PTX Kernel Factory
O PTX Kernel Factory é um sistema de IA que gera e melhora software para GPUs NVIDIA. Uma equipe define a operação, os requisitos e a medida de sucesso. A fábrica escreve uma implementação, testa, mede no hardware alvo, aprende com o resultado e repete.
As primeiras quatro implementações produzidas pelo PTX Kernel Factory são open source hoje. O produto também está entrando em beta, com acesso antecipado disponível em int21.ai.
Para cargas de trabalho de IA executadas em GPUs NVIDIA, cada operação do modelo eventualmente se torna instruções executadas pelo hardware. Um kernel de GPU é o programa pequeno e especializado responsável por uma dessas operações, como normalização, atenção ou movimentação de dados pela memória. Milhares desses kernels operam abaixo de cada trabalho de treinamento e aplicativo de IA.
PTX é a linguagem de GPU de baixo nível, semelhante a assembly, da NVIDIA. Ela fica entre o software de GPU de nível mais alto e as instruções finais de máquina executadas pelo hardware, tornando-se uma das camadas programáveis mais próximas da pilha da NVIDIA.
Trabalhar neste nível dá controle preciso sobre como os dados se movem pela memória, como os threads cooperam, quando o trabalho é sincronizado e quais instruções especializadas da GPU são usadas. Essas escolhas podem determinar se uma GPU cara passa seu tempo trabalhando ou esperando.
Muito poucos engenheiros conseguem escrever e otimizar PTX bem. O trabalho exige uma combinação rara de conhecimento de algoritmos, expertise em arquitetura de GPU, rigor numérico e intuição de desempenho. Ferramentas, bibliotecas e compiladores de nível mais alto tornam o desenvolvimento de GPU acessível a muito mais pessoas, mas quando uma nova operação de IA não tem implementação madura, ou quando as abstrações existentes não conseguem atingir o desempenho necessário, essa expertise escassa de baixo nível se torna um gargalo.
Também é excepcionalmente difícil. Um kernel pode parecer correto, mas falhar em uma entrada rara. Pode ser rápido para um formato e lento para outro. Pode usar muitos registradores, mover muitos dados ou ter bom desempenho em Hopper e regredir em Blackwell. Mesmo engenheiros experientes precisam testar muitas ideias, e a maioria delas não funciona. Cada geração de hardware muda parte do problema.
Essa combinação torna o PTX um campo de provas inicial ideal para a INT21: é tecnicamente exigente, economicamente importante e objetivamente mensurável. Um kernel gerado é correto ou não. É mais rápido ou não.
O PTX Kernel Factory transforma o loop de especialista de escrever, testar, perfilhar e revisar código de GPU de baixo nível em um processo que pode rodar continuamente e aprender com seus resultados.
Como o PTX Kernel Factory Funciona
A interface é intencionalmente simples:
- Descreva a operação. Defina o que o kernel precisa fazer e as entradas que ele deve suportar.
- Defina os requisitos. Forneça testes de correção, hardware alvo e quaisquer restrições de integração.
- Defina o sucesso. Escolha a métrica de desempenho que o sistema deve otimizar.
A partir daí, a fábrica executa um processo de engenharia de longo horizonte. Ela gera implementações candidatas, compila, rejeita resultados incorretos, faz benchmark dos candidatos válidos e usa as evidências para orientar a próxima rodada.
As implementações lançadas combinam CUDA C++ com PTX inline, dando ao sistema controle sobre detalhes de hardware que ferramentas de nível mais alto podem ocultar intencionalmente. Em vez de depender de um único agente para produzir uma resposta única, o PTX Kernel Factory coordena múltiplos agentes de IA nesse loop.
Engenheiros humanos ainda definem o objetivo, as restrições e os critérios de aceitação. O PTX Kernel Factory automatiza a busca dispendiosa entre uma especificação clara e uma implementação robusta.
O Que Queremos Dizer com Autoaprimorável
Um agente de codificação pode produzir uma resposta. Um sistema de engenharia confiável também precisa determinar se a resposta funciona, entender por que uma tentativa falhou e carregar conhecimento útil para a próxima tentativa.
É isso que queremos dizer com autoaprimorável.
A maioria dos esforços nesse espaço foca em autoaprimorar a própria IA. Estamos seguindo um caminho fundamentalmente diferente, onde os enxames de agentes autoaprimoram a infraestrutura na qual rodam, preservando o controle humano enquanto ainda acumulam desempenho a cada ciclo de produção.
O desafio está menos em produzir um kernel plausível e mais em construir um sistema que possa rejeitar milhares de tentativas erradas, frágeis ou enganosas, preservar as poucas lições que importam e continuar melhorando sem se desviar da correção.
O PTX Kernel Factory não trata cada geração como um prompt novo. Ele preserva descobertas úteis de experimentos bem-sucedidos e fracassados, permitindo que o trabalho posterior se baseie em evidências anteriores. O objetivo é melhorar o processo que produz o código.
É assim que o desempenho da fábrica se acumula ao longo do tempo. Cada geração começa com mais evidências sobre o que funciona, o que falha e quais direções valem a pena explorar.
Nossa tese mais ampla é:
Use computação para melhorar a computação.
Inteligência não é apenas o que um modelo sabe. É a capacidade de buscar, testar, lembrar, corrigir e melhorar. Acreditamos que sistemas que tornam essas habilidades cumulativas se tornarão uma parte importante da infraestrutura de computação futura e da evolução mais ampla de autoaprimoramento em IA.
Nossa Primeira Prova: Duas Cargas de Trabalho de IA Muito Diferentes
Para o primeiro lançamento público, escolhemos duas cargas de trabalho que testam habilidades diferentes.
RMSNorm é uma operação comum usada em modelos de linguagem modernos. É madura, amplamente compreendida e já possui implementações humanas robustas. Testa se a fábrica consegue competir em trabalhos estabelecidos.
Kimi Delta Attention (KDA) é um mecanismo de atenção mais recente. É mais especializado e tem menos padrões de implementação estabelecidos. Testa se a fábrica consegue se adaptar rapidamente a uma carga de trabalho de pesquisa mais nova.
Comparamos as implementações geradas com baselines humanas bem otimizadas: QuACK para RMSNorm e a implementação FlashKDA baseada em CUTLASS para KDA. As comparações foram executadas no mesmo hardware com verificações de correção antes da medição de tempo.
Destaques dos Benchmarks
Carga de Trabalho
Hardware
Resultado contra a baseline especialista
KDA
NVIDIA GH200, Hopper
1,24x a 1,59x mais rápido em seis cenários de comprimento fixo e variável
KDA
NVIDIA B200, Blackwell
1,42x mais rápido pela interface pública padrão, e 1,52x mais rápido em uma integração otimizada
RMSNorm
NVIDIA GH200, Hopper
8,17% mais rápido na média geométrica em 11 casos forward usando um formato de IA comum de 16 bits; 15% a 34% mais rápido em comparações backward selecionadas
RMSNorm
NVIDIA B200, Blackwell
Mais rápido em todos os 126 casos comparáveis em toda a matriz de benchmark padrão
Estes são resultados de benchmark no nível de operador, não alegações de aceleração total do modelo. O efeito em um aplicativo depende de seu modelo, carga de trabalho, formatos, pilha de software e quanto tempo total gasta na operação otimizada.
Também relatamos os resultados menos favoráveis. Na matriz RMSNorm Hopper, dois outros formatos de número incluíram pequenas regressões; os casos mais lentos foram 0,42% e 0,84% atrás do QuACK. Preferimos publicar o limite do resultado do que escondê-lo atrás de um único número favorável.
Correção Vem Antes da Velocidade
Um kernel rápido é inútil se altera o resultado ou falha em entradas reais.
Portanto, toda comparação de desempenho começa com a correção:
- A implementação KDA B200 passou em todos os 580 testes upstream.
- A implementação KDA Hopper passou em 584 testes upstream e 235 testes de pacote no sistema GH200 validado.
- As implementações RMSNorm passaram em suas suítes completas de pacote no hardware validado: 48 testes mais 65 subtestes em GH200 e 66 testes em B200.
As suítes cobrem diferentes tipos de dados, tamanhos de entrada, sequências de comprimento fixo e variável, estado opcional, caminhos forward e backward quando suportados, e casos extremos difíceis.
Os benchmarks ainda podem ser específicos do ambiente, então cada repositório inclui o código-fonte, comandos de teste, método de medição, versões de software e relatórios brutos ou gerados necessários para inspecionar e reproduzir os resultados.
Por Que Começar Aqui
Kernels de GPU são um teste inicial útil para nossa abordagem porque o feedback é implacável.
A saída é correta ou não. A implementação é mais rápida ou não. Uma mudança pode ser compilada, testada e medida. O progresso é fundamentado em evidências, não julgado pelo quão convincente o texto gerado soa.
A otimização de kernel também está em um gargalo importante. Os modelos de IA estão evoluindo rapidamente, o hardware muda a cada geração e a oferta de expertise em otimização de baixo nível não consegue crescer no mesmo ritmo.
Transformar mais desse trabalho em um sistema repetível pode ajudar equipes a:
- Levar novas operações de modelo para produção mais rapidamente.
- Fazer melhor uso de novas gerações de GPU.
- Explorar ideias de otimização que seriam muito caras para testar manualmente.
- Reservar o tempo de especialistas para decisões de arquitetura, requisitos e nível de sistema.
Não se trata de remover engenheiros. Trata-se de dar a um pequeno número de especialistas mais alavancagem.
Disponibilizando como Open Source os Primeiros Quatro Artefatos da Fábrica
Hoje, estamos lançando:
- Int21-AI/KDA-B200: Kimi Delta Attention para Blackwell, validado em NVIDIA B200.
- Int21-AI/KDA-H100: Kimi Delta Attention para Hopper, validado em NVIDIA GH200.
- Int21-AI/RMSNorm-B200: RMSNorm para Blackwell, validado em NVIDIA B200.
- Int21-AI/RMSNorm-H100: RMSNorm para Hopper, validado em NVIDIA GH200.
Estamos publicando o código porque as alegações de desempenho devem ser inspecionáveis. Os desenvolvedores devem poder ler a implementação, executar os testes, reproduzir os benchmarks e desafiar os resultados.
Estes lançamentos não são o produto final. São a primeira evidência pública de que a fábrica pode produzir software de baixo nível útil em cargas de trabalho estabelecidas e emergentes, e em duas gerações de hardware NVIDIA.
Sobre Nós
A INT21 foi fundada por Bing Xu em abril de 2026 como uma empresa nativa de IA, construída sobre uma ideia simples: a capacidade de engenharia da própria empresa deve escalar com a computação.
Bing foi coautor do artigo original sobre Redes Adversárias Generativas, o criador original do pacote Python do XGBoost e cocriador do MXNet e AITemplate.
Em fevereiro de 2025, ele coautorou o trabalho inicial da NVIDIA sobre geração de kernel de GPU baseada em agentes, usando um modelo de raciocínio e escalonamento em tempo de inferência para gerar e otimizar kernels de atenção. Antes da INT21, Bing era Engenheiro Distinto na NVIDIA. Ele entrou na NVIDIA após a aquisição da HippoML, a startup de inferência em GPU que ele cofundou e liderou como CEO.
Uma Nova Era da Computação
O PTX Kernel Factory agora está em beta para equipes que constroem modelos de IA, sistemas de inferência, plataformas de treinamento e outros produtos intensivos em GPU.
O ponto de partida pode ser uma operação muito lenta, uma nova arquitetura sem um kernel maduro ou uma carga de trabalho importante que não justificou semanas de tempo de especialista. A equipe fornece o problema e a definição de sucesso. A fábrica assume a busca.
O PTX Kernel Factory é também o primeiro passo em uma direção maior para a INT21 e para a indústria em geral.
A maior parte da infraestrutura de computação hoje é estática: as pessoas a escrevem, otimizam e revisam quando os requisitos ou o hardware mudam. Os sistemas de IA podem gerar saídas impressionantes, mas implantá-los de forma confiável em produção, em escala, continua sendo amplamente não resolvido.
Acreditamos que mais dessa infraestrutura se tornará adaptativa. Ela testará seu próprio trabalho, preservará o que aprende e melhorará a forma como resolve o próximo problema.
Estamos começando com uma das camadas mais difíceis e mensuráveis da pilha. O conhecimento humano não escala, mas enxames de agentes podem continuar melhorando a cada execução. A infraestrutura de computação autoaprimorável é uma mudança fundamental na forma como a IA é construída.
Descreva o kernel. Defina o sucesso. Deixe a fábrica melhorar a implementação.
