Présentation de INT21 et de PTX Kernel Factory

Nous construisons des systèmes d'IA auto-améliorants pour le logiciel sous-jacent à l'IA moderne. Notre premier produit génère et optimise des logiciels GPU de bas niveau, puis valide son travail par des tests et des benchmarks.

Aujourd'hui, nous lançons INT21 : la première entreprise à réaliser des essaims d'agents d'IA auto-améliorants, appliqués à l'infrastructure d'IA.

La couche que la plupart des gens ne voient pas

La plupart des discussions sur les progrès de l'IA se concentrent sur les modèles. Mais chaque modèle dépend d'une couche moins visible : le logiciel qui indique aux GPU comment effectuer chaque opération.

Ce logiciel a un effet considérable sur la vitesse et le coût. Il est également difficile à construire. Atteindre les meilleures performances sur un nouveau GPU nécessite souvent des spécialistes qui comprennent à la fois l'algorithme et le matériel avec une profondeur extraordinaire.

INT21 existe pour rendre ce travail plus évolutif. Nous appelons cette nouvelle catégorie Infrastructure de calcul auto-améliorante.

Notre premier produit : PTX Kernel Factory

PTX Kernel Factory est un système d'IA qui génère et améliore les logiciels pour les GPU NVIDIA. Une équipe définit l'opération, les exigences et la mesure du succès. L'usine écrit une implémentation, la teste, la mesure sur le matériel cible, apprend du résultat et recommence.

Les quatre premières implémentations produites par PTX Kernel Factory sont open source aujourd'hui. Le produit entre également en version bêta, avec un accès anticipé disponible sur int21.ai.

Pour les charges de travail d'IA fonctionnant sur les GPU NVIDIA, chaque opération de modèle devient finalement des instructions exécutées par le matériel. Un noyau GPU est le petit programme spécialisé responsable d'une telle opération, comme la normalisation, l'attention ou le déplacement de données en mémoire. Des milliers de ces noyaux fonctionnent sous chaque tâche d'entraînement et application d'IA.

PTX est le langage GPU de bas niveau, de type assembleur, de NVIDIA. Il se situe entre le logiciel GPU de plus haut niveau et les instructions machine finales exécutées par le matériel, ce qui en fait l'une des couches programmables les plus proches de la pile NVIDIA.

Travailler à ce niveau permet un contrôle précis de la façon dont les données se déplacent en mémoire, de la coopération des threads, de la synchronisation du travail et des instructions GPU spécialisées utilisées. Ces choix peuvent déterminer si un GPU coûteux passe son temps à travailler ou à attendre.

Très peu d'ingénieurs savent bien écrire et optimiser le PTX. Ce travail nécessite une combinaison rare de connaissance des algorithmes, d'expertise en architecture GPU, de rigueur numérique et d'intuition des performances. Les outils, bibliothèques et compilateurs de plus haut niveau rendent le développement GPU accessible à beaucoup plus de personnes, mais lorsqu'une nouvelle opération d'IA n'a pas d'implémentation mature, ou lorsque les abstractions existantes ne peuvent pas atteindre les performances requises, cette expertise de bas niveau, rare, devient un goulot d'étranglement.

C'est aussi exceptionnellement difficile. Un noyau peut sembler correct tout en échouant sur une entrée rare. Il peut être rapide pour une forme et lent pour une autre. Il peut utiliser trop de registres, déplacer trop de données, ou bien performer sur Hopper et régresser sur Blackwell. Même les ingénieurs experts doivent tester de nombreuses idées, et la plupart de ces idées ne fonctionnent pas. Chaque génération de matériel modifie une partie du problème.

Cette combinaison fait du PTX un premier terrain d'essai idéal pour INT21 : il est techniquement exigeant, économiquement important et objectivement mesurable. Un noyau généré est correct ou ne l'est pas. Il est plus rapide ou ne l'est pas.

PTX Kernel Factory transforme la boucle experte d'écriture, de test, de profilage et de révision du code GPU de bas niveau en un processus qui peut s'exécuter en continu et apprendre de ses résultats.

Comment fonctionne PTX Kernel Factory

L'interface est intentionnellement simple :

1. Décrivez l'opération. Définissez ce que le noyau doit faire et les entrées qu'il doit prendre en charge.
2. Définissez les exigences. Fournissez des tests de correction, le matériel cible et toutes les contraintes d'intégration.
3. Définissez le succès. Choisissez la métrique de performance que le système doit optimiser.

À partir de là, l'usine exécute un processus d'ingénierie à long horizon. Elle génère des implémentations candidates, les compile, rejette les résultats incorrects, benchmarke les candidats valides et utilise les preuves pour guider le tour suivant.

Les implémentations publiées combinent CUDA C++ avec du PTX en ligne, donnant au système un contrôle sur les détails matériels que les outils de plus haut niveau peuvent intentionnellement cacher. Plutôt que de s'appuyer sur un seul agent pour produire une réponse unique, PTX Kernel Factory coordonne plusieurs agents d'IA dans cette boucle.

Les ingénieurs humains définissent toujours l'objectif, les contraintes et les critères d'acceptation. PTX Kernel Factory automatise la recherche coûteuse entre une spécification claire et une implémentation solide.

Ce que nous entendons par auto-améliorant

Un agent de codage peut produire une réponse. Un système d'ingénierie fiable doit également déterminer si la réponse fonctionne, comprendre pourquoi une tentative a échoué et transporter des connaissances utiles dans la tentative suivante.

C'est ce que nous entendons par auto-améliorant.

La plupart des efforts dans ce domaine se concentrent sur l'auto-amélioration de l'IA elle-même. Nous empruntons une voie fondamentalement différente, où les essaims d'agents auto-améliorent l'infrastructure sur laquelle ils s'exécutent, préservant le contrôle humain tout en cumulant les performances à chaque cycle de production.

Le défi consiste moins à produire un noyau plausible qu'à construire un système capable de rejeter des milliers de tentatives erronées, fragiles ou trompeuses, de préserver les quelques leçons qui comptent et de continuer à s'améliorer sans dévier de la correction.

PTX Kernel Factory ne traite pas chaque génération comme une nouvelle invite. Il préserve les découvertes utiles des expériences réussies et échouées, permettant aux travaux ultérieurs de s'appuyer sur les preuves antérieures. L'objectif est d'améliorer le processus qui produit le code.

C'est ainsi que les performances de l'usine s'accumulent au fil du temps. Chaque génération commence avec plus de preuves sur ce qui fonctionne, ce qui échoue et les directions qui valent la peine d'être explorées.

Notre thèse plus large est la suivante :

Utilisez le calcul pour améliorer le calcul.

L'intelligence n'est pas seulement ce qu'un modèle sait. C'est la capacité de chercher, tester, se souvenir, corriger et améliorer. Nous croyons que les systèmes qui rendent ces capacités cumulatives deviendront une partie importante de l'infrastructure de calcul future et de l'évolution auto-améliorante plus large de l'IA.

Notre première preuve : deux charges de travail d'IA très différentes

Pour la première version publique, nous avons choisi deux charges de travail qui testent des capacités différentes.

RMSNorm est une opération courante utilisée dans tous les modèles de langage modernes. Elle est mature, largement comprise et a déjà des implémentations humaines solides. Elle teste si l'usine peut rivaliser sur un travail établi.

Kimi Delta Attention (KDA) est un mécanisme d'attention plus récent. Il est plus spécialisé et a moins de modèles d'implémentation établis. Il teste si l'usine peut s'adapter rapidement à une charge de travail de recherche plus récente.

Nous avons comparé les implémentations générées avec des références humaines bien optimisées : QuACK pour RMSNorm et l'implémentation FlashKDA basée sur CUTLASS pour KDA. Les comparaisons ont été effectuées sur le même matériel avec des vérifications de correction avant le chronométrage.

Points saillants des benchmarks

Ce sont des résultats de benchmark au niveau de l'opérateur, et non des affirmations sur les accélérations de modèles complets. L'effet sur une application dépend de son modèle, de sa charge de travail, de ses formes, de sa pile logicielle et du temps total qu'elle passe dans l'opération optimisée.

Nous rapportons également les résultats moins flatteurs. Dans la matrice RMSNorm Hopper, deux autres formats de nombre ont montré de petites régressions ; les cas les plus lents étaient 0,42% et 0,84% derrière QuACK. Nous préférons publier la limite du résultat plutôt que de le cacher derrière un seul nombre favorable.

La correction prime sur la vitesse

Un noyau rapide est inutile s'il modifie le résultat ou échoue sur des entrées réelles.

Chaque comparaison de performances commence donc par la correction :

• L'implémentation KDA B200 a passé les 580 tests en amont.
• L'implémentation KDA Hopper a passé 584 tests en amont et 235 tests de package sur le système GH200 validé.
• Les implémentations RMSNorm ont passé leurs suites de packages complètes sur le matériel validé : 48 tests plus 65 sous-tests sur GH200 et 66 tests sur B200.

Les suites couvrent différents types de données, tailles d'entrée, séquences de longueur fixe et variable, état optionnel, chemins forward et backward (lorsqu'ils sont pris en charge) et des cas limites difficiles.

Les benchmarks peuvent encore être spécifiques à l'environnement, donc chaque dépôt inclut la source, les commandes de test, la méthode de mesure, les versions logicielles et les rapports bruts ou générés nécessaires pour inspecter et reproduire les résultats.

Pourquoi commencer ici

Les noyaux GPU sont un premier test utile pour notre approche car le retour d'information est impitoyable.

La sortie est correcte ou ne l'est pas. L'implémentation est plus rapide ou ne l'est pas. Un changement peut être compilé, testé et mesuré. Le progrès est fondé sur des preuves plutôt que jugé par la crédibilité du texte généré.

L'optimisation des noyaux se situe également à un goulot d'étranglement important. Les modèles d'IA évoluent rapidement, le matériel change à chaque génération, et l'offre d'expertise en optimisation de bas niveau ne peut pas croître au même rythme.

Transformer une plus grande partie de ce travail en un système reproductible pourrait aider les équipes à :

• Mettre en production plus rapidement les nouvelles opérations de modèles.
• Mieux utiliser les nouvelles générations de GPU.
• Explorer des idées d'optimisation qui seraient trop coûteuses à tester manuellement.
• Réserver le temps des experts pour l'architecture, les exigences et les décisions au niveau du système.

Il ne s'agit pas de supprimer des ingénieurs. Il s'agit de donner à un petit nombre d'experts plus de levier.

Open source des quatre premiers artefacts de l'usine

Aujourd'hui, nous publions :

• Int21-AI/KDA-B200 : Kimi Delta Attention pour Blackwell, validé sur NVIDIA B200.
• Int21-AI/KDA-H100 : Kimi Delta Attention pour Hopper, validé sur NVIDIA GH200.
• Int21-AI/RMSNorm-B200 : RMSNorm pour Blackwell, validé sur NVIDIA B200.
• Int21-AI/RMSNorm-H100 : RMSNorm pour Hopper, validé sur NVIDIA GH200.

Nous publions le code car les affirmations de performance doivent pouvoir être inspectées. Les développeurs doivent pouvoir lire l'implémentation, exécuter les tests, reproduire les benchmarks et contester les résultats.

Ces versions ne sont pas le produit final. Elles sont la première preuve publique que l'usine peut produire des logiciels de bas niveau utiles sur des charges de travail établies et émergentes, et sur deux générations de matériel NVIDIA.

À propos de nous

INT21 a été fondée par Bing Xu en avril 2026 en tant qu'entreprise native de l'IA, construite sur une idée simple : la capacité d'ingénierie de l'entreprise elle-même doit passer à l'échelle avec le calcul.

Bing a été co-auteur de l'article original sur les Generative Adversarial Nets, le créateur original du package Python de XGBoost, et un co-créateur de MXNet et AITemplate.

En février 2025, il a co-écrit les premiers travaux de NVIDIA sur la génération agentique de noyaux GPU, en utilisant un modèle de raisonnement et une mise à l'échelle au moment de l'inférence pour générer et optimiser des noyaux d'attention. Avant INT21, Bing était un ingénieur distingué chez NVIDIA. Il a rejoint NVIDIA après l'acquisition de HippoML, la startup d'inférence GPU qu'il a co-fondée et dirigée en tant que PDG.

Une nouvelle ère de calcul

PTX Kernel Factory est maintenant en version bêta pour les équipes qui construisent des modèles d'IA, des systèmes d'inférence, des plateformes d'entraînement et d'autres produits gourmands en GPU.

Le point de départ peut être une opération trop lente, une nouvelle architecture sans noyau mature, ou une charge de travail importante qui n'a pas justifié des semaines de temps spécialisé. L'équipe fournit le problème et la définition du succès. L'usine prend en charge la recherche.

PTX Kernel Factory est également la première étape dans une direction plus large pour INT21, et pour l'industrie plus largement.

La plupart des infrastructures de calcul aujourd'hui sont statiques : les gens les écrivent, les optimisent et les revisitent lorsque les exigences ou le matériel changent. Les systèmes d'IA peuvent générer des sorties impressionnantes, mais les déployer de manière fiable en production, à grande échelle, reste largement non résolu.

Nous croyons qu'une plus grande partie de cette infrastructure deviendra adaptative. Elle testera son propre travail, préservera ce qu'elle apprendra et améliorera la façon dont elle résout le problème suivant.

Nous commençons avec l'une des couches les plus difficiles et les plus mesurables de la pile. La connaissance humaine ne passe pas à l'échelle, mais les essaims d'agents peuvent continuer à s'améliorer à chaque exécution. L'infrastructure de calcul auto-améliorante est un changement fondamental dans la façon dont l'IA est construite.

Décrivez le noyau. Définissez le succès. Laissez l'usine améliorer l'implémentation.

En savoir plus et demander un accès anticipé.