Wir entwickeln selbstverbessernde KI-Systeme für die Software, die unter der modernen KI liegt. Unser erstes Produkt erzeugt und optimiert GPU-Software auf niedriger Ebene und beweist dann seine Arbeit mit Tests und Benchmarks.
Heute starten wir INT21: das erste Unternehmen, das selbstverbessernde KI-Agenten-Schwärme erreicht hat, angewandt auf KI-Infrastruktur.
Die Schicht, die die meisten nicht sehen
Die meisten Diskussionen über KI-Fortschritte konzentrieren sich auf Modelle. Aber jedes Modell hängt von einer weniger sichtbaren Schicht ab: der Software, die den GPUs sagt, wie sie jede Operation ausführen sollen.
Diese Software hat einen überdurchschnittlichen Einfluss auf Geschwindigkeit und Kosten. Sie ist auch schwer zu erstellen. Um die beste Leistung auf einer neuen GPU zu erzielen, braucht es oft Spezialisten, die sowohl den Algorithmus als auch die Hardware außergewöhnlich tief verstehen.
INT21 existiert, um diese Arbeit skalierbarer zu machen. Wir nennen diese neue Kategorie Selbstverbessernde Recheninfrastruktur.
Unser erstes Produkt: PTX Kernel Factory
PTX Kernel Factory ist ein KI-System, das Software für NVIDIA-GPUs erzeugt und verbessert. Ein Team definiert die Operation, die Anforderungen und das Erfolgsmaß. Die Factory schreibt eine Implementierung, testet sie, misst sie auf der Zielhardware, lernt aus dem Ergebnis und wiederholt den Vorgang.
Die ersten vier Implementierungen der PTX Kernel Factory sind heute Open Source. Das Produkt tritt außerdem in die Beta-Phase ein, mit frühem Zugang unter int21.ai.
Für KI-Workloads, die auf NVIDIA-GPUs laufen, wird jede Modelloperation letztendlich zu Anweisungen, die von der Hardware ausgeführt werden. Ein GPU-Kernel ist das kleine, spezialisierte Programm, das für eine solche Operation verantwortlich ist, wie Normalisierung, Attention oder das Verschieben von Daten durch den Speicher. Tausende dieser Kernel laufen unter jedem Trainingsdurchlauf und jeder KI-Anwendung.
PTX ist NVIDIAs low-level, assembler-ähnliche GPU-Sprache. Sie sitzt zwischen der GPU-Software auf höherer Ebene und den endgültigen Maschinenbefehlen, die von der Hardware ausgeführt werden, und ist damit eine der nächstgelegenen programmierbaren Schichten im NVIDIA-Stack.
Auf dieser Ebene zu arbeiten gibt präzise Kontrolle darüber, wie Daten durch den Speicher wandern, wie Threads zusammenarbeiten, wann Arbeit synchronisiert wird und welche spezialisierten GPU-Befehle verwendet werden. Diese Entscheidungen können bestimmen, ob eine teure GPU ihre Zeit mit Arbeiten oder Warten verbringt.
Nur sehr wenige Ingenieure können PTX gut schreiben und optimieren. Die Arbeit erfordert eine seltene Kombination aus Algorithmus-Kenntnissen, GPU-Architektur-Expertise, numerischer Präzision und Leistungsintuition. Tools, Bibliotheken und Compiler auf höherer Ebene machen die GPU-Entwicklung für viel mehr Menschen zugänglich, aber wenn eine neue KI-Operation keine ausgereifte Implementierung hat oder wenn bestehende Abstraktionen die erforderliche Leistung nicht erreichen können, wird diese knappe Low-Level-Expertise zum Engpass.
Sie ist auch außergewöhnlich schwierig. Ein Kernel kann korrekt aussehen, aber bei einer seltenen Eingabe versagen. Er kann für eine Form schnell und für eine andere langsam sein. Er kann zu viele Register verwenden, zu viele Daten bewegen oder auf Hopper gut performen und auf Blackwell zurückfallen. Selbst erfahrene Ingenieure müssen viele Ideen testen, und die meisten dieser Ideen funktionieren nicht. Jede Hardware-Generation verändert einen Teil des Problems.
Diese Kombination macht PTX zu einem idealen ersten Testfeld für INT21: Es ist technisch anspruchsvoll, wirtschaftlich bedeutsam und objektiv messbar. Ein erzeugter Kernel ist entweder korrekt oder nicht. Er ist entweder schneller oder nicht.
PTX Kernel Factory verwandelt den Expertenkreislauf des Schreibens, Testens, Profilings und Überarbeitens von Low-Level-GPU-Code in einen Prozess, der kontinuierlich laufen und aus seinen Ergebnissen lernen kann.
Wie PTX Kernel Factory funktioniert
Die Benutzeroberfläche ist bewusst einfach:
- Beschreiben Sie die Operation. Definieren Sie, was der Kernel tun muss und welche Eingaben er unterstützen muss.
- Legen Sie die Anforderungen fest. Geben Sie Korrektheitstests, Zielhardware und etwaige Integrationsbeschränkungen an.
- Definieren Sie den Erfolg. Wählen Sie die Leistungsmetrik, die das System optimieren soll.
Von dort aus führt die Factory einen längerfristigen Engineering-Prozess durch. Sie erzeugt Kandidatenimplementierungen, kompiliert sie, verwirft fehlerhafte Ergebnisse, benchmarkt gültige Kandidaten und nutzt die Beweise, um die nächste Runde zu leiten.
Die veröffentlichten Implementierungen kombinieren CUDA C++ mit Inline-PTX, was dem System Kontrolle über Hardwaredetails gibt, die höhere Werkzeuge bewusst verbergen können. Anstatt sich auf einen einzelnen Agenten zu verlassen, der eine einmalige Antwort liefert, koordiniert PTX Kernel Factory mehrere KI-Agenten in diesem Kreislauf.
Menschliche Ingenieure definieren weiterhin das Ziel, die Einschränkungen und die Akzeptanzkriterien. PTX Kernel Factory automatisiert die teure Suche zwischen einer klaren Spezifikation und einer starken Implementierung.
Was wir mit selbstverbessernd meinen
Ein Code-Agent kann eine Antwort liefern. Ein zuverlässiges Engineering-System muss auch feststellen können, ob die Antwort funktioniert, verstehen, warum ein Versuch fehlgeschlagen ist, und nützliches Wissen in den nächsten Versuch einbringen.
Das meinen wir mit selbstverbessernd.
Die meisten Bemühungen in diesem Bereich konzentrieren sich darauf, die KI selbst zu verbessern. Wir gehen einen grundlegend anderen Weg, bei dem die Agentenschwärme die Infrastruktur, auf der sie laufen, selbst verbessern, die menschliche Kontrolle bewahren und gleichzeitig die Leistung mit jedem Produktionszyklus steigern.
Die Herausforderung besteht weniger darin, einen plausiblen Kernel zu erzeugen, sondern vielmehr darin, ein System zu bauen, das Tausende von falschen, fragilen oder irreführenden Versuchen ablehnen, die wenigen wichtigen Lektionen bewahren und sich weiter verbessern kann, ohne von der Korrektheit abzuweichen.
PTX Kernel Factory behandelt nicht jede Generation als neue Aufforderung. Es bewahrt nützliche Erkenntnisse aus erfolgreichen und fehlgeschlagenen Experimenten, sodass spätere Arbeiten auf früheren Erkenntnissen aufbauen können. Das Ziel ist es, den Prozess zu verbessern, der den Code produziert.
So steigert sich die Leistung der Factory im Laufe der Zeit. Jede Generation beginnt mit mehr Beweisen darüber, was funktioniert, was fehlschlägt und welche Richtungen es wert sind, erkundet zu werden.
Unsere übergreifende These ist:
Nutze Rechenleistung, um Rechenleistung zu verbessern.
Intelligenz ist nicht nur das, was ein Modell weiß. Es ist die Fähigkeit zu suchen, zu testen, sich zu erinnern, zu korrigieren und zu verbessern. Wir glauben, dass Systeme, die diese Fähigkeiten kumulativ machen, ein wichtiger Teil der zukünftigen Recheninfrastruktur und der breiteren selbstverbessernden Evolution in der KI werden.
Unser erster Beweis: Zwei sehr unterschiedliche KI-Workloads
Für die erste öffentliche Veröffentlichung haben wir zwei Workloads ausgewählt, die verschiedene Fähigkeiten testen.
RMSNorm ist eine gängige Operation, die in modernen Sprachmodellen verwendet wird. Sie ist ausgereift, weitgehend verstanden und hat bereits starke von Menschen geschriebene Implementierungen. Sie testet, ob die Factory mit etablierter Arbeit konkurrieren kann.
Kimi Delta Attention (KDA) ist ein neuerer Attention-Mechanismus. Er ist spezialisierter und hat weniger etablierte Implementierungsmuster. Er testet, ob die Factory sich schnell an einen neueren Forschungs-Workload anpassen kann.
Wir haben die erzeugten Implementierungen mit gut optimierten, von Menschen erstellten Basislinien verglichen: QuACK für RMSNorm und die CUTLASS-basierte FlashKDA-Implementierung für KDA. Die Vergleiche wurden auf derselben Hardware mit Korrektheitsprüfungen vor der Zeitmessung durchgeführt.
Benchmark-Highlights
Workload
Hardware
Ergebnis im Vergleich zur Experten-Baseline
KDA
NVIDIA GH200, Hopper
1,24- bis 1,59-mal so schnell in sechs Szenarien mit fester und variabler Länge
KDA
NVIDIA B200, Blackwell
1,42-mal so schnell über das standardmäßige öffentliche Interface und 1,52-mal so schnell in einer optimierten Integration
RMSNorm
NVIDIA GH200, Hopper
8,17 % schneller im geometrischen Mittel über 11 Vorwärtsfälle mit einem gängigen 16-Bit-KI-Format; 15 % bis 34 % schneller in ausgewählten Rückwärtsvergleichen
RMSNorm
NVIDIA B200, Blackwell
Schneller in allen 126 vergleichbaren Fällen über die gesamte Standard-Benchmark-Matrix
Dies sind Ergebnisse auf Operatorebene, keine Behauptungen über Modellbeschleunigungen. Die Auswirkung auf eine Anwendung hängt von ihrem Modell, Workload, Formen, Software-Stack und davon ab, wie viel Gesamtzeit sie in der optimierten Operation verbringt.
Wir berichten auch die weniger schmeichelhaften Ergebnisse. In der Hopper-RMSNorm-Matrix enthielten zwei andere Zahlenformate kleine Regressionen; die langsamsten Fälle waren 0,42 % und 0,84 % hinter QuACK. Wir veröffentlichen lieber die Grenze des Ergebnisses, als es hinter einer einzigen günstigen Zahl zu verstecken.
Korrektheit kommt vor Geschwindigkeit
Ein schneller Kernel ist nutzlos, wenn er das Ergebnis verändert oder bei echten Eingaben versagt.
Daher beginnt jeder Leistungsvergleich mit Korrektheit:
- Die B200-KDA-Implementierung hat alle 580 Upstream-Tests bestanden.
- Die Hopper-KDA-Implementierung hat 584 Upstream-Tests und 235 Pakettests auf dem validierten GH200-System bestanden.
- Die RMSNorm-Implementierungen haben ihre vollständigen Paketsuiten auf der validierten Hardware bestanden: 48 Tests plus 65 Subtests auf GH200 und 66 Tests auf B200.
Die Suiten decken verschiedene Datentypen, Eingabegrößen, feste und variable Sequenzlängen, optionalen Zustand, Vorwärts- und Rückwärtspfade, wo unterstützt, und schwierige Randfälle ab.
Benchmarks können dennoch umgebungsspezifisch sein, daher enthält jedes Repository den Quellcode, die Testbefehle, die Messmethode, die Softwareversionen und rohe oder generierte Berichte, die zur Überprüfung und Reproduktion der Ergebnisse benötigt werden.
Warum hier anfangen
GPU-Kernel sind ein nützlicher erster Test für unseren Ansatz, weil das Feedback unnachgiebig ist.
Die Ausgabe ist entweder korrekt oder nicht. Die Implementierung ist entweder schneller oder nicht. Eine Änderung kann kompiliert, getestet und gemessen werden. Der Fortschritt basiert auf Beweisen, nicht darauf, wie überzeugend generierter Text klingt.
Die Kernel-Optimierung sitzt auch an einem wichtigen Engpass. KI-Modelle entwickeln sich schnell, Hardware ändert sich jede Generation, und das Angebot an Low-Level-Optimierungsexpertise kann nicht im gleichen Tempo wachsen.
Mehr dieser Arbeit in ein wiederholbares System zu verwandeln, könnte Teams helfen:
- Neue Modelloperationen schneller in die Produktion zu bringen.
- Neue GPU-Generationen besser zu nutzen.
- Optimierungsideen zu erkunden, die manuell zu testen zu teuer wäre.
- Expertenzeit für Architektur, Anforderungen und Systementscheidungen aufzubewahren.
Es geht nicht darum, Ingenieure zu ersetzen. Es geht darum, einer kleinen Anzahl von Experten mehr Hebelwirkung zu geben.
Open-Source-Veröffentlichung der ersten vier Factory-Artefakte
Heute veröffentlichen wir:
- Int21-AI/KDA-B200: Kimi Delta Attention für Blackwell, validiert auf NVIDIA B200.
- Int21-AI/KDA-H100: Kimi Delta Attention für Hopper, validiert auf NVIDIA GH200.
- Int21-AI/RMSNorm-B200: RMSNorm für Blackwell, validiert auf NVIDIA B200.
- Int21-AI/RMSNorm-H100: RMSNorm für Hopper, validiert auf NVIDIA GH200.
Wir veröffentlichen den Code, weil Leistungsbehauptungen überprüfbar sein sollten. Entwickler sollten in der Lage sein, die Implementierung zu lesen, die Tests auszuführen, die Benchmarks zu reproduzieren und die Ergebnisse anzufechten.
Diese Veröffentlichungen sind nicht das Endprodukt. Sie sind der erste öffentliche Beweis dafür, dass die Factory nützliche Low-Level-Software für etablierte und neue Workloads sowie für zwei Generationen von NVIDIA-Hardware produzieren kann.
Über uns
INT21 wurde im April 2026 von Bing Xu als KI-natives Unternehmen gegründet, basierend auf einer einfachen Idee: Die eigene Engineering-Kapazität des Unternehmens sollte mit der Rechenleistung skalieren.
Bing war Co-Autor des ursprünglichen Generative Adversarial Nets Papers, der ursprüngliche Ersteller des Python-Pakets von XGBoost und Co-Ersteller von MXNet und AITemplate.
Im Februar 2025 war er Co-Autor von NVIDIAs frühen Arbeiten zur agentischen GPU-Kernel-Generierung, wobei ein Reasoning-Modell und Inference-Time-Scaling verwendet wurden, um Attention-Kernel zu generieren und zu optimieren. Vor INT21 war Bing Distinguished Engineer bei NVIDIA. Er kam zu NVIDIA, nachdem das Unternehmen HippoML übernommen hatte, das GPU-Inference-Startup, das er mitgründete und als CEO leitete.
Eine neue Ära des Rechnens
PTX Kernel Factory befindet sich jetzt in der Beta-Phase für Teams, die KI-Modelle, Inferenzsysteme, Trainingsplattformen und andere GPU-intensive Produkte entwickeln.
Der Ausgangspunkt kann eine Operation sein, die zu langsam ist, eine neue Architektur ohne ausgereiften Kernel oder ein wichtiger Workload, der keine Wochen an Spezialistenzeit gerechtfertigt hat. Das Team liefert das Problem und die Definition von Erfolg. Die Factory übernimmt die Suche.
PTX Kernel Factory ist auch der erste Schritt in eine größere Richtung für INT21 und für die Branche insgesamt.
Die meisten Recheninfrastrukturen sind heute statisch: Menschen schreiben sie, optimieren sie und überarbeiten sie, wenn sich Anforderungen oder Hardware ändern. KI-Systeme können beeindruckende Ausgaben erzeugen, aber sie zuverlässig in der Produktion zu implementieren, bleibt weitgehend ungelöst.
Wir glauben, dass mehr dieser Infrastruktur anpassungsfähig werden wird. Sie wird ihre eigene Arbeit testen, bewahren, was sie lernt, und die Art und Weise verbessern, wie sie das nächste Problem löst.
Wir beginnen mit einer der schwierigsten, am besten messbaren Schichten des Stacks. Menschliches Wissen skaliert nicht, aber Agentenschwärme können mit jedem Durchlauf besser werden. Selbstverbessernde Recheninfrastruktur ist eine grundlegende Veränderung in der Art und Weise, wie KI gebaut wird.
Beschreiben Sie den Kernel. Definieren Sie Erfolg. Lassen Sie die Factory die Implementierung verbessern.
