INT21 および PTX Kernel Factory のご紹介

私たちは、現代 AI を支えるソフトウェア向けに、自己改善型 AI システムを構築しています。最初の製品は、低レベルの GPU ソフトウェアを生成・最適化し、テストとベンチマークでその動作を証明します。

本日、私たちは INT21 を発表します。AI インフラに適用される、自己改善型 AI エージェント群を実現した初の企業です。

ほとんどの人が見ていないレイヤー

AI の進歩に関する議論のほとんどは、モデルに焦点を当てています。しかし、すべてのモデルは、あまり目に見えないレイヤー、すなわち GPU に各演算の実行方法を指示するソフトウェアに依存しています。

そのソフトウェアは、速度とコストに大きな影響を与えます。また、構築は困難です。新しい GPU で最高のパフォーマンスを達成するには、アルゴリズムとハードウェアの両方を非常に深く理解した専門家が必要となることがよくあります。

INT21 は、その作業をよりスケーラブルにするために存在します。私たちはこの新しいカテゴリーを 自己改善型コンピュートインフラ と呼びます。

最初の製品: PTX Kernel Factory

PTX Kernel Factory は、NVIDIA GPU 向けのソフトウェアを生成・改善する AI システムです。チームが演算、要件、成功の指標を定義します。ファクトリーは実装を作成し、テストし、対象ハードウェア上で測定し、結果から学習して、それを繰り返します。

PTX Kernel Factory によって生成された最初の 4 つの実装は、本日オープンソースとして公開されました。また、本製品はベータ版に移行し、int21.ai から早期アクセスを利用できます。

NVIDIA GPU 上で動作する AI ワークロードでは、各モデルの演算は最終的にハードウェアによって実行される命令になります。GPU カーネルとは、正規化、アテンション、メモリ内のデータ移動など、1 つの演算を担当する、小さく特殊なプログラムです。トレーニングジョブや AI アプリケーションの背後では、何千ものこれらのカーネルが動作しています。

PTX は、NVIDIA の低レベルでアセンブリに似た GPU 言語です。これは、高レベルの GPU ソフトウェアとハードウェアが実行する最終的なマシン命令の中間に位置し、NVIDIA スタックの中で最もプログラム可能なレイヤーの 1 つです。

このレベルで作業することで、データがメモリをどのように移動するか、スレッドがどのように連携するか、いつ作業が同期されるか、どの特殊な GPU 命令が使用されるかを正確に制御できます。これらの選択によって、高価な GPU が作業に時間を費やすのか、待機に時間を費やすのかが決まります。

PTX を適切に記述し最適化できるエンジニアはほとんどいません。その作業には、アルゴリズム知識、GPU アーキテクチャの専門知識、数値計算の厳密さ、パフォーマンスに関する直感という、稀有な組み合わせが必要です。高レベルツール、ライブラリ、コンパイラにより、GPU 開発ははるかに多くの人々にとってアクセスしやすくなっていますが、新しい AI 演算に成熟した実装がない場合や、既存の抽象化では必要なパフォーマンスに到達できない場合、この希少な低レベルの専門知識がボトルネックになります。

また、それは非常に困難です。カーネルは正しく見えても、まれな入力で失敗することがあります。ある形状では速くても、別の形状では遅くなることがあります。レジスタを多用したり、データを過剰に移動したり、Hopper では良好に動作しても Blackwell では後退したりすることがあります。経験豊富なエンジニアでさえ、多くのアイデアをテストする必要があり、そのアイデアのほとんどは機能しません。ハードウェアの世代が変わるごとに、問題の一部が変化します。

その組み合わせにより、PTX は INT21 にとって理想的な最初の実証の場となります。技術的に要求が厳しく、経済的に重要であり、客観的に測定可能です。生成されたカーネルは正しいか正しくないか、速いか遅いかです。

PTX Kernel Factory は、低レベル GPU コードの作成、テスト、プロファイリング、修正というエキスパートのループを、継続的に実行し結果から学習できるプロセスに変えます。

PTX Kernel Factory の仕組み

インターフェースは意図的にシンプルです。

1. 演算を記述する。 カーネルが何を行う必要があるか、サポートすべき入力を定義します。
2. 要件を設定する。 正しさのテスト、対象ハードウェア、統合に関する制約を提供します。
3. 成功を定義する。 システムが最適化すべきパフォーマンス指標を選択します。

その後、ファクトリーは長期的なエンジニアリングプロセスを実行します。候補となる実装を生成し、コンパイルし、誤った結果を拒否し、有効な候補をベンチマークし、その証拠を使用して次のラウンドを導きます。

公開された実装は、CUDA C++ とインライン PTX を組み合わせており、高レベルツールが意図的に隠す可能性のあるハードウェアの詳細をシステムが制御できるようにしています。単一のエージェントがワンショットの回答を生成することに依存するのではなく、PTX Kernel Factory はこのループ全体で複数の AI エージェントを調整します。

人間のエンジニアは依然として目標、制約、受け入れ基準を定義します。PTX Kernel Factory は、明確な仕様から強力な実装に至るまでの、コストのかかる探索を自動化します。

自己改善の意味

コーディングエージェントは回答を生成できます。しかし、信頼性の高いエンジニアリングシステムには、回答が機能するかどうかを判断し、試みが失敗した理由を理解し、有用な知識を次の試みに引き継ぐ能力も必要です。

それが私たちの言う自己改善の意味です。

この分野でのほとんどの取り組みは、AI 自体の自己改善に焦点を当てています。私たちは根本的に異なる道を進んでいます。エージェント群は、それらが実行するインフラを自己改善し、人間の制御を維持しながら、生産サイクルごとにパフォーマンスを積み上げていきます。

課題は、もっともらしいカーネルを 1 つ生成することよりも、何千もの間違った、脆弱な、誤解を招く試みを拒否し、重要ないくつかの教訓を保持し、正しさから逸れることなく改善を続けることができるシステムを構築することにあります。

PTX Kernel Factory は、すべての生成を新しいプロンプトとして扱いません。成功した実験と失敗した実験の両方から有用な発見を保持し、後の作業が以前の証拠に基づいて構築できるようにします。目標は、コードを生成するプロセス自体を改善することです。

これにより、ファクトリーのパフォーマンスは時間とともに累積されます。各世代は、何が機能し、何が失敗し、どの方向性を探求する価値があるかについて、より多くの証拠から始まります。

私たちのより広いテーゼは次のとおりです。

計算を使って計算を改善する。

知能とは、モデルが知っていることだけではありません。それは、探索し、テストし、記憶し、修正し、改善する能力です。私たちは、これらの能力を累積的にするシステムが、将来のコンピュートインフラと、AI におけるより広範な自己改善の進化の重要な部分になると信じています。

最初の証明: 非常に異なる 2 つの AI ワークロード

最初の公開リリースでは、異なる能力をテストする 2 つのワークロードを選択しました。

RMSNorm は、現代の言語モデル全体で使用される一般的な演算です。成熟しており、広く理解され、すでに優れた人間による実装が存在します。ファクトリーが確立された作業で競争できるかどうかをテストします。

Kimi Delta Attention (KDA) は、より新しいアテンションメカニズムです。より特殊化されており、確立された実装パターンは少ないです。ファクトリーが新しい研究ワークロードに迅速に適応できるかどうかをテストします。

生成された実装を、高度に最適化された人間作成のベースライン (RMSNorm には QuACK、KDA には CUTLASS ベースの FlashKDA 実装) と比較しました。比較は同じハードウェア上で、タイミング前に正しさのチェックを行って実行されました。

ベンチマークのハイライト

これらは演算子レベルのベンチマーク結果であり、モデル全体の高速化を主張するものではありません。アプリケーションへの影響は、そのモデル、ワークロード、形状、ソフトウェアスタック、および最適化された演算に費やす総時間に依存します。

また、あまり好ましくない結果も報告します。Hopper RMSNorm マトリックスでは、他の 2 つの数値フォーマットにわずかな後退が含まれていました。最も遅いケースは QuACK 比で 0.42% および 0.84% 遅くなっていました。私たちは、好都合な1つの数値の背後に結果を隠すよりも、結果の境界を公開することを選びます。

速度よりも正しさが優先

高速なカーネルでも、結果を変えたり、実際の入力で失敗したりすれば役に立ちません。

したがって、すべてのパフォーマンス比較は正しさの確認から始まります。

• B200 KDA 実装は、580 のアップストリームテストすべてに合格しました。
• Hopper KDA 実装は、検証済み GH200 システム上で 584 のアップストリームテストと 235 のパッケージテストに合格しました。
• RMSNorm 実装は、検証済みハードウェア上で完全なパッケージスイートに合格しました。GH200 では 48 テスト + 65 サブテスト、B200 では 66 テストです。

スイートは、異なるデータ型、入力サイズ、固定長および可変長シーケンス、オプションの状態、サポートされているフォワードパスとバックワードパス、および困難なエッジケースをカバーしています。

ベンチマークは依然として環境固有である可能性があるため、各リポジトリには、結果の検査と再現に必要なソース、テストコマンド、測定方法、ソフトウェアバージョン、および生または生成されたレポートが含まれています。

なぜここから始めるのか

GPU カーネルは、フィードバックが容赦ないため、私たちのアプローチにとって有用な最初のテストです。

出力は正しいか正しくないかです。実装は速いか遅いかです。変更はコンパイル、テスト、測定が可能です。進歩は、生成されたテキストがどれだけ説得力があるかではなく、証拠に基づいています。

また、カーネル最適化は重要なボトルネックに位置しています。AI モデルは急速に進化し、ハードウェアは世代ごとに変化し、低レベルの最適化専門知識の供給は同じペースで成長できません。

この作業の多くを反復可能なシステムに変えることで、チームは以下のことを実現できる可能性があります。

• 新しいモデル演算をより迅速に本番環境に投入する。
• 新しい GPU 世代をより有効活用する。
• 手動でテストするにはコストがかかりすぎる最適化アイデアを探索する。
• 専門家の時間をアーキテクチャ、要件、システムレベルの決定のために確保する。

これはエンジニアを排除することではありません。少数の専門家により大きなレバレッジを与えることです。

最初の 4 つのファクトリーアーティファクトをオープンソース化

本日、以下を公開します。

• Int21-AI/KDA-B200: Blackwell 向け Kimi Delta Attention、NVIDIA B200 で検証済み。
• Int21-AI/KDA-H100: Hopper 向け Kimi Delta Attention、NVIDIA GH200 で検証済み。
• Int21-AI/RMSNorm-B200: Blackwell 向け RMSNorm、NVIDIA B200 で検証済み。
• Int21-AI/RMSNorm-H100: Hopper 向け RMSNorm、NVIDIA GH200 で検証済み。

パフォーマンスの主張は検査可能であるべきなので、コードを公開しています。開発者は実装を読み、テストを実行し、ベンチマークを再現し、結果に異議を唱えることができるべきです。

これらのリリースは最終製品ではありません。ファクトリーが確立されたワークロードと新しいワークロードの両方、および 2 世代の NVIDIA ハードウェアにわたって、有用な低レベルソフトウェアを生成できるという最初の公的な証拠です。

私たちについて

INT21 は、Bing Xu によって 2026 年 4 月に設立された AI ネイティブ企業です。シンプルなアイデア、すなわち、会社自身のエンジニアリング能力はコンピュートとともにスケールすべきである、という考えに基づいています。

Bing は、元の Generative Adversarial Nets 論文の共著者であり、XGBoost の Python パッケージのオリジナル作成者であり、MXNet と AITemplate の共同作成者です。

2025 年 2 月、彼は推論モデルと推論時スケーリングを使用してアテンションカーネルを生成・最適化する、エージェント型 GPU カーネル生成に関する NVIDIA の初期の研究を共同執筆しました。INT21 以前、Bing は NVIDIA の Distinguished Engineer でした。彼は、GPU 推論スタートアップ HippoML を共同設立し CEO として率いた後、NVIDIA が同社を買収した後に入社しました。

コンピューティングの新時代

PTX Kernel Factory は現在、AI モデル、推論システム、トレーニングプラットフォーム、およびその他の GPU 集約型製品を構築するチーム向けにベータ版を提供しています。

開始点は、遅すぎる演算、成熟したカーネルがない新しいアーキテクチャ、または数週間の専門家の時間を正当化できていない重要なワークロードである可能性があります。チームは問題と成功の定義を提供します。ファクトリーが探索を引き受けます。

PTX Kernel Factory は、INT21 にとって、そしてより広く業界にとって、より大きな方向性への第一歩でもあります。

今日のコンピュートインフラのほとんどは静的です。人々がそれを書き、最適化し、要件やハードウェアが変わったときに再訪します。AI システムは印象的な出力を生成できますが、本番環境で大規模に確実に展開することは、ほとんど未解決のままです。

私たちは、そのインフラの多くが適応的になると信じています。自身の作業をテストし、学んだことを保持し、次の問題を解決する方法を改善していくでしょう。

私たちは、スタックの中で最も難しく、最も測定可能なレイヤーの 1 つから始めています。人間の知識はスケールしませんが、エージェント群は実行のたびに向上し続けることができます。自己改善型コンピュートインフラは、AI の構築方法における根本的なシフトです。

カーネルを記述し、成功を定義してください。ファクトリーに実装の改善を任せましょう。

詳細を見て、早期アクセスをリクエストする。