新しい軽量オープンモデルとルーティングライブラリが、エッジデバイス、PC、ワークステーション、データセンター、クラウドにわたって、AI、データ、ワークフローをより細かく制御できるようにします。
出典: NVIDIA Blog
著者: Kari Briski、NVIDIA 生成 AI 担当バイスプレジデント
AI がチャットボットから自律エージェントへと移行する中、オープンモデルは、AI をどこで実行し、どのようにデプロイして進化させるかを完全に制御したいという市場のニーズに応えています。
本日、NVIDIA は Nemotron 3 モデルファミリーを拡張し、長時間実行されるエージェント型 AI ワークロード向けに同クラス最高の効率を実現する Nemotron 3.5 Lightning を発表しました。今回のリリースは Nemotron 3 Nano に続くものであり、精度と速度の向上に向けてオープンモデルを継続的に改善するという NVIDIA のコミットメントを反映しています。
大規模なマルチエージェントシステム内の専門タスク向けに構築された Nemotron 3.5 Lightning は、300 億パラメータの混合エキスパート（MoE）モデルであり、よりスマートで効率的なエージェント型アプリケーションの開発を支援します。
また、NVIDIA は人気のエージェントツール内でスマートルーティングを実現するオープンソースライブラリ、NeMo Switchyard もリリースします。企業はこれを使用して、自社の特定のニーズに基づいたルーターを構築できます。NeMo Switchyard を導入すると、各リクエストをタスクに最も適した高性能モデルへインテリジェントに振り分けることができ、開発者がアプリケーションを書き直す必要はありません。
Nemotron 3.5 Lightning と NeMo Switchyard を組み合わせることで、PC、ワークステーション、データセンター、クラウドにわたって、AI のデプロイ方法、実行場所、動作効率をより細かく制御できます。
図 1: Nemotron 3.5 Lightning は、大量のエージェント型ワークフロー向けに構築された、カスタマイズ可能な小型オープンモデルで、フロンティアレベルのインテリジェンスを実現します。
常時稼働エージェントにはモデルのシステムが必要
現代のエージェント型システム（常時稼働エージェント）は、モデルのシステム、つまりモデルアンサンブルとして動作することが増えており、さまざまなモデルが異なるタスクに特化しています。
NVIDIA Nemotron オープンモデルは、このアーキテクチャ向けに設計されています。Nemotron 3 Ultra や GPT-5.6 などのフロンティア推論モデルがワークフローの計画とオーケストレーションを担う一方、Nemotron 3.5 Lightning のような小型の特化モデルは、コードレビュー、ツール使用、セキュリティアラートの監視、請求に関する質問への回答といった特定のタスクを実行できます。
Nemotron 3.5 Lightning で大量の専門タスクを処理
NVIDIA Nemotron 3.5 Lightning は、常時稼働エージェントを支える大量のタスク向けに構築された、完全にカスタマイズ可能なオープンモデルです。このモデルは Nemotron Coalition の貢献により開発され、そのメンバーが評価方法論、推論ソフトウェア、データセットを提供してモデルの進化に貢献しました。
このモデルは、同クラスの他のモデルと比較して最大 4 倍の出力速度を実現し、エージェント型タスクの完了を 30% 高速化します。さらに、オープンでカスタマイズ可能なため、Nemotron 3.5 Lightning は NVIDIA NeMo を使用して組織固有のドメインデータ、ツール、ワークフローで容易にポストトレーニングでき、専門タスクの精度を向上させることができます。
図 2: PinchBench ベンチマークは、Nemotron 3.5 Lightning が同クラスの他のモデルと比較して、フロンティアレベルの精度を維持しながらエージェント型タスクをより速く完了することを示しています。
さまざまな業界の AI リーダーが、Nemotron 3.5 Lightning を自社のワークロードに合わせてカスタマイズしています。サイバーセキュリティ分野の @CrowdStrike、@TrajectoryLabs と連携した法務サービス分野の @Harvey、@Baseten と連携したコードレビュー分野の @CodeRabbitAI などが、ドメイン固有のエージェント型タスクの精度向上に取り組んでいます。さらに、@LilaSciences は物理科学とライフサイエンスにおけるエージェント型タスクの推論能力の向上を支援しており、@FastinoAI はモデルをカスタマイズして、ソフトウェア開発、金融、ヘルスケアのワークロードでトップクラスの精度を達成しています。
図 3: 企業は Nemotron 3.5 Lightning をカスタマイズして、エージェント型ワークフローにおける専門タスクでトップクラスの精度を達成しています。
Nemotron 3.5 Lightning は、プライバシーとデプロイの制御も組織に提供します。NVIDIA RTX PC、NVIDIA DGX Spark、NVIDIA DGX Station、NVIDIA Jetson などのローカル AI システムで実行できるため、ユーザーは既存のインフラストラクチャへの投資を最大限に活用できるほか、エッジ AI デバイス、NVIDIA RTX PRO ワークステーション、データセンター、クラウド環境に拡張してエンタープライズユースケースに対応できます。また、Nemotron 3.5 Lightning は、高速な応答が求められる大量の専門タスクのために、ローカルまたはオンプレミスで実行することもできます。
さらに、NVIDIA はすべての Nemotron のリリースと同様に、トレーニングデータと手法を公開しており、これによりトレーサビリティ、監査、他のモデルのトレーニングが可能になります。NVIDIA は Nemotron 3.5 Lightning に加えて、そのポストトレーニングに使用する 2 つの新しいオープン強化学習データセットもリリースしています。1 つはエージェント型コード環境である Nemotron-RL-Agentic-Terminal-Pivot、もう 1 つは Nemotron Ultra で以前にリリースされたデータに基づいて構築された、より広範な RL データブレンドである Nemotron-RL-Lighting-Training-Blend です。
モデルルーティングによるより効率的な AI アプリ
コーディングに優れたモデルもあれば、推論に優れたモデル、軽量タスク向けのモデル、プライバシーと効率性を高めるためにローカル実行に最適化されたモデルもあります。顧客が単一のデフォルトモデルに依存すると、コスト超過または品質低下のいずれかが発生する可能性があります。ルーティングを手動で管理すると、統合作業が増えてデプロイが遅れる可能性があります。
NVIDIA NeMo Switchyard は、AI エージェント向けのオープンソースのモデルルーティングライブラリです。このテクノロジーは、エージェントワークフローの各ステップで、特定のニーズに基づいて最も高性能で効率的なモデルにプロンプトを自動的にルーティングします。エージェントアプリケーション開発者は、品質、レイテンシ、コスト要件などの優先事項に合わせて、さまざまなルーティングアルゴリズムでルーターを調整または変更できます。モデルのシステムにおいて、企業はトークンエコノミクスを改善した強力な AI エージェントを構築できます。
内部ベンチマークによると、NeMo Switchyard はフロンティアレベルの精度を維持しながら、タスク完了コストを Opus 4.8 単独の場合の約 3 分の 1 に削減します。
図 4: NVIDIA の内部ベンチマークによると、NeMo Switchyard はフロンティアレベルの精度を維持しながら、タスク完了コストを Opus 4.8 単独の場合の約 3 分の 1 に削減します。
NVIDIA は AI エコシステム全体のパートナーと連携し、インテリジェントなモデルルーティングを、開発者がすでに使用しているツールやプラットフォームに導入しています。
- @Boomi: 5 つのルーティング機能にわたって Switchyard を評価し、ドメインルーティング精度 100% を達成。トラフィックの 59% を 5 倍高速なファインチューニングモデルに送り、後続ターンのレイテンシを 21% 削減しました。
- @Cadence: ChipStack AI Super Agent をフォーマル検証のユースケースで使用し、効率を 9.9% 向上させました。
- @Classmethod: NeMo Switchyard を使用して opencode と Fireworks のワークロードを社内で実行しており、初期テストでは品質を維持しながらコストを 27% 削減しています。
- @Cognition: NVIDIA NeMo Switchyard のステージドルーターを NVIDIA 社内用に Devin Desktop へ統合し、FrontierCode Main でフロンティアに迫るパフォーマンスを達成。すべてのリクエストを単一のフロンティアモデルにルーティングした場合と比較して、平均コストを 28% 削減しました。
- @Kong: NeMo Switchyard によるルーティングを Kong AI Gateway でネイティブに提供しています。
- @LangChain: NeMo Switchyard により、145 件のマルチターン Deep Agents タスクで、リクエストのわずか 7% をフロンティアモデルにルーティングするだけでコストを 74% 削減（精度は 6% のトレードオフ）しました。
- @LiteLLM: NeMo Switchyard をプロキシレイヤーへのプラグインとして追加しており、開発者は既存のスタックを変更することなくこれらのメリットを利用できます。
- @NousResearch: NeMo Switchyard を Hermes に統合し、簡単に設定できるルーティングシステムを開発者に提供してエージェントの効率を向上させています。
- @TryRamp: NeMo Switchyard を使用して、Ramp SWE-Bench においてフロンティアモデルのパフォーマンスを維持しながら、コストを 58%、ランタイムを 33% 削減しました。
- @Siemens: Fuse EDA AI Agent の効率向上に向けてベンチマークを実施しています。
Nemotron 3.5 Lightning は、Hugging Face、ModelScope、OpenRouter、build.nvidia.com で NVIDIA NIM マイクロサービスとして利用できるほか、NVIDIA Cloud Partners、ポストトレーニングプラットフォーム、推論プラットフォーム、クラウドサービスプロバイダーの幅広いエコシステムを通じて提供されます。NeMo Switchyard は GitHub で利用可能で、まもなくパートナープラットフォームでも提供される予定です。
