NVIDIAの「Nemotron-Labs Diffusion」は、自己回帰型（AR）、拡散型、自己投機型という3つのデコーディングモードを単一アーキテクチャ内で統合している[research.nvidia.com]。特に自己投機モードでは、拡散モデルが複数のトークンを並列で高速にドラフト生成し、それを自己回帰モデルが検証することで、推論速度を最大6.4倍まで向上させることに成功した[huggingface.co]。Nemotron-Labs Diffusion-8Bは、既存の最先端自己回帰型モデルであるQwen3-8Bと比較して、同等以上の精度を維持しつつ、1回のフォワードパスあたり最大6倍のトークンをデコード可能である[research.nvidia.com]。
Nemotron-Labs DiffusionはSGLangフレームワークへの統合が予定されており、開発者はアプリケーションコードを大幅に変更することなく、推論モードを柔軟に切り替えられるようになる[huggingface.co]。このモデル群は、3B、8B、14Bのテキストモデルに加え、8BのVLM（Vision-Language Model）もNVIDIA Nemotron Open Model Licenseなどで公開される見込みである[huggingface.co]。SGLangはRadixAttention技術を用いてプロンプトのプレフィックスをキャッシュ・再利用することで、マルチターンチャットやRAGワークロードにおける速度向上に貢献するとされる[zenn.dev]。
従来の自己回帰型LLMは、1トークンずつテキストを生成するため、GPUの並列処理能力を十分に活用できず、メモリ帯域がボトルネックとなる「メモリバウンド」な状態を招きやすかった[zenn.dev]。Nemotron-Labs Diffusionは、既存の自己回帰モデルをベースに拡散能力を後付けする「継続事前学習」の手法を用いることで、この課題を克服したとNVIDIAは主張する[research.nvidia.com]。拡散モデルは、一度に複数のトークンを並列で生成し、反復的に洗練させるメカニズムを持つため、現代のGPUの計算モデルをより効果的に活用できる[zenn.dev]。
推論速度の向上は、リアルタイム性が求められるエッジAIや、膨大なリクエストを処理するエンタープライズ環境において、インフラコストの削減を可能にする。NVIDIA GB200 GPU上でSGLangを使用した場合、Nemotron-Labs-Diffusion-8BはQwen3-8Bと比較して最大4倍の高速化（1,015トークン/秒）を達成している[research.nvidia.com]。また、同時実行数1の場合のARモードと比較して3.3倍のスループット向上、バッチサイズ1の場合のQwen3-8B-Eagle3と比較して2.4倍の高速化を実現しており、AIの効率化が求められる中で大きな経済的インパクトをもたらすと見られる[research.nvidia.com],[note.com]。
Nemotron-Labs Diffusionは画期的な進歩である一方、拡散モデル特有の反復的な洗練プロセスが、長文生成時の一貫性や複雑な推論タスクにおいてどの程度精度を維持できるかが今後の実運用上の焦点となる。拡散モデルは生成されたトークンを修正できる能力を持つが、推論ステップ数と精度のトレードオフを実運用環境でどのように制御し続けるかが課題である[note.com]。この技術が普及するにつれて、様々なアプリケーションでの性能検証が求められるだろう。