Hugging Faceは、拡散モデルの推論を高速化・軽量化する「Nunchaku Lite」をDiffusersライブラリに統合した。これにより、これまで専用エンジンが必要だった高度な量子化技術が標準機能として利用可能になり、コンシューマー向けGPUでの大規模モデル運用が現実味を帯びてきた。
Hugging Faceの発表によれば、2026年7月23日に公開された「Nunchaku Lite」は、生成AIの推論環境におけるメモリの壁を打破する重要な一歩である。本技術は、重みと活性化関数の双方を4bit化する「SVDQuant」量子化手法を採用している。これにより、従来の重みのみを圧縮する手法とは異なり、メモリ使用量の削減と推論速度の向上を同時に実現した。これまで大規模な拡散モデルをBF16精度で実行するには20GBから30GBものVRAMが必要であったが、Nunchaku Liteはこれを大幅に軽減し、専用の推論エンジンなしでの運用を可能にする点が画期的である。
Nunchaku Liteは、コンシューマー向けGPU環境での実用性を大きく高める。Hugging Faceのベンチマークでは、NVIDIA RTX PRO 6000（Blackwell）環境で1024x1024画像の生成を行った際、BF16ベースラインの3.00秒に対し、Nunchaku Lite NVFP4単体で2.27秒（1.35倍高速化）、さらにtorch.compileとの併用で1.68秒（1.8倍高速化）を達成した。ピークVRAMも31.1 GBから20.6 GBに削減されており、大規模モデルを一般的なGPUで運用する道筋を示している。また、bitsandbytes NF4を併用したテキストエンコーダの量子化により、VRAMをさらに16.0 GBまで削減可能である。
今回のDiffusersライブラリへの統合は、AI開発の民主化という観点から極めて大きな進歩である。開発者は複雑なCUDAコンパイルや専用の推論エンジンを介することなく、標準的なfrom_pretrained()メソッドで量子化モデルを直接呼び出せるようになった。NunchakuスタイルのチェックポイントをDiffusersで直接ロードできるようになり、関連するnn.LinearモジュールがランタイムSVDQ/AWQ線形レイヤーでパッチされる。必要なCUDAカーネルはHugging Face Hubから自動でダウンロードされるため、開発者はモデルの軽量化と高速化を容易に享受できる。
Nunchaku Liteの導入は大きな前進だが、ハードウェア要件には注意が必要である。NVIDIAの技術文書によれば、NVFP4形式のチェックポイントは最新アーキテクチャであるBlackwell世代（RTX 50シリーズ、RTX PRO 6000、B200など）に限定される。普及帯のGPUユーザーはINT4形式を選択することになるが、こちらはTuring、Ampere、Ada世代のGPUをサポートする。VoltaやHopper世代のGPUがサポート対象外である点は、サーバーサイドでの展開を考える上で制約となる可能性がある。今後は「diffuse-compressor」ツールキットによるモデルの自己量子化が普及し、特定のモデルに依存しないエコシステムが形成されるかが鍵となる。
