NVIDIA、推論高速化モデル Qwen3.8-Flash-Next-NVFP4 を公開──NVFP4 量子化でディスクサイズを約 2.7 倍削減
Alibaba 製 Qwen3.8-Flash-Next をベースに NVIDIA Model Optimizer で量子化し、Blackwell 世代 GPU 向け vLLM 推論を最適化した。
リリース: 2026-09-10 · 読了 3 分記事の要約
1. 核心（What）
- Alibaba 製 Qwen3.8-Flash-Next を NVIDIA Model Optimizer v0.46.0 で量子化した混合精度チェックポイントモデルである。
- テキスト、画像、動画のマルチモーダル入力に対応し、コンテキスト長はネイティブで 262K、最大 1,000,000 トークンまで拡張可能である。
- 対応ランタイムエンジンとして vLLM をサポートし、NVIDIA Blackwell B200 および B300 マイクロアーキテクチャに最適化されている。
2. 影響（Why）
- メモリ帯域のボトルネックを NVFP4 で打破: モデル全体の主要な線形レイヤーを W4A4 NVFP4 化することで、大規模パラメータモデルのメモリフットプリントを極限まで小さくし、実行速度を向上させる。
- 商用環境での即時展開性: NVIDIA Open Model License および Qwen Community License 1.0 のもとで提供され、クローズドな検証なしに直ちに出荷前システムへ組み込める。
3. 根拠・詳細（How）
- 混合精度量子化とストレージ削減の仕組み: routed expert 線形層は W4A4 NVFP4 に量子化しつつ、アテンション層や共有エキスパート層は BF16 を維持し、結果としてディスクサイズを約 63% 削減した。
- vLLM サーバー実行仕様: vLLM 0.6 以降の環境において、--quantization modelopt 引数および --tensor-parallel-size 8 を指定してサービングを実行する設計。
4. 展望・課題（Next）
- 上流コミュニティとの統合と制約: MTP スペキュラティブデコードの利用には vLLM の特定 PR 適用が必要であり、今後の upstream 統合に向けた追従が求められる。