NVIDIA、推論アーキテクチャ解説ガイドを公開──Dense と MoE のスループット・VRAM 効率を徹底比較
Dense モデルと Mixture-of-Experts (MoE) モデルのパラメータ構造の違いが、推論スループットや VRAM 消費、並行処理性能に与える影響を技術的に解説した。
リリース: 2026-09-15 · 読了 4 分記事の要約
1. 核心（What）
- NVIDIA Developer Blog は 2026 年 9 月 15 日、Dense モデルと Mixture-of-Experts (MoE) モデルの構造的違いや推論特性を解説する技術記事を公開した。
- Dense モデルは共有フィードフォワードネットワーク (FFN) を全トークンで共有し、MoE モデルは複数の FFN ブロックからルーターネットワークを用いて動的にルーティングを行う。
- MoE モデルはメモリ（総パラメータ数に依存）と計算量（アクティブパラメータ数に依存）のリンクを切り離し、単一リクエスト時のトークン処理スループットを向上させる。
- Nemotron 3.5 Lightning のような先進モデルは、Mamba-2 層や speculative decoding を組み合わせてさらに推論効率を高めている。
2. 影響（Why）
- VRAM と計算量の分離による効率化: Dense モデルはホスティングコストと推論コストが比例するが、MoE は VRAM を初期投資として全エキスパート分払い、計算コストをアクティブ分に抑えるためスループットが向上する。
- 国内 SaaS のインフラコスト最適化: 大量の単発リクエストを処理するチャットボット等を自社運用する国内 AI サービス事業者は、同一 VRAM 容量でより高いスループットを出せる MoE への移行でサーバー費用を抑制できる。
3. 根拠・詳細（How）
- ルーター機構とエキスパートの選択仕様: デコーダー層の FFN 部分にルーティング用の学習済みルーターを配置し、各トークンを上位 k 個のエキスパートへ割り当てることで、選択されなかった FFN ブロックの演算をスキップする。
- Mamba-2 と MoE のハイブリッド設計: Nemotron 3.5 Lightning ではアテンション層の一部を Mamba-2 層に置換することで、長文脈時における肥大化しがちな KV キャッシュのメモリプロファイルを改善している。
4. 展望・課題（Next）
- 高並行時のレイテンシ挙動の検証: 並行リクエストが増加した際のルーティングとメモリ帯域のボトルネックによるレイテンシ圧縮効果について、実環境でのベンチマーク計測が必要となる。