推論サーバー NVIDIA Dynamo、マルチモーダル向け EPD 分離技術を公開──TTFT を最大 5 倍高速化
NVIDIA Dynamo がビジョンエンコーダと LLM 処理を分離する EPD アーキテクチャを実装し、画像ヘビーな推論ワークロードにおける TTFT を最大 58% 削減した。
リリース: 2026-09-09 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA はオープンソース推論サーバー Dynamo において、ビジョンエンコーダと LLM のプレフィル・デコード段階を分離する Encode-Prefill-Decode (EPD) 分離手法の解説記事を公開した。
- Q3.5 122B A10B NVFP4 モデルを用いた検証で、10 画像を含む入力に対して配置構成により TTFT（Time to First Token）が 50〜58% 低下した。
- ヘテロジニアス構成（RTX 6000D 2 基でエンコーダ、GB200 4 基で PD ワーカー）では、同一レイテンシ SLO 下で従来型集約サーバー比 70% 増のトラフィック処理を実証した。
2. 影響（Why）
- マルチモーダル RAG 構築のコスト効率: 大量の画像や PDF ページを扱う社内 RAG 基盤において、画像前処理がボトルネックとなる環境では EPD 分離により専用の安価な GPU 層を割り当て、主要な高価格帯 GPU のスループットを維持できる。
- 国内マルチモーダル SaaS への影響: 画像生成や図表解析をコアとする国内 AI アプリ開発チーム（Vertical SaaS 規模）は、単一 GPU 構成の限界を回避し、エンコーダと LLM ワーカーを分離するスケーリング設計へ移行する契機となる。
3. 根拠・詳細（How）
- NIXL によるエンベディング転送機構: NVIDIA Inference Transfer Library (NIXL) を用いて、エンコーダワーカーが生成したビジョンエンベディングを UCX RC/TCP Ethernet 経由（ピーク 20 Gbps）で PD ワーカー層へ高速に転送する。
- モデルパラメータと ViT 比率による適用限界: Qwen3.5 4B から 27B のモデルサイズアブレーション検証において、ViT パラメータシェアが 7.2% から 1.7% に低下するにつれて、プレフィル・デコードの負荷が支配的となり EPD の利得が縮小することを確認した。
4. 展望・課題（Next）
- 異種 GPU 環境でのデプロイ検証: 同種 GPU 構成では単一ワーカー型（Colocated）が有利となるため、コスト最適化を目的としたヘテロジニアス構成（例: RTX 6000D と GB200 の組み合わせ）の導入検証が進む。