推論サーバー vLLM v0.26.0 公開──Inkling 1T モデルの Day-0 サポートと MTP 推論で 380 tokens/sec を達成
Thinking Machines Lab の 1T パラメータマルチモーダルモデル Inkling を Day-0 で統合し、GB200 環境で最大 380 tokens/sec の高速推論を実現した。
リリース: 2026-07-26 · 読了 3 分記事の要約
1. 核心（What）
- vLLM v0.26.0 は 212 人のコントリビューターによる 411 件のコミットを含みリリースされた
- Thinking Machines Lab の 1T パラメータマルチモーダルモデル Inkling への Day-0 サポートを追加した
- Inkling モデルはテキスト、画像、音声入力を受け付け、最大 1M トークンのコンテキスト長をサポートする
- 4基の NVIDIA GB200 GPU を用いた MTP 有効時の推論性能は、ユーザーあたり最大 380 tokens/sec に到達する
2. 影響（Why）
- 1T 規模マルチモーダルの実用化: 1T パラメータ級のモデルを商用推論パイプラインへ即座に組み込めるため、マルチモーダル検証のインフラ構築工数を大幅に短縮できる。
- 国内 SaaS の推論コスト最適化: [国内 対話 AI SaaS 業種] のような大規模トラフィックを扱う事業者は、GB200 環境における MTP によるスループット向上で、GPU インフラ費用を抑制できる。
3. 根拠・詳細（How）
- アーキテクチャの統合実装: 66層構成のうち 11層のフルアテンションと 55層の슬라이딩ウィンドウアテンションを採用し、短縮畳み込みと相対位置アテンションを vLLM の CUDA カーネル層に直接組み込んだ。
- MTP による推論高速化: 8つの MTP ヘッドを利用した投機的デコーディングにより 1回のフォワードパスで複数トークンを生成し、非使用時の 140 tokens/sec から 380 tokens/sec へスループットを向上させた。
4. 展望・課題（Next）
- 量子化バリエーションの展開: NVIDIA Blackwell (B200/GB200) をターゲットとした NVFP4 バリエーションの最適化が進められている。