vllm-project、推論サーバー vLLM v0.28.0 を公開──DeepSeek V4 や Kimi-K3 の高速化と KV キャッシュ階層化を実装
DeepSeek V4 や Kimi-K3 の最適化をはじめ、ディスクや out-of-tree による KV キャッシュの階層化オフロードを実装し大規模運用コストを削減した。
リリース: 2026-08-30 · 読了 3 分記事の要約
1. 核心（What）
- 総計 584 コミット、270 人のコントリビューター（新規 76 人）による大規模なアップデートを反映した。
- Kimi-K3 向けに Decode Context Parallel (DCP) や FlashKDA デコード等の最適化スタックを統合した。
- DeepSeek V4 の疎 MLA（sparse MLA）デコードや AMD Quark NVFP4 サポートをエンドツーエンドで実装した。
- KV キャッシュの階層化オフロードとしてディスクオフロードや out-of-tree のセカンダリティアマネージャーに対応した。
2. 影響（Why）
- 大規模モデルの運用コスト圧縮: 共有エキスパートのシャーディングにより GPU 当たり約 17 GiB のメモリを節約でき、高負荷な商用サービスでのインフラコストを直接引き下げる。
- 国内 SaaS のコスト構造への直結: DeepSeek V4 や Kimi-K3 を自社インフラで運用する国内の生成 AI アプリ提供事業者は、推論スループットとメモリ効率の改善によりサーバー費用を大幅に最適化できる。
3. 根拠・詳細（How）
- メモリ効率とカーネル最適化の仕組み: 共有エキスパートのシャーディングや fused FlashKDA デコードカーネルの採用により、GPU メモリ使用量を削減しつつデコード処理の帯域ボトルネックを回避している。
- KV キャッシュ階層化の設計: モジュールパスを通じた out-of-tree セカンダリティアマネージャーやディスクオフロード機構により、VRAM 容量を超える長文脈データを効率的に退避・再利用する。
4. 展望・課題（Next）
- ハードウェア拡充とプラグイン移行: AMD ROCm や Intel XPU 向けのバックエンド拡張が進む一方、bitsandbytes サポートが out-of-tree プラグインへ移行するため依存関係の確認が必要となる。