推論サーバー vLLM v0.28.0 を公開──Sparse Attention と推論高速化を実装
Sparse Attention と適応型 speculative decoding により、推論スループットと TTFT を大幅に改善したメジャーアップデート。
リリース: 2026-08-27 · 読了 3 分記事の要約
1. 核心（What）
- vLLM v0.28.0 は 270 人のコントリビューターによる 584 件のコミットを含んで公開された。
- Kimi-K3 向けのアダプティブ speculative budget により、DSpark の TTFT が約 60% 向上した。
- DeepSeek-V4 の sparse MLA がデコード、MTP、DSpark においてエンドツーエンドで動作するようになった。
- KV キャッシュの階層型オフロードにディスク層が追加され、再起動を跨いだキャッシュの保持が可能になった。
2. 影響（Why）
- 推論コストとレイテンシの同時削減: MoE モデルにおける sparse attention や speculative decoding の効率化により、ハードウェア資源あたりのスループットが向上し、API 運用コストを直接引き下げられる。
- 国内ホスティング環境への恩恵: [国内 AI プラットフォーム運用のテックリード] のような現場では、Disk ティアを活用した KV キャッシュオフロードによって、長文脈 RAG やエージェントの運用コストを予測しやすくなる。
3. 根拠・詳細（How）
- Model Runner V2 の機能拡張: Model Runner V2 に E/P/D 分離、ウェイトオフロード、マルチレイヤー MTP KV キャッシュサポート、エンコーダ CUDA グラフが統合された。
- ハードウェアバックエンドの拡充: NVIDIA SM100 向けの CuTeDSL 融合クエリカーネルや、AMD ROCm 向けの gfx11 / gfx950 での DeepSeek-V4 対応が実装された。
4. 展望・課題（Next）
- 破壊的変更への対応: Ubuntu 24.04 ランタイムへの移行や Transformers 5.15.0 へのバージョンアップに伴い、既存のデプロイパイプラインの検証が必要となる。