推論サーバー vLLM、Kimi K3 向け最適化によりスループットを最大 2.8 倍に向上──B300 環境で検証
Moonshot AI の Kimi K3 において、適応型スケジューリングや ReplaySSM などの改修により処理効率を大幅に高めた。
リリース: 2026-09-17 · 読了 3 分記事の要約
1. 核心（What）
- vLLM は NVIDIA B300 ノード (CUDA 13.3, TP8) 上で Kimi K3 の推論処理を実行し、v0.27.1 比で 2.2×〜2.8× のスループット向上を確認した。
- 適応型スケジューリング予算の導入により、低同時実行時における分割プリフィールの発生を抑え、TTFT を最大 65% 削減した。
- ReplaySSM を用いることで、スペックラティブデコード時のステート復元をバッファベースで行い、状態書き込みのオーバーヘッドを軽減した。
- デコードコンテキスト並列処理 (DCP) を適用し、シーケンス次元にキャッシュを分散させることで KV キャッシュ容量を最大 19.75M トークンに拡大した。
2. 影響（Why）
- リカレント・MoE モデルのボトルネック解消: Kimi K3 のような注意機構とリカレント層・MoE を組み合わせた構造特有の非効率な演算を排除し、実効性能を限界まで引き出す。
- 国内 SaaS のコスト構造への直接的インパクト: 国内で長文脈 LLM を提供するプラットフォーム事業者は、GPU コストあたりの処理リクエスト数を引き上げ、利益率を改善できる。
3. 根拠・詳細（How）
- 適応型スケジューリングとカーネル融合: max_num_batched_tokens のデフォルト値を 16,384 に引き上げ、MXFP4 エキスパートパスのトポロジ処理をレイテントールカーネルに統合してカーネル起動数を削減した。
- ReplaySSM による状態再構築: すべてのドラフト位置で KDA ステートを書き込む従来方式を改め、SSM 入力をバッファに保持してコミット時に状態を再構築することでキャッシュ消費を抑制した。
4. 展望・課題（Next）
- 他モデルへのアーキテクチャ応用: 適応型スケジューリングやカーネル融合などの最適化手法が、他のリカレント構造やハイブリッド構成を持つオープンソースモデルへどのように水平展開されるかが注目される。