Baseten、推論最適化解説 Masterclass を公開──KV キャッシュやプレフィル分散による 10 倍高速化の手法
Baseten の Philip Kiely 氏らが、20 万トークン級の長文脈入力に対するキャッシュアウェア・ルーティングや量子化誤差の相殺といった推論最適化の深層を解説した。
リリース: 2026-08-03 · 読了 5 分記事の要約
1. 核心（What）
- Baseten のエンジニアである Philip Kiely 氏と Ali Taha 氏が、大規模言語モデルの推論インフラ構築に関するマスタークラスを公開した。
- 長文脈プロンプト（20万トークン）の処理において、キャッシュアウェア・ルーティングを用いて既存の KV キャッシュを再利用する仕組みを解説した。
- プレフィル（入力処理）とデコード（生成処理）を異なる GPU 群に分散させるアーキテクチャや、量子化による誤差相殺のメカニズムを紹介した。
- GLM-5.2 や Kimi K3 などのオープンウェイトモデルを day-zero でサポートし、高速かつ安定した本番 API として提供するための設計手法を議論した。
2. 影響（Why）
- 長文脈処理のコスト構造の転換: 20万トークン級のリクエスト処理において、キャッシュアウェア・ルーティングと KV キャッシュの永続化を組み合わせることで、無駄な再計算を排除し推論コストを劇的に削減できる。
- 国内 SaaS のインフラ設計への示唆: 国内のエージェント系 SaaS 開発チームは、標準 API の従量課金頼みから脱却し、vLLM やカスタムカーネルを用いた専用デプロイへ移行することで利益率を確保する必要がある。
3. 根拠・詳細（How）
- プレフィル・デコードの分離とキャッシュルーティング: 入力テキストを処理する prefill 稼働 GPU と、トークンを逐次生成する decode 稼働 GPU を完全に分離し、過去の計算済み KV キャッシュが存在するインスタンスへリクエストを強制するルーティングを実装している。
- 量子化誤差の相殺によるスループット向上: GLM-5.2 の実験では、複数レイヤー間で発生する量子化誤差が互いに打ち消し合う性質を利用し、モデル品質を維持したままスループットを 20% 向上させている。
4. 展望・課題（Next）
- ハードウェアとモデル構造の共進化: NVIDIA Rubin 世代や専用 AI ASIC の登場に伴い、カーネル設計とモデル構造のハードウェア意識した最適化がさらに進む見込み。