VeriCache、出力精度を落とさず推論スループットを最大4倍に高める手法を提案
圧縮KVキャッシュを下書きに使い非圧縮側で検証することで、長文デコード速度を最大2.73倍に引き上げた。
リリース: 2026-09-11 · 読了 4 分記事の要約
1. 核心（What）
- 圧縮KVキャッシュを下書きとして利用し、非圧縮キャッシュで答え合わせを行う手法VeriCacheを提案
- Mistral-24B、Qwen-32B、Llama-70Bの各モデルで評価を実施
- LMCacheおよびvLLM基盤上に約8千行で実装されている
2. 影響（Why）
- 長文脈処理のトレードオフ解消: KV圧縮で発生する誤差の累積による破綻を防ぎつつ、GPUメモリ帯域のボトルネックを迂回できるため、長文RAGやエージェント開発における実用性が大きく高まる。
- 国内LLM開発現場への影響: [国内 LLM 評価・推論基盤運用チーム] などの組織では、商用APIのコスト削減を目的としたOSSモデルのVPC内ホスティングにおいて、GPUメモリ制約を突破する有力なベースラインとして検証する価値がある。
3. 根拠・詳細（How）
- 3段階の投機的デコーディング構造: 圧縮キャッシュKVcompで候補を生成し、非圧縮キャッシュKVfullを条件に1回のforward passでまとめて検証、最初に食い違う位置までを採用して正確なトークンに差し替える。
- ハードウェア資源の重ね合わせ: 非圧縮キャッシュをCPUや遠隔リンクから運ぶ裏側の通信と、GPU上で圧縮キャッシュを用いた下書き生成を並行して走らせることで、offload時の待機時間を隠蔽する。
4. 展望・課題（Next）
- 動的な下書き長の最適化: ワークロードごとに固定されている下書き長を動的に制御する仕組みは今後の課題として残されている。
- 採用長に最適化したコンプレッサの開発: 直接出力の精度ではなく、採用長を最大化するように設計された新しいコンプレッサの登場により、さらなる性能向上が期待される。