🧠Research🔥🔥

DeepSeek、推論高速化モジュール DSpark を搭載した DeepSeek-V4-Pro-DSpark を公開

1.6T パラメータの MoE モデルに投機的デコードを統合し、vLLM 環境での推論スループットを最適化した。
リリース: 2026-04-26 · 読了 5

記事の要約

1. 核心(What)

  • DeepSeek-V4-Pro-DSpark は 1.6T パラメータ(活性化 49B)の MoE モデルに投機的デコードモジュールを統合したチェックポイント。
  • DeepSeek-V4 シリーズは 1M トークンのコンテキスト長に対応し、FP4/FP8 の混合精度で学習されている。
  • 推論エンジン vLLM 向けに設計されており、--speculative-config フラグで DSpark を有効化可能。
  • モデルは MIT ライセンスで公開され、GitHub には推論用レシピと Python 形式のエンコーディングスクリプトが含まれる。

2. 影響(Why)

  • 推論コストと速度の最適化: 1.6T パラメータ級の巨大モデルを実用的なレイテンシで運用するため、投機的デコードによるスループット向上が必須となる。特に長文脈処理での KV キャッシュ削減効果が大きい。
  • 国内 SaaS 事業者への影響: 国内の Vertical SaaS や大規模な RAG を運用する中規模組織は、vLLM + DSpark の組み合わせにより、従来比で推論コストを抑えつつ 1M トークンの長文脈を本番環境へ組み込む選択肢が現実的になる。

3. 根拠・詳細(How)

  • DSpark による投機的デコード実装: vLLM 起動時に --speculative-config '{"method":"dspark","num_speculative_tokens":7}' を指定することで、7 トークン先読みによる推論高速化が実行される。
  • 長文脈処理のアーキテクチャ: Compressed Sparse Attention (CSA) と Heavily Compressed Attention (HCA) を組み合わせ、DeepSeek-V3.2 比で 1M トークン処理時の KV キャッシュ消費量を 10% に抑制する。

4. 展望・課題(Next)

  • ローカル環境での運用制約: Think Max 推論モードを利用する場合、少なくとも 384K トークンのコンテキストウィンドウ確保が推奨されており、メモリ要件が非常に高い。