🧠Research🔥🔥🔥

DeepSeek-AI、マルチモーダルモデル DeepSeek-V4.1-Flash を公開──552B パラメータと 1M トークンコンテキストに対応

Causal Encoder-Decoder アーキテクチャと CSA2 により KV キャッシュフットプリントを従来比 1/4 に圧縮し、入力重視型のエージェントワークロードで高いコスト効率を実現した。
リリース: 2026-09-10 · 読了 4

記事の要約

1. 核心(What)

  • DeepSeek-V4.1-Flash は 552B のバックボーンパラメータを持つマルチモーダル MoE モデルで、最大 1M トークンのコンテキストをネイティブ処理する。
  • CED アーキテクチャにより、デコーダーのグローバル KV キャッシュを最終エンコーダー隠れ状態から投影し、プリフィル時 8B・デコード時 16B のアクティブパラメータ数を実現した。
  • CSA2 と FP4 メイン KV キャッシュ(E2M1 フォーマット)の組み合わせにより、KV キャッシュを 1 トークンあたり 890 バイト(DeepSeek-V4-Flash 比で約 1/4)に圧縮した。
  • MIT License で公開されており、リポジトリ内には Rust ライブラリ bindings(deepseek-recipe)や Python リファレンス実装が同梱されている。

2. 影響(Why)

  • 長文脈エージェントのコスト劇的改善: 1M トークンのコンテキストを維持しながら KV キャッシュ量を 890 バイト/トークンに抑えられるため、API 経由の高額なエージェント運用コストを自社ホスティングで圧倒的に安価に再構築できる。
  • 国内エンタープライズの VRAM 制約緩和: [国内金融・医療系 SaaS ベンダー] のようなプライベートクラウドを前提とする企業は、単一・少数の GPU ノードで大規模マルチモーダル推論を回すための現実的な選択肢を手に入れた。

3. 根拠・詳細(How)

  • CED と CSA2 による KV 圧縮機構: 20層の因果エンコーダーと20層のデコーダーを組み合わせる Causal Encoder-Decoder を採用し、静的モード割当を行う CSA2 と FP4 量子化によって KV キャッシュサイズを DeepSeek-V4-Flash 比で約 4 分の 1 に縮小している。
  • マルチモーダル事前学習とデータ規模: DeepSeek-ViT 視覚エンコーダーと 2 層 MLP プロジェクターを初めから統合し、45T トークンのマルチモーダルコーパスを用いて 64K シーケンス長でスパース注意機構を学習させた後に 1M トークンへ拡張している。

4. 展望・課題(Next)

  • ローカル推論と重み変換の実装: 公式リポジトリの inference フォルダーに用意された手順に従い、重みの変換やローカル環境での推論検証、および deepseek-recipe を用いたプロトコル互換レイヤーの実装が進められる。