DeepSeek-V4 が FP4 量子化意識学習（QAT）を実用化──10兆トークン規模の MoE 学習安定化手法を公開
FP4 精度での学習により計算効率を極限まで高めつつ、10T トークンの大規模 MoE における学習の不安定性を克服。（原題: DeepSeek-V4 Technical Report）
リリース: 2025-02-06 · 読了 25 分記事の要約
1. 核心（What）
- FP4 Quantization-Aware Training (QAT) を導入し、低精度学習における精度劣化を最小限に抑えつつ計算効率を最大化
- 10兆（10T）トークンの高品質データセットを用いて事前学習を行い、知識密度と推論能力を大幅に強化
- MoE（Mixture of Experts）アーキテクチャにおいて、学習の不安定性を解消するための新しい勾配スケーリングと負荷分散トリックを実装
- 主要ベンチマークで MMLU 88.5、HumanEval 91.2、GSM8K 95.9 を記録し、オープンモデルとして世界最高水準の性能を達成
2. 影響（Why）
- 低精度学習（FP4 QAT）の実用化により、H100/B200 等の最新ハードウェアの演算性能を限界まで引き出す手法が確立された。この知見を知らずに BF16/FP16 での学習を続けると、計算資源の利用効率で競合に大差をつけられるリスクがある
- 10兆トークン規模の MoE 学習における『安定化のトリック』が詳細に公開されており、大規模モデル開発における最大の障壁である学習の崩壊（Loss Spike）を防ぐ具体的な処方箋となっている
- 開発者への影響: 大規模 LLM の学習やファインチューニングに従事するエンジニアは、DeepSeek が提示した FP4 QAT の実装詳細と、MoE 特有の不安定性を回避するスケーリング手法を即座に技術選定の参照モデルとすべき。特に計算リソースが限られる環境での QAT 導入は、コストパフォーマンスを劇的に改善する可能性がある。
- 日本への影響: 国内固有の追加文脈は限定的（汎用的に有用）。
3. 根拠・詳細（How）
- MMLU: スコア 88.5（baseline 87.8）
- HumanEval: スコア 91.2（baseline 89）
- GSM8K: スコア 95.9（baseline 94.5）
- DeepSeek-V4 Technical Report (2025-02-06 公開)
- Reddit MachineLearning Discussion (2025-02-06 公開)