Ascend SuperPOD での DeepSeek-V4 全パラメタ事後学習──MFU 34.22% と OR タスクでの GPT-5.4-Mini 超えを達成
Ascend NPU 上で DeepSeek-V4 ファミリーのフルパラメータ事後学習を実現し、オープンソース基準比 2.93 倍の MFU 34.22% を達成するとともに、OR 特化データパイプラインにより Pass@1 71.81% を記録した。
リリース: 2026-07-22 · 読了 7 分論文概要
大規模言語モデルのトレーニングおよび事後学習において、数兆パラメータ規模の MoE（Mixture of Experts）モデルを対象としたフルパラメータ学習は、激しいメモリ負荷や非重複型の通信オーバヘッド、非効率なカーネル実行といった深刻なシステム上の課題を伴う。従来、こうした大規模学習システムは GPU クラスターを前提に構築されてきたが、本研究では Ascend NPU を採用した Ascend SuperPOD 上で、DeepSeek-V4 モデルファミリーを対象としたエンドツーエンドの最適化プラクティス「SLAI T-Rex」を提案している。モデル並列性、計算と通信のオーケストレーション、低レベルカーネル実行にまたがる階層的最適化フレームワークを構築し、オープンソースのベースラインレシピと比較して 2.93 倍となる Model FLOPs Utilization (MFU) 34.22% を達成した。さらに、複雑な数理最適化（Operations Research: OR）タスクに向けた CPT（Continued Pre-Training）および SFT（Supervised Fine-Tuning）ワークフローを確立し、ベースモデルを凌駕する性能を示している。
関連研究
大規模分散学習の分野では、主に NVIDIA 製 GPU クラスタを主軸とした並列化戦略や通信最適化手法が多数提案されてきた。しかし、非 GPU 環境（特に Ascend NPU などのアクセラレータ）における超巨大 MoE モデルのフルパラメータ事後学習に関する体系的な実践や、システム最適化とドメイン特化型データパイプラインを統合したオープンな報告は限られていた。本研究は、非 GPU インフラにおけるハードウェア・ソフトウェアイコライゼーションの限界を打破する実践的なアプローチとして位置づけられる。
新規性と貢献
本研究の主要な貢献は以下の 2 点に集約される。第一に、Ascend SuperPOD インフラ上で数兆パラメータ規模の MoE モデルに対して MFU 34.22% を達成したシステムレベルの階層的最適化である。第二に、収集したドメインリソースとソルバー検証済み合成最適化ドキュメントを統合した CPT/SFT データパイプラインにより、OR タスクにおいて最先端モデルを凌駕する専門特化型モデルを構築した点にある。
提案手法の詳細
SLAI T-Rex は、ハードウェア制約を克服するために以下のコンポーネントで構成される。
- モデル並列性と通信オーケストレーション: 非重複型通信オーバヘッドを削減するため、分散環境におけるテンソル・パイプライン・エキスパート並列を統合的に管理。
- 低レベルカーネル実行最適化: NPU の演算性能を限界まで引き出すため、カスタムカーネルの生成と実行スケジュールを最適化。
- OR 特化データパイプライン: DeepSeek-V4-Flash をベースに、ソルバーによって検証された合成最適化ドキュメントを含む 10K 件の高品質 SFT サンプルを作成。
評価・考察
評価実験では、システム性能とタスク性能の両面から検証が行われた。
- システム効率: Ascend SuperPOD 上での DeepSeek-V4 ファミリーのフルパラメータ事後学習において、MFU 34.22% を記録し、オープンソース基準のレシピ比で 2.93 倍の向上を達成。
- タスク性能: 4 つのタスクカテゴリと 3 つの問題表現にわたる 10K 件の SFT サンプルを用いて学習された特化型モデルは、ゼロショット Pass@1 スコアで平均 71.81% を記録。これは GPT-5.4-Mini を 3.98 ポイント、ベースの DeepSeek-V4-Flash モデルを 11.27 ポイント上回る数値である。
応用例と今後の展望
本手法は、NVIDIA GPU 以外のアクセラレータを活用した超大規模言語モデルの垂直統合型学習基盤の可能性を示している。特に、製造業やサプライチェーン、金融分野などにおける大規模数理最適化（Operations Research）の自動化や高度化において、国内のテックリードやAI研究者が非 GPU 環境での大規模基盤モデル運用を検討する際の重要な実装指針となる。今後の課題としては、より多様なドメインやマルチモーダルタスクへのスケーラビリティ検証が挙げられる。
結論
本研究は、Ascend NPU インフラストラクチャ上での効率的な超大規模モデルの事後学習から、ソルバー裏付けに基づく数理モデリングに特化した Flash モデル構築に至るまでのフルスタックな経路を実証し、フロンティアモデルシステムの可能性を大きく前進させた。
注釈
- Ascend NPU: 華為技術（Huawei）が開発したディープラーニング向けアクセラレータチップ。
- MFU (Model FLOPs Utilization): モデルの理論最大演算性能に対する、実際の演算性能の達成率。
- Operations Research (OR): 数理モデリングやアルゴリズムを用いて最適な意思決定を行う応用数学・工学の分野。