Wan-AI、音楽からダンス動画を生成する Wan-Dancer-14B を公開──階層的生成で長尺の一貫性を確保
音楽の全体構造を捉えるキーフレーム計画と局所的な詳細描画を分離し、分単位のダンス動画生成を実現する階層型フレームワーク。
リリース: 2026-07-10 · 読了 3 分記事の要約
1. 核心（What）
- Wan-AI が音楽からダンス動画を生成する 14B パラメータのモデル Wan-Dancer-14B を公開。
- グローバルなキーフレーム計画とローカルな時間的精緻化の 2 段階で動画を生成する階層的フレームワークを採用。
- DiffSynth-Studio および Wan2.1 のコンポーネントを統合し、Apache 2.0 ライセンスで提供。
- arXiv:2607.09581 にて、音楽の全体構造を反映した長尺動画の一貫性維持手法を提案。
2. 影響（Why）
- 長尺動画の破綻を抑制: 従来の単一ステージ生成では音楽の長さに応じて動画の破綻が顕著だったが、本手法はキーフレームを先に固定することで、分単位の動画でも音楽とダンスの同期を維持できる。
- 国内エンタメ制作の現場へ: 国内の動画制作スタジオや中規模の広告制作チームにおいて、音楽とダンスの同期作業を自動化し、プリビジュアライゼーションの工数を大幅に削減する選択肢となる。
3. 根拠・詳細（How）
- 階層型推論のパイプライン: gen_video_global.sh によるキーフレーム生成と、gen_video_local.sh による高解像度化の 2 段階で構成。Diffusers 0.34.0 および xfuser 0.4.0 を用いて推論プロセスを制御する。
- 推論設定の最適化: 動画の長さに応じて num_inference_steps を 48 以上に設定することで、時間的な連続性とリズムの追従精度を確保する仕様。
4. 展望・課題（Next）
- 今後の実装課題: 現時点では特定の GPU 環境（cu124/torch-2.6.0）に依存したライブラリ構成であり、汎用的な推論環境への移植コストが残る。