Alibaba、動画生成モデル向け制御アーキテクチャ MiniMax-H3-Fun-Controlnet-Union を公開──単一チェックポイントで 5 種の条件付けとインペインティングを統合
MiniMax-H3 のトランスフォーマー 50 ブロックのうち 5 箇所にコントロールブランチを接続し、Canny や Pose など 5 種の条件付けを単一ファイルで切り替え不要にした。
リリース: 2026-08-30 · 読了 3 分記事の要約
1. 核心（What）
- Alibaba PAI グループは 2026 年 8 月 24 日、MiniMax-H3 用の ControlNet-Union チェックポイントである MiniMax-H3-Fun-Controlnet-Union を HuggingFace Spaces で公開した。
- 単一のチェックポイントで Canny、Depth、HED、MLSD、Pose の 5 種類の制御動画による動画生成（video-to-video）とインペインティングを同時に処理できる。
- コントロールブランチは 50 層のトランスフォーマーブロックのうち層 0、10、20、30、40 の 5 箇所に接続され、ゼロゲート付きプロジェクションでメインブランチに加算される。
- ガイダンス蒸留が施されており、推論時は guidance_scale = 1.0 でステップあたり 1 回のフォワードパスのみを実行する設計となっている。
2. 影響（Why）
- マルチ条件付けの管理コスト削減: 条件ごとに異なるチェックポイントを用意・切り替える必要がなくなるため、動画生成パイプラインの実装とストレージ運用コストが大幅に下がる。
- 国内映像制作現場へのインフラ負担: トランスフォーマー約 62GB と Qwen3-VL テキストエンコーダー約 62GB の合計が単一の 80GB GPU に収まらないため、[動画生成 SaaS 運営企業] などの国内事業者は model_group_offload などのオフロード前提で推論基盤を再設計する必要がある。
3. 根拠・詳細（How）
- コントロールブランチの接続構造と入力次元: config_path において control_blocks_places を [0, 10, 20, 30, 40] に指定し、インペインティング時は control_in_dim を 49 に拡張して latent とマスクチャネルを統合する。
- フレーム数と解像度の制約: フレーム数は 17 * n + 5 に自動スナップされ、期間は最大 15 秒、アスペクト比は height と width がともに 32 の倍数となるピクセルバジェットで 24 fps に固定される。
4. 展望・課題（Next）
- VideoX-Fun リポジトリでの実装拡張: 公式の VideoX-Fun リポジトリにコードと設定ファイルが公開されており、今後はカスタム動画データを用いたファインチューニング手順の検証が進む見込み。