大規模動画生成モデルを対話型ワールドモデルに変換する H3-World──8,000 サンプルで正確なキャラクター・カメラ制御を実現

論文概要

本論文では、33B パラメータを持つ大規模動画生成モデル「MiniMax-H3」をベースに、自然言語を通じてキャラクターの行動やカメラワークを時間的に精密制御する効率的なフレームワーク「H3-World」を提案する。大規模な動画事前学習で獲得された意味表現を直接再利用し、わずか 8,000 件のゲームプレイサンプルと 10,000 回の LoRA 最適化、全パラメータの 0.199% という極めて軽量な調整により、高い生成品質を維持したままインタラクティブなワールドモデルへの変換を実現している。

関連研究

従来、インタラクティブなワールドモデルの構築には、環境のダイナミクスを学習するための専用のアクションモジュールや強化学習フレームワークが不可欠とされていた。しかし、近年の大規模動画生成モデルの急激な性能向上に伴い、モデル内部に言語理解能力と物理法則の暗黙的な学習が備わりつつある。本研究は、専用のアクションモジュールを新たに追加するのではなく、既存の大規模動画生成モデルが持つゼロショットの言語制御能力をさらに発展させるアプローチをとる。

新規性と貢献

本研究の最大の新規性は、専用のアクションモジュールを一切導入することなく、既存の大規模動画生成モデルの言語インタフェースを時間的に接地された精密なワールド制御へと拡張した点にある。各アクションをキャラクターとカメラの指示の構造化された組み合わせとして表現し、時間的アテンションルーティングを組み合わせることで、制御指示が意図した時間区間に正確に反映されるようにした。計算コストを極限まで抑えながら、未学習のシナリオへも汎化する点も大きな学術的・実用的貢献である。

提案手法の詳細

H3-World の手法の核心は、大きく分けて 2 つの要素から成る。

1. 構造化されたアクション表現: 各アクションをキャラクターの挙動に関する指示とカメラモーションの指示を組み合わせた構造体として定義し、対応する時間的なビデオの潜在表現（latent）にアライメントさせる。
2. 時間的アテンションルーティング (Temporal Attention Routing): 各言語指示が適用されるべき時間区間を厳密に制限し、異なるアクション間での制御の漏れ（control leakage）を抑制する。 これらの設計により、大規模な追加事前学習を行わなくても、モデルが持つ豊かな事前学習表現を損なわずに特定ドメインのインタラクティブ制御に適応させることが可能になる。

評価・考察

評価実験では、8,000 件のゲームプレイサンプルと 10,000 ステップの LoRA によるファインチューニングが実施された。結果として、全パラメータ中のわずか 0.199% のみが学習対象であるにもかかわらず、高精度なキャラクター・カメラ制御を達成している。また、ベースとなる動画生成モデルの持つ優れた生成品質を損なうことなく、学習データに含まれない未知のシナリオに対しても高い汎化性能を示すことが確認された。

応用例と今後の展望

実務的なインパクトとして、ゲーム開発やメタバース構築、シミュレータ開発の分野において、高価で複雑な物理エンジンや専用アクションモジュールの構築コストを大幅に削減できる可能性がある。特に国内のゲーム制作スタジオやXR関連の開発現場において、テキストプロンプトや構造化された指示のみでインタラクティブなシミュレーション環境を高速にプロトタイピングするワークフローへの応用が期待される。今後の課題としては、より長時間の連続したインタラクションにおける整合性の維持や、多様な物理インタラクションへのスケーリングが挙げられる。

結論

H3-World は、大規模動画生成モデルが内包する言語制御能力を、軽量な適応手法により高精度なインタラクティブ・ワールドモデルへと昇華できることを実証した。追加のアクションモジュールを必要としない効率的な設計は、今後の生成モデルの制御手法における新たな標準となる可能性がある。

注釈

• LoRA (Low-Rank Adaptation): 大規模言語モデルなどのパラメータを効率的に調整するため、低ランク行列を挿入して一部のパラメータのみを学習する手法。
• ワールドモデル: エージェントの行動に対して、環境がどのように変化するかを予測・シミュレートする内部モデル。