720p 動画と音声を同時生成するオープンな全モーダルワールドモデル EchoWM

論文概要

EchoWM は、連続的なナビゲーションに応答しつつ、720p の高解像度動画、環境音、音楽、音声を同時に生成する全モーダルワールドモデル（Omnimodal World Model）である。一人称視点および三人称視点の両方に対応し、カメラの意図に基づくインタラクションを実現する。データセットレベルのキャリブレーションを用いることで、異種データ間における運動量の大きさを維持し、長尺生成における高い安定性を達成している。

新規性と貢献

主要な貢献は、視覚生成と音声生成、そして物理空間の軌道制御を一つのフレームワークに統合した点にある。特に、カメラ・キャラクター間のダイナミクスをビュー特化型のコントローラーなしでデータから直接学習する仕組みや、長尺生成のための段階的トレーニングと自己回帰的ポストトレーニングの組み合わせが学術的・実用的な新規性を持つ。

提案手法の詳細

カメラの意図を中心としたインタラクション設計を採用している。一人称視点では観察者の動きを直接指定し、三人称視点ではデータからカメラとキャラクターの動的関係を学習する。離散コマンドと連続的なポーズを共通のメトリック・スケール相対 6-DoF 軌道に変換し、補完的なデータエンジンを用いて音声・視覚の同時生成と軌道制御を学習する。

評価・考察

パブリックなワールドモデルのベンチマークにおいて、強力な軌道追従性と高い視覚品質を実証した。多様な被写体を対象とした一人称・三人称の双方のインタラクションをサポートし、長尺生成においても環境音と音声の同期が維持されることを確認している。

応用例と今後の展望

実世界への応用として、自動運転のシミュレーション、ロボットのナビゲーション訓練、高度なインタラクティブゲームエンジンへの統合が挙げられる。国内の XR や自動運転の開発現場において、マルチモーダルなシミュレーション環境構築のコスト削減とリアリティ向上に寄与する可能性がある。今後は生成のさらなる低遅延化や実時間インタラクションの精度向上が課題となる。

結論

EchoWM は、視覚と聴覚を完全に同期させながら連続的なナビゲーションを可能にするオムニモーダル・ワールドモデルの新たな基盤を示すものである。

注釈

6-DoF: 3次元空間における前後・左右・上下の移動と、それぞれの軸回りの回転（ピッチ・ヨー・ロール）を合わせた六つの自由度。