状態進化と生成レンダリングを分離する Programmable World Model──CombatStateBench で Count Accuracy 94% を達成

論文概要

最近のビデオワールドモデルは視覚的リアリティと対話性を向上させているが、永続的なワールド状態の維持や、長期的なインタラクションにおけるプログラム可能なルールの一貫した適用には課題を残している。本論文では、ワールド状態の進化と視覚的観察の生成を分離するフレームワーク「Programmable World Model」を提案する。提案手法は、自然言語命令からエンティティの状態や状態遷移ルールを規定する実行可能プログラムを生成し、明示的かつ永続的なグローバルワールド状態を軽量エンジンで維持する。新たに導入されたCombatStateBenchにおいて、本手法はCount Accuracy 94%、State Accuracy 98%を達成し、既存のインタラクション型ビデオワールドモデルを大きく上回る性能を示した。

関連研究

これまでのビデオ生成モデルやインタラクティブなワールドモデルは、視覚的なピクセル予測と状態管理を密結合させてきたため、画面外のエンティティの追跡や複雑なゲームルールの厳密な適用が困難であった。本研究は、シンボリックな状態管理エンジンと視覚的生成モデルを明示的に分離し、中間表現を介して接続することで、この限界を克服するアプローチをとる。

新規性と貢献

本研究の最大の新規性は、ワールド状態の進化（状態管理）と視覚的生成（レンダリング）の完全な分離にある。これにより、画面外のオブジェクト属性や非視覚的データを含めた厳密な状態追跡が可能となった。また、状態を付与した 3D 境界ボックス（OBB）を中間表現として採用し、事前学習済みのビデオモデルにピクセル整合的な時空間コンディショニング信号として決定論的にコンパイルする設計により、高品質な長文脈生成を両立させている。

提案手法の詳細

提案手法のアーキテクチャは、言語ベースのプログラム生成、状態維持エンジン、および中間表現コンパイラで構成される。

エージェントは自然言語の指示を実行可能なコードに変換し、軽量エンジンがこれを処理して明示的なグローバル状態を更新する。この状態を反映するため、状態を拡張した 3D 向き境界ボックス（OBB）が生成され、カメラ軌跡とともにビデオモデルの条件付け信号へとコンパイルされる。この分離設計により、モデルは複雑なゲームメカニクスや個別エンティティの制御を正確に保持できる。

評価・考察

提案手法の有効性を検証するため、著者らは新しく「CombatStateBench」を構築した。評価の結果、本手法は Count Accuracy で 94%、State Accuracy で 98% という高い数値を記録した。

定性的比較においても、エンティティの死亡インタラクションや長時間のゲームプレイにおいて既存のビデオワールドモデルで問題となる状態の破綻や破滅的ドリフトが大幅に抑制されており、一貫した長期生成が実証されている。

応用例と今後の展望

本手法は、事前に定義されたゲームメカニクスを持つプレイ可能なゲームの自動生成や、インタラクティブなシミュレーション環境の構築へ直接応用できる。日本のゲーム開発やエンターテインメント分野、あるいはロボット工学のシミュレータ開発において、ルールベースで制御可能な動的環境の構築コストを大幅に削減する実務インパクトが期待される。

結論

本論文では、ワールド状態の明示的な進化と視覚的な生成レンダリングを分離する Programmable World Model を提案した。CombatStateBench における優れた定量評価結果は、状態管理と生成のデカップリングが長文脈ビデオ生成の精度と一貫性を高める上で極めて有効であることを示している。

注釈

• OBB (Oriented Bounding Box): 物体の向きを考慮した 3D 境界ボックス。空間的な位置と回転を表現するために用いられる。