プログラマブル世界モデルの忠実度を検証するベンチマーク PROWBench──170のエピソードと600本のプロキシ動画で検証

論文概要

プログラマブル世界モデルのビジュアル表現におけるルールや相互作用への忠実度を評価するため、新しく PROWBench が提案された。本ベンチマークは 170 のプログラムによる構築エピソードと 600 本のプロキシ動画を含み、タイムスタンプ付きのイベントやエンティティの状態を記録する。生成された動画がプログラムの実行結果と一致するかどうかを検証可能にするものである。

新規性と貢献

カメラの視野外の事象を含む世界記録をリプレイ可能な形式で保持し、それに基づいた同期ビューやプロキシ表現をレンダリングするフレームワークを構築した点が新しい。これにより、単なる視覚的美しさではなく、背後にあるプログラムのロジックと生成動画が一致しているかを定量的に検証できる。

提案手法の詳細

PROWBench は、シーンを構築し、動作を制御し、各カメラビューを粗い 3D やバウンディングボックスなどの異なる表現でレンダリング可能な拡張性の高いフレームワークを備えている。第一人称および三人称視点をカバーし、一部のエピソードでは同期されたマルチビュー観測を提供する。また、VLM ベースの指標である Logic-Render Alignment と Interaction Success Rate を用いて、指定されたタイムラインやエンジンで記録されたイベントの視覚的実現度を評価する。

評価・考察

本論文では、PROWBench を用いることで、エンティティの制御、長文脈記憶、および規定されたタイムラインへの準拠を厳密にテストできることを示している。具体的には、VLM ベースの指標を通じて、動画生成モデルがどれほど正確にプログラムのロジックを視覚化できているかを測定した。

応用例と今後の展望

次世代のゲームエンジンにおける実行可能なダイナミクスとビジュアル生成の分離において、モデルの信頼性を担保する基盤として活用できる。ゲーム開発やシミュレーション分野の研究者にとって、生成モデルの物理・ロジック整合性を検証する標準的な評価手段としての実務インパクトを持つ。

結論

PROWBench は、プログラマブル世界モデルにおけるビジュアルの正確性とロジックの整合性を評価するための包括的なフレームワークであり、今後の動画生成モデルの信頼性向上に寄与する。

注釈

PROWBench: プログラムで指定された世界イベントに対する動画モデルの忠実度を評価するためのベンチマーク。
VLM (Vision-Language Model): 画像とテキストの両方を理解・処理するマルチモーダル大規模言語モデル。