動画生成モデルの視覚的推論能力を検証する VGI-Bench──最強モデル Seedance 2.0 でも正答率 51.0%

論文概要

近年の動画生成モデルは、生成されるフレームを通じてゼロショットの視覚的推論能力を示すことがあるが、これまでの評価手法では最終的な出力の見た目のもっともらしさに依存しており、プロセス自体の妥当性を測るのが困難であった。本論文では、27 のタスクと 810 のインスタンスから構成される新しいベンチマーク「VGI-bench」を提案し、動画生成モデルの視覚的推論能力を体系的かつ細粒度に評価する。評価の結果、現行の最高性能モデルである Seedance 2.0 でも正答率は 51.0% に留まり、生成モデルが信頼性の高い推論を行うにはまだ大きな課題があることが示された。

関連研究

動画生成モデルの評価においては、これまでは主に動画の視覚的品質、フレーム間の整合性、あるいはテキストとのアライメント（Text-Alignment）が中心であった。しかし、物理法則の理解や空間推論などの論理的・視覚的推論能力を直接検証する枠組みは不足していた。本研究は、静的な画像・テキストの推論ベンチマークの知見を動画の動的生成プロセスへと拡張し、プロセス全体の正確性を検証する点で先行研究と一線を画す。

新規性と貢献

VGI-bench の最大の新規性は、タスクドメインとスキルタグの 2 階層タクソノミーに基づき、単なる最終フレームの合否ではなく、動的なプロセス（有効な発展プロセス）を検証できる点にある。これにより、モデルが本当に推論を行っているのか、あるいは単に確率的なパターンの記憶を出力しているだけなのかを切り分けて評価できる。

提案手法の詳細

VGI-bench は、27 の多様なタスクと 810 のインスタンスを体系化して構築されている。モデルの内部的なノイズ除去（denoising）プロセスを分析した結果、モデルの自己修正能力は限定的であることが判明した。初期のステップで生成された仮説が後続のステップで修正されるのではなく、むしろ初期の仮説がそのまま洗練されていく傾向にある。この設計上の特徴から、初期段階の条件付けやプロンプトの感度が最終的な推論結果を大きく左右するという機構的な理由が説明される。

評価・考察

VGI-bench を用いた実証評価では、現行の主要な動画生成システムが視覚的根拠に基づく推論タスクの一部を解決できることが示された一方、信頼性には程遠いことが明らかになった。最強とされる Seedance 2.0 でも正答率は 51.0% であり、入力条件の感度や合成ファインチューニングからの性能転移境界の分析からも、モデルの汎用的な推論能力には明確な限界が存在する。

応用例と今後の展望

VGI-bench の登場により、次世代の動画生成モデルの開発において、物理シミュレーションや空間把握を伴う高度な推論能力の定量評価が可能になる。日本のエンターテインメント・映像制作業や自動運転のシミュレーション研究分野において、開発チームがモデルの推論エラーモードを精密に診断し、プロンプト設計やアーキテクチャの改善を行う際の重要な指針となる。今後の課題としては、自己修正メカニズムを持つ新しいデノイジング手法の確立が挙げられる。

結論

本研究は、動画生成モデルの視覚的推論能力を厳密に測定するためのベンチマーク VGI-bench を提案し、最高性能モデルでも正答率 51.0% という現状の限界を浮き彫りにした。内部ノイズ除去プロセスの分析を通じて、生成モデルにおける推論の挙動と課題を明確にした意義は大きい。

注釈

• ゼロショット (Zero-shot): モデルが特定のタスクに対する追加の学習（ファインチューニング）を行わずに、事前学習された知識のみでタスクを遂行すること。
• デノイジング (Denoising): 拡散モデル (Diffusion Model) 等において、ランダムなノイズから徐々に意味のある画像や動画を復元・生成していくプロセス。