実行可能な Blender コードを思考連鎖に用いる物理整合的ビデオ生成手法 VideoCoCo──PhyGenBench で 0.558 を記録

論文概要

テキストから高品質な動画を生成する手法は進展しているものの、物理法則に従った一貫性のある動的挙動の再現には課題が残されている。従来の Chain-of-Thought（CoT）手法では、非実行可能あるいは時間的に疎な中間表現が用いられることが多く、時空間プロセス全体を十分に制御できなかった。これに対し本論文では、実行可能な Blender コードをプロセスレベルの CoT として利用するエージェント型デュアルエンジンフレームワーク「VideoCoCo」を提案する。テキストプロンプトからコーディングエージェントがシーンと時間的進化を記述するプログラムを合成し、シミュレーションエンジンが決定論的な時空間ドラフトを生成。さらに、生成ビデオエンジンによるドラフト条件付き編集を適用することで、物理整合性とフォトリアルな視覚品質を両立させる。PhyGenBench で 0.558（ベースライン比 0.475 から向上）、VBench-2.0 で 77.88（ベースライン比 52.18 から向上）を記録し、両ベンチマークで平均最高スコアを達成した。

Figure 1: ビデオ生成における思考連鎖パラダイムの比較。

新規性と貢献

本研究の主要な貢献は、実行可能なプログラミング言語をビデオ生成の CoT として位置づけ、プロセスレベルの推論と高解像度な視覚的具現化を完全に分離した点にある。シミュレーションコードを用いることで、非決定的な暗黙的推論に頼らず、物理法則に即した決定論的なドラフトを確実に生成できる。また、シミュレーションによるドラフトを編集型ビデオ生成モデルに適応させるため、ドラフト・指示・ターゲットの 3 つ組からなるキュレーションデータセット「VideoCoCo-3K」を新たに構築した。

Figure 2: VideoCoCoデュアルエンジンフレームワークの概要。

提案手法の詳細

VideoCoCo は、コーディングエージェントとシミュレーションエンジン、および生成ビデオエンジンから構成されるデュアルエンジンフレームワークである。まずユーザーのテキストプロンプトを入力されたコーディングエージェントが、Blender プログラムの形式でシーンの初期状態と時間変化をコードとして記述する。次に、シミュレーションエンジンがこのコードを実行し、オブジェクトの挙動が物理的に正しくシミュレートされた時空間ドラフトをレンダリングする。最後に、生成ビデオエンジンがドラフト条件付き編集（Draft-Conditioned Editing）を行い、物理的整合性を保ったまま高精細なフォトリアル動画へと変換する。この設計により、推論の正確性とレンダリングのリアリズムが分業化される。

Figure 3: 代表的な物理プロセスに関する定性的比較。

評価・考察

提案手法の有効性を検証するため、PhyGenBench および VBench-2.0 を用いた評価を実施した。その結果、既存の OmniWeaving ベースラインと比較して、PhyGenBench では 0.475 から 0.558 へ、VBench-2.0 では 52.18 から 77.88 へと大幅なスコア向上を達成した。これらの結果は、コードという実行可能な中間表現を用いることが、物理的に一貫した動画生成において極めて有効であることを示している。

応用例と今後の展望

本手法は、厳密な物理法則の再現が求められるゲーム開発、シミュレーション動画の自動生成、産業用デジタルツイン分野において実務的なインパクトを持つ。日本のエンターテインメント・自動車産業における 3D コンテンツ制作や自動運転シミュレーション用のデータ合成パイプラインへの応用が期待される。今後の課題としては、複雑なマルチオブジェクトの相互作用におけるコード合成の頑健性向上や、推論コストの削減が挙げられる。

結論

本論文では、実行可能な Blender コードをプロセスの思考連鎖として用いるエージェント型デュアルエンジンシステム「VideoCoCo」を提案した。シミュレーション駆動のドラフト生成と高精度な条件付き編集の組み合わせにより、物理整合性と視覚品質を大幅に高め、主要ベンチマークで優れた成果を収めた。

注釈

Chain-of-Thought (CoT): モデルが段階的な推論ステップを踏むことで複雑な問題解決を行う手法。
PhyGenBench / VBench-2.0: 動画生成モデルの物理的整合性や視覚品質を評価するための標準的なベンチマーク。