連続動画ストリームを探索するマルチモーダルエージェント Video-DeepResearch──Claude-4.5-Sonnet を 5.0pt 上回る 64.0% の精度を達成

論文概要

本論文では、静止画を対象とした従来のマルチモーダルエージェントを連続動画ストリームへと拡張するフレームワーク「Video-DeepResearch (Video-DR)」を提案している。動画の解析は、高密度な時空間グラウンディングとオープンウェブでの探索を同時に要求するため難易度が高い。著者らは既存モデルにおける2大ボトルネック（テキスト検索に依存して視覚ツールをバイパスするモダリティバイアス、およびツール実行ではなく内部メモリに依存するパラメータ的知識リーク）を指摘し、段階的ツールアンロックを備えた分離型知覚・探索パイプラインを導入した。さらに、200件の複雑な多ホップVQA（Video Question Answering）インスタンスを含む新ベンチマーク「Video-DR-Bench」を構築し、提案手法の優位性を実証している。

関連研究

静止画ベースのマルチモーダルエージェントやWeb探索型エージェントの開発が進められてきたが、長時間の動画ストリームを跨いだ時空間推論とWeb検索を統合的に実行する試みは限られていた。既存手法は静的なフレームの処理に特化しているか、あるいは動画を単一のクリップとして扱いがちであり、多段階の検証や外部知識との突き合わせを動的に行う能力が不足していた。本研究は、動画理解とWeb探索を明示的に結合する初の試みの一つである。

新規性と貢献

本研究の最大の貢献は、動画という動的な入力に対し、モデルが単なる模倣学習の枠を超えて自律的に探索できる学習パラダイムを確立した点にある。スーパーバイズドファインチューニング（SFT）の後に Group Relative Policy Optimization (GRPO) を適用する2段階の学習レシピを採用することで、模倣学習の天井を突破した。また、クローズドソースの主要商用モデルを凌駕するオープンな動画探索エージェントの設計図を示したことも大きな成果である。

提案手法の詳細

Video-DRの核心は、知覚と探索を分離したパイプラインと、段階的なツールアンロック（stage-wise tool unlocking）機構にある。モデルがWeb検索などの外部ツールに安易に逃げるのを防ぎ、ウェブ検索の前に徹底的なクロスフレームの視覚的グラウンディング（時空間的な裏付け）を強制するように設計されている。なぜこの設計にしたかといえば、エージェントが視覚情報を十分に見ずに言語的な推論だけで答えを推測してしまうバイアスを構造的に断ち切るためである。

評価・考察

200件のマルチホップVQAからなる「Video-DR-Bench」を用いた評価において、提案モデルである「Video-DeepResearch-35B-A3B」は平均精度 64.0% を記録した。これはプロプライエタリな Claude-4.5-Sonnet の 59.0% を 5.0ポイント上回り、GPT-5（52.5%）や Gemini 2.5 Pro（57.5%）を大きく引き離して SOTA を更新している。また、コンパクトな 30B-A3B バリアントでも 59.3% を達成しており、効率的なスケールでの有効性も証明された。

応用例と今後の展望

本手法の応用領域として、監視カメラ映像の自動分析、長時間のスポーツ戦術解析、医療現場での手術動画の多角的レビューなどが挙げられる。日本の製造業や医療分野における「数十分〜数時間の連続作業動画から、特定の異常行動や因果関係を外部データベースと突き合わせて検証するシステム」の構築において、約30B規模のモデルで商用最高峰に匹敵する推論能力をオンプレミス寄りで実装できる実務的なインパクトを持つ。今後の課題は、計算コストのさらなる削減と、より長時間のストリームに対するスケーラビリティの向上である。

結論

Video-DeepResearch は、連続動画ストリームとWeb探索を統合する新しいマルチモーダルエージェントの枠組みを提示した。段階的ツールアンロックとGRPOによる学習により、既存のトッププロプライエタリモデルを超える精度を達成しており、今後の動画像理解エージェントの標準的なアプローチとなることが期待される。

注釈

• GRPO (Group Relative Policy Optimization): 強化学習アルゴリズムの一種で、グループ内の相対的な報酬に基づいて方針を最適化する手法。
• VQA (Video Question Answering): 動画の内容に関する質問に対して、モデルが回答を生成するタスク。