Apple、動画理解モデルの時系列推論を強化する学習手法「TGPO」を公開
MLLMが陥りやすいフレーム単位の空間的ショートカットを排除し、時系列の整合性を報酬として与えることで一人称視点動画の理解精度を向上させた。
リリース: 2025-04-11 · 読了 3 分記事の要約
1. 核心（What）
- Appleの研究チームが、MLLMの時系列理解を強化する強化学習アルゴリズム「Temporal Global Policy Optimization (TGPO)」を発表。
- TGPOは、動画フレームの順序が正しい場合とシャッフルされた場合を対比させ、時系列の整合性を評価する報酬信号を生成する。
- GRPOおよびGSPOと統合することで、コールドスタート状態からの強化学習をサポートし、空間的なショートカット学習を抑制する。
- 5つの主要な一人称視点動画ベンチマークにおいて、既存の強化学習ベースの手法を上回る時系列グラウンディング精度を達成。
2. 影響（Why）
- 推論の整合性向上: 動画の順序変化に依存するタスクにおいて、フレーム単位の静的解析に頼る従来モデルの限界を克服し、因果関係の理解を深める。
- 国内SaaSへの影響: 一人称視点動画を扱う[国内の動画解析・物流DX事業者]規模の組織は、現場作業の自動記録や異常検知において、従来モデルで多発していた時系列の誤認をTGPO導入により低減できる。
3. 根拠・詳細（How）
- 報酬設計の仕組み: モデル出力を時系列順とシャッフル順で比較し、 globally normalized reward signals を算出することで、時間的順序が正しい推論を明示的に報酬として与える。
- 学習アルゴリズムの統合: GRPO (Group Relative Policy Optimization) および GSPO との統合により、事前学習済みモデルのファインチューニング段階で効率的に時系列認識能力を付与する。
4. 展望・課題（Next）
- さらなる検証の必要性: 現状は一人称視点動画に特化しているが、より長時間の動画や複雑なマルチモーダル文脈への汎用性については今後の検証課題となる。