ロボット基盤モデルの視覚ショートカットを打破する Latent Interface Training──LIBERO-Plus で成功率最大 10.70pt 向上

論文概要

ロボット基盤モデルが抱える視覚ショートカット（Vision-Action Shortcut）の問題に対し、視覚情報を直接行動に結びつけず、ポーズ教師信号を介して接続する新手法「Latent Interface Training (LIT)」を提案した。Pi0.5 や MolmoAct2 などの主要な VLA（Vision-Language-Action）および世界モデルアーキテクチャに適用し、LIBERO-Plus ベンチマークで 3.87〜10.70 パーセンテージポイントの成功率向上を達成している。

関連研究

既存のロボット学習手法では、事前学習済みの視覚表現から直接アクションを生成するため、訓練分布内に存在するタスクに本質的ではない視覚的相関（背景や物体の些細な配置など）にモデルが依存しがちである。これにより、環境変化や視点変化などの分布シフトが発生した際に急激な性能劣化を招く課題があった。

新性と貢献

視覚情報がアクション生成に与える影響を制限しつつ、タスクに必要な空間情報を保持するフレームワーク非依存の 2 段階学習戦略を構築した点に新規性がある。これにより、未知のカメラ配置、照明変化、およびディストラクター（妨害物）が存在する実世界環境での頑健性を大きく高めた。

提案手法の詳細

LIT は 2 段階で構成される。Stage 1 では、画像を用いず言語、ロボット状態、および終端 SE(3) エンドエフェクタポーズを条件としてアクションの事前分布を学習し、視覚的手がかりから独立したゴール指向の行動生成を獲得させる。Stage 2 では、視覚・意味表現を集約する潜在インターフェース（Latent Interface）を導入し、Stage 1 で使用したポーズ情報を再構成するよう教師あり学習を行うことで、アクション生成に必要な空間情報の保持を促す。

評価・考察

LIBERO-Plus において総合成功率が 3.87〜10.70pt 向上し、通常の LIBERO ベンチマークでも同等以上の性能を維持した。また、実世界における 3 つのタスク評価では、未知のカメラ設定や照明変動のもとで 13.30〜16.70pt の成功率向上を確認しており、シミュレーションから実世界への移行における有効性を示している。

応用例と今後の展望

製造業における多品種変量生産ラインや、物流倉庫での未知の荷物・環境変化に対するロボットマニピュレーションの導入において実務的なインパクトが大きい。今後は、より多様な実世界データセットや複雑な動的環境へのスケーラビリティ検証が求められる。

結論

視覚ショートカットを回避するためのポーズ教師付き潜在インターフェースによる 2 段階学習は、ロボット基盤モデルの汎化性能を向上させる有効なアプローチである。

注釈

• VLA (Vision-Language-Action): 視覚・言語・行動を統合的に処理し、ロボットの制御指令を出力する基盤モデル。