単眼カメラでの指示追従型視覚追跡を実現する ReferTrack──EVT-Bench のシングルターゲットで成功率 89.4% を記録

論文概要

Embodied visual tracking (EVT) において、モバイルエージェントが自然言語による指示に基づいてターゲットを特定し、単眼カメラのみで連続追従を行う新パラダイム「ReferTrack」が提案された。従来の Vision-Language-Action (VLA) ポリシーが抱えていた、抽象的空間潜在表現における推論の監督困難性を解消するため、ターゲット指定と軌道計画を明確に分離するアプローチを採用している。EVT-Bench において単眼ベースラインとして最高水準の成功率を達成し、複数カメラを使用する既存手法を凌駕する性能を示した。

関連研究

これまでの多くの VLA ポリシーは、ターゲットの特定から軌道計画までをブラックボックスなエンドツーエンドの Chain-of-Thought (CoT) 推論に依存していた。しかし、これらは画像空間上の検出結果と弱くしか結びついておらず、ターゲットのロストや誤認に対して脆弱であった。本研究では、明示的な画像空間でのバウンディングボックス選択を起点とするパイプラインを構築し、この課題に対処している。

新規性と貢献

本研究の主要な貢献は、「Referring Then Tracking」という二段階の処理パラダイムの導入にある。モデルはまずインデックス化されたバウンディングボックス群からターゲットを選択し、その決定に条件付けられたトラッキング用ウェイポイントをデコードする。さらに、時間経過に伴う動きの手がかりを維持するため、TVBI (temporal-viewpoint-bbox indicator) トークンを導入した点が新しい。カスタム構築された Refer-QA データセットによる協調学習も性能向上に寄与している。

提案手法の詳細

ReferTrack は、前方を向いた単眼カメラの入力を基に動作する。まず、モデルは言語指示に基づいてターゲット候補のバウンディングボックスから対象を特定する。次に、選択されたターゲットの情報を基にして、ロボットが移動すべきウェイポイントを生成する仕組みとなっている。過去に選択されたバウンディングボックスのスライディングウィンドウキューを維持し、その幾何学的特徴を TVBI トークンとして視覚的履歴に注入することで、動体の追従精度を担保している。

評価・考察

EVT-Benchを用いた評価において、ReferTrack はシングルターゲットで 89.4%、ディストラクターが存在する環境で 73.3%、曖昧性の高いスプリットで 74.1% の成功率を記録した。特筆すべきは、これらの数値が単眼カメラのみの構成でありながら、マルチカメラを使用する既存のベースラインと同等またはそれを超える識別タスク性能を達成している点である。また、四脚ロボットおよび人型ロボットを用いた実世界へのデプロイにより、シミュレーションから実世界への堅牢な転移が確認された。

応用例と今後の展望

実世界への展開として、Unitree製の四脚ロボットや人型ロボットなどの移動プラットフォームへの適用が実証されており、製造・物流分野やサービスロボティクス領域における、自然言語指示ベースの自律追従型搬送システムへの実務インパクトが大きい。今後の課題としては、極端なオクルージョン環境下での追従継続性の向上などが挙げられる。

結論

ReferTrack は、自然言語による指示と単眼カメラの視覚情報を明示的に結びつけることで、従来の VLA ポリシーの限界を克服した。モビリティとロボティクス分野におけるビジョンベースの追従性能を大きく引き上げる実用的な基盤技術となり得る。

注釈

• Embodied visual tracking (EVT): 身体性を持つロボットなどの移動体が、視覚情報を頼りに特定の対象をカメラ映像内で追従するタスク。