Embodied AI向け基盤モデルRxBrain──言語と視覚的想像を統合した計画生成で実ロボット操作を実現

論文概要

本論文では、Embodied AI（身体性AI）のための新たな基盤モデル「RxBrain」を提案する。従来のVision-Language Model（VLM）がシーン理解やテキスト生成に特化し、生成的な世界モデルが未来の状態予測に特化していたのに対し、RxBrainは言語による抽象的な計画生成と、視覚的な想像による物理状態の予測を単一のシーケンスとして統合した。これにより、ロボットがタスクの分解から実行に至るまで、言語と視覚の両面から一貫した推論を行うことが可能となった。

関連研究

既存のEmbodied AI研究は、主に「タスク計画」と「低レベルの行動生成」に分断されているケースが多い。本研究は、これらを「単一の計画シーケンス」に統合することで、中間的な物理状態を明示的に計画へ組み込む点に独自性がある。

新規性と貢献

主な貢献は以下の3点である。

1. 混合モダリティの統合: Mixture-of-Transformers（MoT）アーキテクチャを採用し、言語、画像、ビデオの理解と生成を単一モデルで実現した。
2. 自動データ生成パイプライン: 既存のEmbodiedビデオを自動的にテキストと視覚状態のペアに変換する手法を確立し、学習効率を高めた。
3. 実ロボットでの実証: 大規模な行動データによる事前学習なしで、実ロボット環境での操作タスクにおいてベースラインを上回る成功率を達成した。

提案手法の詳細

RxBrainは、言語と視覚の相互補完的な役割を重視している。言語はタスクの分解、制約条件、時間的順序といった「構造」を担い、視覚的想像はそれらのステップが物理的にどのような状態変化を伴うかを「接地（Grounding）」する役割を果たす。この設計により、モデルは単なるテキスト生成ではなく、物理的な結果を予測しながら計画を生成できる。

評価・考察

提案手法の有効性を検証するため、新たに「RxBrain-Bench」を導入した。実験の結果、RxBrainは言語推論と世界状態予測をカップリングした計画生成において、既存手法よりも高い性能を示した。また、実ロボットを用いた3つの操作タスクにおいても、ベースラインを上回る平均成功率を記録している。

応用例と今後の展望

本研究は、製造業や物流分野におけるロボット制御の自動化において、複雑な指示に対する柔軟な対応を可能にするインパクトを持つ。特に、大規模な行動データセットを収集しにくい環境下でのロボット導入において、本手法の「大規模データ不要」という特性は実用上の大きな利点となる。今後の課題は、より長期間かつ複雑なマルチステップタスクへのスケーラビリティの確保である。

結論

RxBrainは、言語と視覚的想像を統合することで、身体性AIにおける計画生成の新たなパラダイムを提示した。実ロボットでの検証結果は、基盤モデルが物理世界の理解を深めるための重要な一歩となる。

注釈

• Embodied AI: 物理的な身体を持ち、環境と相互作用しながらタスクを実行するAI。
• Mixture-of-Transformers (MoT): 複数のTransformerブロックを動的に選択・組み合わせることで、多様なモダリティを効率的に処理するアーキテクチャ。
• Grounding（接地）: 言語や抽象的な概念を、具体的な物理状態やセンサーデータと結びつけること。