RTX 4090 で 32 Hz・VRAM 1 GB 未満駆動を実現する軽量 VLA モデル「TurboVLA」

論文概要

Vision-Language-Action (VLA) モデルにおいて、従来主流となっている大規模言語モデル（LLM）を中心とした $V \to L \to A$ （視覚 $\to$ 言語 $\to$ 行動）の推論パイプラインは、推論時における計算コストとメモリオーバーヘッドがボトルネックとなっていた。Hengyi Xieらの研究チームは、ビジョンとランゲージの統合プロセスを抜本的に見直した新しい VLA パラダイム「TurboVLA」を提案した。TurboVLA は視覚観測と言語指示を独立してエンコードし、軽量な双方向ビジョン・言語インタラクションを介して直接情報を交換することで、パラメータ数 0.2B（2億）というコンパクトな規模でありながら、コンシューマー向け GPU である NVIDIA RTX 4090 上で 32 Hz（推論遅延 31.2 ms）、VRAM 使用量 0.9 GB 未満という圧倒的な高速性と省メモリ性を実現している。

Figure 1: TurboVLAはコンパクトなローカル展開とリアルタイムの言語条件付きマニピュレーションを可能にします。

新規性と貢献

本研究の最大の新規性は、LLM を中心に据えた従来の中継構造を廃し、 $V + L \to A$ という直接的なマッピング構造へとパラダイムを転換した点にある。これにより、モデル全体のパラメータ数を大幅に削減しつつ、視覚と言語の特徴量を効率的に結合させることに成功した。学術的・実用的な貢献として、コンシューマー向けハードウェア（RTX 4090）単体でリアルタイム動作（32 Hz）する VLA を構築し、LIBERO ベンチマークで平均 97.7% という高い成功率を記録したことが挙げられる。

Figure 2: TurboVLAの全体アーキテクチャおよびビジョン・言語インタラクションモジュールの概要。

提案手法の詳細

TurboVLA の核心は、大規模な自己回帰型 LLM を用いて知覚表現をデコードするのではなく、軽量な双方向ビジョン・言語インタラクションモジュールを採用した点にある。視覚観測から得られた特徴と、言語指示から得られた特徴は、軽量な相互アテンション機構によって直接情報を交換し、タスク条件付きの表現を即座に構築する。さらに、連続的なアクションチャンク（行動の塊）を予測するコンパクトなデコーダーを備えており、推論パイプライン全体の複雑性とレイテンシを極限まで低減させている。

評価・考察

ロボット学習の標準的なベンチマークである LIBERO において、TurboVLA は平均 97.7% の成功率を達成し、既存のはるかに大規模な VLA ポリシーと同等あるいはそれを上回る性能を示した。また、NVIDIA RTX 4090 を用いた実測において、推論遅延 31.2 ms（32 Hz）、VRAM 消費量 0.9 GB という数値が確認されており、エッジデバイスやロボット本体に搭載された単体のGPUでの運用が現実的であることを実証している。

Figure 3: AgileX Piperプラットフォームにおける実世界評価のセットアップと成功率の比較。

応用例と今後の展望

実務的なインパクトとして、これまで高価なサーバーサイド GPU や複数枚の GPU を必要としていたロボットアーム制御システムを、単体の安価なエッジ向け GPU（RTX 4090 等）上でリアルタイム動作させることが可能になる。特に、物流倉庫における多品種ピッキングや、FA（ファクトリーオートメーション）分野のセル生産における柔軟な部品組み付けなど、高速なフィードバック制御が必須となるロボティクス現場での実装コストを劇的に引き下げるポテンシャルを持つ。今後の課題としては、より多様な実世界環境や動的な外乱に対する頑健性の検証が挙げられる。

結論

TurboVLA は、LLM 中心主義の VLA 設計に対する強力なオルタナティブを提示した。視覚と言語の直接的なインタラクションと軽量なデコーダーの組み合わせにより、精度を犠牲にすることなく極限までの高速化と省メモリ化を両立できることを示し、効率的なロボットマニピュレーション研究に新たな道を開いた。

注釈

VLA モデル (Vision-Language-Action Model): 視覚情報と自然言語の指示を入力とし、ロボットの動作コマンド（アクション）を直接出力するマルチモーダルAIモデル。
LIBERO: ロボット学習アルゴリズムの汎化性能やマルチタスク性能を評価するための代表的なベンチマークスイート。