NVIDIA、ロボット操作データセット Cosmos3-DROID を LeRobotDataset v3.0 形式で公開──76K の実世界デモ軌跡を統合
実世界 564 シーンから収集した 350 時間分のロボット操作データを HuggingFace 上で公開し、LeRobot v3.0 シャード形式で効率的なストリーミング学習を実現する。
リリース: 2024-03-19 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA は、オープンなロボット操作データセット DROID の生データを LeRobotDataset v3.0 標準に変換し、nvidia/Cosmos3-DROID として公開した。
- 成功および失敗のエピソードは、それぞれ独立した Parquet ファイルと AV1 形式の同期ステレオ映像として構造化されている。
- HuggingFace Hub から `huggingface_hub.snapshot_download` や `lerobot.datasets.lerobot_dataset` を用いて直接ストリーミングまたはダウンロードが可能。
- データセットには 3 つの同期ステレオ RGB カメラ映像、深度情報、低レベルのロボット状態および制御コマンドが含まれる。
2. 影響（Why）
- 標準フォーマットによる即座の利用: LeRobot v3.0 のチャンク化された Parquet および MP4 シャード構造を採用したことで、個別ファイル管理のオーバーヘッドが解消され、大規模なロボット学習パイプラインへの統合が容易になる。
- 国内ロボット研究への波及効果: 国内の自動化・ロボット開発を行う事業者は、自社で多大なコストをかけて収集しなくても、多様な環境ロバスト性を持つ学習データをベースラインとして使用できる。
3. 根拠・詳細（How）
- LeRobotDataset v3.0 のストレージ構造: データとビデオフレームはチャンク化された Parquet ファイルおよび AV1 エンコード済み MP4 ファイルとして `success/` および `failure/` ディレクトリに分割格納される。
- 共通ハードウェアプラットフォームの採用: すべてのデモンストレーションは Franka Panda 7-DoF アームと Robotiq 2F-85 グリッパーの単一ハードウェア構成で収集されており、18 の異なるラボ間で完全に再現性と比較可能性が担保されている。
4. 展望・課題（Next）
- ポリシー学習への適用展開: ロボットのフォワードおよびインバースダイナミクスモデル、ならびに汎用マニピュレーションポリシーの訓練への応用が期待される。