NVIDIA、Physical AI 向けオムニモーダルモデル群 Cosmos3-Edge を公開──4B パラメータでテキスト・動画・ロボット制御を統合
テキスト・画像・動画・ロボット行動軌跡の双方向入出力に対応する 4B パラメータの Cosmos3-Edge を発表し、エッジデバイスでの物理世界シミュレーション実装を現実解にする。
リリース: 2024-05-23 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA は、Physical AI（物理 AI）の開発を加速するオムニモーダル基盤モデル群「Cosmos3-Edge」を公開した。
- パラメータ数が 4B の軽量モデル Cosmos3-Edge のほか、最大 64B の Cosmos3-Super などのバリエーションが提供される。
- DROID ロボットプラットフォームを活用したロボット行動軌跡の生成タスクに対応する Cosmos3-Edge-Policy-DROID が含まれる。
- モデルは OpenMDW 1.1 ライセンスの下で商用利用が可能となっている。
2. 影響（Why）
- 4B 規模でのエッジ統合: 4B パラメータに圧縮されたことで、GPU リソースが限られるロボットやエッジデバイス上で、テキストと物理動作の推論を直接実行できる。
- 国内ロボティクス産業への影響: 産業用ロボットや自動搬送を開発する国内 FA 機器メーカーやロボット SIer は、クラウド接続なしのローカル環境でマルチモーダルな動作制御基盤を試行できる。
3. 根拠・詳細（How）
- Mixture-of-Transformers アーキテクチャ: 自己回帰トランスフォーマーと拡散トランスフォーマーの 2 つのタワーを組み合わせた MoT アーキテクチャを採用し、テキストの離散生成と動画・画像・行動の連続生成を 1 つのフレームワークで処理する。
- 対応する行動軌跡の次元数: 単腕フランカ・パンダアーム（10D）や自動運転（9D）など、各対応デバイス・環境に応じた 2D 配列の Action データを入力・出力として直接扱える。
4. 展望・課題（Next）
- 商用展開とコミュニティ評価: OpenMDW 1.1 ライセンスに準拠したオープンな検証が進み、ロボット制御の実証実験における実用性が評価される段階に入る。