NVIDIA、外科手術ロボット向けリアルタイム生成シミュレータ Cosmos-H-Dreams を公開──RTX PRO 6000 単機で 160 fps を達成
Cosmos-H-Surgical-Simulator を因果的 student model へ蒸留し、FlashDreams 推論ライブラリとの組み合わせで手術動画のリアルタイムインタラクティブ生成を可能にした。
リリース: 2026-07-27 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA は 2026 年 7 月 27 日、外科手術ロボット向けのリアルタイム生成シミュレータ Cosmos-H-Dreams を HuggingFace で公開した。
- 基盤モデルである Cosmos-H-Surgical-Simulator を因果的な student model へ蒸留し、単一の NVIDIA RTX PRO 6000 GPU 上で約 160 fps のリアルタイム動作を実現した。
- JHU dVRK テーブルトップの縫合データセットを用いてファインチューニングされ、失敗や out-of-distribution のエピソードも含めたシミュレーションに対応する。
- 加速推論ライブラリ FlashDreams と組み合わされ、WebRTC や WebXR を介したブラウザ・Meta Quest クライアントからの双方向操作をサポートする。
2. 影響（Why）
- 実機検証コストの大幅な圧縮: 物理的なロボットハードウェアを繰り返し動かすことなく、失敗ケースを含む合成データを高速生成できるため、手術ポリシーのオフライン評価コストを数分の一に圧縮できる。
- 国内医療機器・ロボット開発への影響: 手術支援ロボットや遠隔医療の制御アルゴリズムを開発する国内医療機器メーカーや研究機関は、高価な実機なしでポリシーの強化学習環境を構築できる選択肢を得た。
3. 根拠・詳細（How）
- 段階的ホライズン増加による教師モデルの学習: 44 次元の統一アクション表現を用いて、12 フレームから最大 72 フレームまで一時的ホライズンを段階的に拡張しながら教師モデルをファインチューニングした。
- 自己強制蒸留による蓄積誤差の抑制: 自己生成されたコンテキストを用いて student がロールフォワードを行い、凍結された教師モデルからの分布マッチング監視によりリアルな動画生成へ誘導した。
- FlashDreams による低遅延ストリーミング: ストリーミング KV キャッシュ、CUDA Graph キャプチャ、モデルコンパイルなどの最適化により、遅延を約 10 fps から約 160 fps へ向上させた。
4. 展望・課題（Next）
- 閉ループベンチマークの拡充: ツールチップの到達・姿勢精度、グリッパーサイクルの忠実度、長期ドリフトなど、実機との合致度を測る新しい閉ループベンチマークの評価を進める。