NVIDIA、3D 形状補完モデル Axolotl3D を ECCV 2026 で発表──部分的な写真や点群から隠れたジオメトリを高精度に復元
Hunyuan3D-DiT を拡張し、複数視点画像や visibility masks から単一の拡散モデルで完全な 3D メッシュを再構築する。
リリース: 2026-09-16 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA Spatial Intelligence Lab は 2026 年 9 月 16 日、部分的な画像や点群から 3D オブジェクトの形状を補完・復元する研究モデル「Axolotl3D」を ECCV 2026 にて発表した。
- モデルは DINOv2 による画像特徴量エンコーディングと VecSetX による幾何学的表現を用い、Toys4K および OmniObject3D ベンチマークで SOTA を達成している。
- 単一視点画像、スパースな複数視点、オクルージョン（遮蔽）のあるキャプチャ、形状編集を単一の拡散モデルで処理できる統合条件付けシステムを備える。
- 現時点において、NVIDIA からのパブリックチェックポイントやオープンソースとしてのコード公開はアナウンスされていない。
2. 影響（Why）
- 3D アセット制作の自動化効率化: 実写写真からの 3D メッシュ生成においてこれまで未制約だった隠蔽表面を明示的な幾何学的証拠で補完できるため、ゲーム・メタバース制作のワークフローが効率化される。
- 国内 XR・ロボティクス開発への影響: [国内 3D アセット制作・ロボティクス関連] のような中規模開発チームは、部分的なセンサー観測や単眼カメラから衝突判定用の完全な 3D 形状を生成するパイプラインの構築にこの手法を応用できる。
3. 根拠・詳細（How）
- マルチモーダル条件付けとアーキテクチャ: Hunyuan3D-DiT（拡散トランスフォーマー）と ShapeVAE デコーダをベースに拡張。DINOv2 による視覚・意味特徴と VecSetX による点群エンコードを、フィーチャピラミッド層とクロスアテンションで統合する。
- 多様な欠損パターンに対応する学習レシピ: 大規模な 3D メッシュコレクションから、表示領域のマスク、点群のサンプリング数、利用可能なモダリティを変化させたトレーニングデータを動的に生成し、1 つのチェックポイントであらゆる欠損パターンに対応。
4. 展望・課題（Next）
- 公開予定の未定さと実用上の制約: オブジェクト単位の再構築に特化しており、室内や屋外の全景復元には対応していない。また、オープンソース化や公開チェックポイントの提供予定は現時点で未定。