3D 生成・理解・編集を統合する Hunyuan3D-Buffalo 1.0──8,700万件のマルチモーダルデータで SOTA を達成

論文概要

Hunyuan3D-Buffalo 1.0 は、3D 空間の理解、テキストからの 3D 生成（Text-to-3D）、指示ベースの 3D 編集、そしてテキストによるパーツ生成を単一のアーキテクチャで統合したマルチモーダルモデルである。大規模な 3D 学習データの不足という課題に対し、本研究では合計 8,700 万件（理解用 2,500 万件、生成用 5,000 万件、編集用 1,200 万件）におよぶ大規模 3D マルチモーダルコーパス「Nano3D-v2」を構築して訓練を行った。実験の結果、テキストからの 3D 生成および 3D 編集のベンチマークにおいて既存の最高性能（SOTA）を更新している。

新規性と貢献

本研究の主要な貢献は、単一のモデルで 3D の理解と生成、編集を同時に実現した点にある。第 1 に、8,700 万件という類を見ない規模の 3D マルチモーダルコーパスの構築により、スケーラブルな学習を可能にした。第 2 に、Hunyuan3D-VLM と Hunyuan3D DiT を組み合わせたアーキテクチャにより、意味的理解と高精度な 3D 合成の双方を高度に両立させている。分析により、生成タスクと理解タスクが相互に編集性能を向上させる相乗効果を持つことも実証された。

提案手法の詳細

Hunyuan3D-Buffalo 1.0 のアーキテクチャは、主に 2 つのコンポーネントで構成されている。

Hunyuan3D-VLM: セマンティック（意味的）、構造的、空間的な 3D 理解を担当する。生成プロセスに対するマルチモーダルなセマンティック条件を提供する。
Hunyuan3D DiT: 高忠実度な 3D 合成を担当する Diffusion Transformer（DiT）ベースのモジュールである。

編集およびパーツ生成においては、元のオブジェクト表現を拡散プロセスに追加の条件として入力する設計を採用している。これにより、未編集領域の形状や全体の構造を維持したまま、指示された部分のみを高精度に変更することが可能となっている。

評価・考察

広範な実験により、Hunyuan3D-Buffalo 1.0 は Text-to-3D 生成および 3D 編集のベンチマークにおいて最先端の性能を達成していることが確認された。定性・定量的評価において、生成される 3D アセットの品質が高いだけでなく、編集の指示に対する追従性や構造保持能力においても優れた結果を示している。さらに、マルチモーダルな事前学習の組み合わせがモデル全体の汎用性を高めていることが分析により裏付けられている。

応用例と今後の展望

本手法は、ゲーム開発やメタバース向けのアセット制作、工業デザインにおけるプロトタイピングの自動化など、3D コンテンツ制作パイプラインにおける実務インパクトが大きい。特に、日本のゲーム・アニメ制作会社や XR 関連のソフトウェアベンダーにおいて、AI を活用したモデリング工数の削減や、テキスト・指示による動的な 3D 編集ツールの実装を加速させる基盤技術となり得る。今後の課題としては、より複雑な物理特性を持つアセットの生成や、実世界のスキャンデータに対するロバスト性の向上が挙げられる。

結論

Hunyuan3D-Buffalo 1.0 は、大規模な 3D マルチモーダルコーパスと統合アーキテクチャを活用することで、3D 生成・理解・編集を高次元で融合させることに成功した。単一モデルによるシームレスな 3D 操作の可能性を示した点で、今後の 3D AI 研究および産業応用の方向性を示す重要なマイルストーンとなる。

注釈

DiT (Diffusion Transformer): 従来の U-Net に代わり Transformer を拡散モデルのバックボーンとして用いるアーキテクチャ。
SOTA (State-of-the-Art): 該当するタスクにおいて、これまでの最高性能を記録している状態。