6B DiT 基盤の画像生成モデル LLaDA-Image──Qwen-Image-Bench で SOTA を達成し全訓練レシピを公開

論文概要

本論文では、オープンな訓練レシピと完全な重みを伴う新たな画像生成・編集フレームワーク「LLaDA-Image」を提案する。本手法は、ゼロからスクラッチ訓練した 6B パラメータの Diffusion Transformer (DiT) と、LLaDA2.0-Mini 拡散言語モデルのバックボーンをベースにした凍結済みの視覚言語理解モジュールを統合している。総計 2.2 億のサンプルを用いてビジュアル生成の事前学習と中盤訓練を行い、オープンソースモデルとして初めて Qwen-Image-Bench の英中両トラックで SOTA（State-of-the-Art）を達成した。

関連研究

従来の画像生成モデルは初期段階から大量の画像・テキストペアデータに依存する傾向があったが、本研究では画像のみの事前学習・中盤訓練を先行させ、強力な視覚生成事前分布（prior）を構築するアプローチを採用している点が異なる。

新規性と貢献

主要な貢献は、完全にオープンな訓練レシピの提供と、高忠実度な画像生成および微細な編集指示への正確な追従性の両立にある。さらに、2〜4 サンプリングステップでの高速推論を可能にする蒸留版「LLaDA-Image-Turbo」も同時に実現されている。

提案手法の詳細

生成パイプラインでは 2.2 億サンプル（内 98% が実画像）を活用する。また、効率的かつスケーラブルな最適化を実現するため、DiT 全体にパラメータを持たない RMSNorm と Muon オプティマイザを導入している。これにより、高解像度でのフォトリアルな画像生成と安定した勾配更新を両立させている。

評価・考察

Qwen-Image-Bench において、LLaDA-Image は英語トラックで 53.53、中国語トラックで 53.38 のスコアを記録し、オープンソースモデル群の中で最高の性能を示した。蒸留モデルである LLaDA-Image-Turbo により、実用上不可欠な推論高速化も達成されている。

応用例と今後の展望

本研究の成果物は、国内のクリエイティブテック企業やマーケティング支援システムにおいて、高度な画像編集パイプラインや高品質なバーチャルスタジオ構築のベースモデルとして即座に活用できる。数千枚規模のカスタム画像データセットを用いた追加ファインチューニングや、エッジデバイス向けへのさらなる軽量化が今後の主要な課題となる。

結論

LLaDA-Image は、オープンな事前学習レシピとスケーラブルなアーキテクチャにより、オープンソース画像生成モデルの性能上限を大きく引き上げた。重みとコードの完全公開により、今後の視覚生成研究の強力な基盤となる。

注釈

• Diffusion Transformer (DiT): Transformer アーキテクチャを拡散モデルのバックボーンに応用した手法。
• Muon オプティマイザ: 行列最適化において高い効率を発揮する新しい最適化アルゴリズム。