Photoroom、画像生成モデル PRX の学習データ戦略を公開──7B モデル向けデータ構築手法
美しさよりも多様性と網羅性を優先し、VLM による長文キャプションでノイズを制御可能な属性へと変換するデータパイプラインを構築した。
リリース: 2026-07-06 · 読了 5 分記事の要約
1. 核心（What）
- Photoroom が画像生成モデル PRX の学習データ構築プロセスを公開。
- 既存の公開データセットと内部データを組み合わせ、VLM（Vision Language Model）を用いて画像を再キャプション化。
- 美観よりも多様性を重視し、7B パラメータモデルの学習に適したデータセットを構築。
- データパイプラインには Mosaic Streaming および Mosaic Data Shards (MDS) フォーマットを採用。
2. 影響（Why）
- 長文キャプションによる制御性の向上: 短文キャプションから詳細な長文キャプションへ切り替えることで、画像内のロゴや広告などの要素を「ノイズ」ではなく「制御可能な属性」としてモデルに学習させる。
- 国内の画像生成 SaaS への示唆: [国内の画像生成 SaaS 規模の事業者] は、過度な美観フィルタリングがモデルの概念学習を阻害するリスクを考慮し、プリトレーニング段階では網羅性を優先するデータ戦略への転換が有効となる。
3. 根拠・詳細（How）
- Mosaic ツールチェーンによる分散学習: Mosaic Streaming および Mosaic Data Shards (MDS) をデータフォーマットとして採用し、Mosaic Composer と連携して大規模分散学習環境を構築。
- キャプション精度によるノイズの制御: VLM を用いて画像内容を忠実に記述することで、画像内の意図しないテキストやロゴを学習データの一部として条件付けし、プロンプトによる制御を可能にした。
4. 展望・課題（Next）
- ファインチューニングによる品質追求: プリトレーニングで獲得した広範な概念知識をベースに、今後は小規模で厳選されたデータセットを用いたファインチューニングで最終的な生成品質を向上させる。