Diffusion Models の推論時スケーリング新手法 PSP──シード探索の早期枝刈りで GenEval スコアを向上

論文概要

Rogerio Guimaraes と Pietro Perona の両氏は、Diffusion Models および flow-matching モデルにおける新たな推論時スケーリング手法「Progressive Seed Pruning (PSP)」を提案した。LLM における推論時計算量のスケーリングに比べ、画像生成分野では十分な検討がなされていなかった初期ノイズシードの探索に着目し、多数のシードを早期に評価して有望な軌道のみを完全にノイズ除去する仕組みを導入している。計算予算を固定した状態で、従来の best-of-N や importance-sampling、tree-search などのベースラインと比較して GenEval スコアや人間評価によるプロンプト整合性を向上させている。

関連研究

条件付き画像生成において、最終的な品質は初期ノイズシードに大きく依存することが知られている。これまでの手法では、ブラックボックス報酬のもとでシード探索や再サンプリングに追加の計算コストを費やす際、推論中のメモリフットプリントを常に一定に維持するという制約が課されていた。本研究ではこの制約を緩和し、探索を前倒しして早期に枝刈りを行う軸を導入した点が従来研究と異なる。

新規性と貢献

従来の画像生成モデルの推論手法では、生成プロセス全体を通して均一な計算量を割り当てるか、あるいは単純な best-of-N で全候補を最後まで処理していた。これに対し PSP は、中間段階のノイズ除去推定量に基づいてスコアリングを行い、見込みのない候補を段階的に除外する。これにより、限られた計算リソースを最も有望な生成パスに集中させることが可能になる。

提案手法の詳細

PSP の核心は、推論初期段階における探索の「前倒し」と「段階的な枝刈り（Pruning）」にある。多くの初期シードから生成された中間的なノイズ除去推定量を評価し、報酬スコアの低い候補をプログレッシブに削る。これにより、モデル評価の総回数を一定に保ったまま、最終段階に残る有望な軌道の品質を効果的に高める設計となっている。

評価・考察

複数の diffusion および flow-matching のバックボーンを用いた実験において、PSP は報酬ガイドによる選択精度を一貫して向上させた。自動評価指標である GenEval および人間によるプロンプト整合性の評価において、matched compute（同等の計算量条件）における best-of-N、importance-sampling、tree-search などの既存ベースラインを上回る性能を実証している。

応用例と今後の展望

画像生成モデルを組み込んだ商用デザインツールやクリエイティブテック分野において、限られた推論時間内でプロンプトへの忠実度を最大化するための実用的な基盤技術となる。日本のテックリードや開発者にとっては、リアルタイム性が求められる画像生成 API のバックエンド最適化や、品質とレイテンシーのトレードオフを改善する際の実装アプローチとして検討する価値がある。今後の課題としては、多様な報酬モデルに対する適応性の検証や、より多様なバックボーンアーキテクチャへの拡張が挙げられる。

結論

本研究は、Diffusion Models における推論時計算量の配分方法を見直し、初期シードの段階的枝刈りによって生成品質とプロンプト整合性を高める有効性を示した。計算量を増加させずに性能を引き出すアプローチとして、画像生成パイプラインの設計に新たな選択肢を提供する。

注釈

• Diffusion Models: ノイズから徐々に画像を復元していく生成モデルの総称。
• Flow-Matching: 確率的なベクトル場を学習することで高速かつ安定したサンプリングを実現する生成モデルの一手法。
• GenEval: 画像生成モデルがプロンプト内の複雑な条件（オブジェクトの数や関係性など）をどの程度正確に反映できているかを測る自動ベンチマーク。