Arena、画像生成モデル向け強化学習レシピを公開──FLUX.2-dev の勝率 66% を達成
選好報酬にプロンプト別の忠実度スコアと偽装検出器のゲーティングを組み合わせ、オープンソース画像生成モデルのプロンプト逸脱を防ぐ学習手法。
リリース: 2026-10-02 · 読了 3 分記事の要約
1. 核心（What）
- Arena が選好報酬とプロンプト別ルーブリックを組み合わせた T2I (Text-to-Image) 向けポストトレーニング手法を発表
- 約 5 万件の人間によるペアワイズ投票データで学習した Bradley-Terry モデルにより人間の選好スコアを算出
- VLM (Vision-Language Model) を用いたチェックリスト方式の忠実度報酬により、オブジェクトの抜けや位置関係の不備を評価
- ポストトレーニング適用後の FLUX.2-dev がオフライン評価でベースモデル比 66.0% の勝率を記録し、Arena のライブリーダーボードで Ideogram 4 が 1,224 ポイントに到達
2. 影響（Why）
- オープンソース画像生成のプロンプト追従性が実用レベルに: 単なる美観重視の報酬最適化による「プロンプト無視」のハッキングを防げるため、商用プロダクトでユーザー入力を厳格に反映させたい開発者は、FLUX.2-dev 等の OSS 採用を再検討する価値がある。
- 国内の画像生成 SaaS 事業者における品質担保のコスト削減: 国内の広告クリエイティブ自動生成や EC 向け画像生成 SaaS を運営する事業者（中規模チーム）は、プロンプト別の自動評価と報酬ゲーティングを自社パイプラインに組み込むことで、人間によるアノテーション工数を大幅に圧縮できる。
3. 根拠・詳細（How）
- 選好スコアに veto 権を持たせるアンチハッキング・ゲート: 検出器がプロンプト逸脱や不自然な描画（d_hack=1）を検知した場合、選好スコアの上限を 0.0 にクリップし、美観や構成によるプラス評価を無効化する仕組みを実装している。
- Model Soups 手法によるパラメータ空間でのマージ: 異なる報酬構成で学習した複数のポリシーを、共有ベースチェックポイントからのパラメータ変化量（deltas）を平均化することで、推論時のコストを増やさずに単一モデルへ統合する。
4. 展望・課題（Next）
- 新たな失敗モードに対する検出器の拡張: 現行のアンチハッキング・ルールで捕捉できない新規のハッキング手法に対しては、チェックリストや検出器の追加が継続的に必要となる。