T2I モデルの数量把握の限界を暴く 64 万プロンプトのベンチマーク NumBench と評価指標 cw-NPS の提案

論文概要

Text-to-Image (T2I) モデルにおけるオブジェクトの数量指定エラーの根本原因を解明するため、本論文では 640,000 件のプロンプトで構成される大規模ベンチマーク NumBench を提案している。1,600 カテゴリ、1 から 100 までのカウント範囲をカバーし、オブジェクト構成、空間ガイダンス、外観条件を制御した因子設計を採用している。また、スケーラブルな自動評価指標として Confidence-Weighted Numeric Precision Score (cw-NPS) を導入し、商用およびオープンソースの既存モデルの限界を明らかにしている。

関連研究

従来の T2I モデルの評価ベンチマークは、サンプル数が小規模であるか、あるいはカウントの制御が不十分であり、モデルがなぜ数量を数え間違えるのかを体系的に説明できなかった。本研究は、多数のカテゴリと 1〜100 という広範なカウントをシステマティックに網羅することで、既存評価の空白を埋めるものである。

新規性と貢献

本研究の主要な貢献は、64 万件のプロンプトを持つ網羅的なベンチマーク NumBench の構築、有限な画像領域における競合をモデル化したプロセスモデルの提示、および不確実な提案を割引する新しい評価指標 cw-NPS の開発にある。これにより、モデルのカウント性能の低下要因を統計的に裏付けることが可能になった。

提案手法の詳細

提案されたプロセスモデルでは、要求されたインスタンスが有限の解像可能画像領域を巡って競合すると仮定する。このモデルは低占有率においてほぼ二次の衝突赤字 (collision deficit) を予測し、協調的な配置がそれを軽減するメカニズムを示している。また、3 つの較正済み検出器を集約し不確実な検出を割引く cw-NPS を用いることで、スケーラブルかつ信頼性の高い評価を実現している。

評価・考察

5 つの商用システム、2 つのオープンモデル、および 2 つの特化型カウント手法を対象に評価を行った結果、要求されるカウント数が増加するにつれてすべての手法で性能が急激に低下し、特に 50 個を超えるオブジェクトの生成では評価対象の全手法が極めて脆弱であることが示された。カウント範囲が最も大きな影響を与え、次いでレイアウトと構成が影響を及ぼすことが因子分析により判明している。

応用例と今後の展望

本手法およびベンチマークは、EC サイト用の商品画像自動生成や、複雑なシーン構成が求められる広告クリエイティブの生成パイプラインにおいて、モデルの数量制御能力を定量的に検証するための実務的なインフラとなる。国内の画像生成 AI を活用するテック企業やリサーチ部門において、モデル選定時のストレステストとしての活用が見込まれる。今後の課題として、衝突以外の失敗要因の切り分けや、50 個以上の高密度カウントにおける精度改善が挙げられる。

結論

NumBench と cw-NPS を用いた検証により、現在の T2I モデルが抱える数量把握の限界が定量的に浮き彫りとなった。カウント数が 50 を超える領域での性能低下は顕著であり、今後の生成モデルにおける空間・数量制御のアーキテクチャ改善に向けた重要な基準を提供する。

注釈

• Text-to-Image (T2I) モデル: テキストのプロンプト（指示文）から対応する画像を生成するディープラーニングモデル。
• cw-NPS (Confidence-Weighted Numeric Precision Score): 複数検出器の信頼度を重み付けし、不確実なオブジェクト検出を割引いて数値的精度を算出する評価指標。