LLM による A/B テスト勝敗予測の限界を実証──Gemini 3 Flash で Cohen's kappa = 0.14

論文概要

マルチモーダル LLM が Web ページのスクリーンショットのみから A/B テストの勝敗を予測できるかを、330 件の実世界コンバージョンテストと 6 週間にわたる事前登録実験によって検証した論文である。Gemini 3 Flash を用いた検証の結果、全体の Cohen's kappa 係数は 0.14 と低調であり、統計的に有意なテストの半分に限定すると kappa = 0.11 と有意差が消失した。ただし、投票マージンによる確信度ゲート（カバレッジ 49%）を適用することで、有意なラベルに対して kappa = 0.31 を達成できることが示されている。

関連研究

従来、CRO（Conversion Rate Optimization）や Web デザインの自動評価において、LLM が人間と同等あるいはそれ以上にユーザーの選好やコンバージョンを予測できるとする報告が散見された。しかし、それらの多くは小規模なデータセットや統計的有意差が担保されていないラベルに基づいていた。本研究は、実世界の信頼性の低いグラウンドトゥルースの割合を定量化し、モデルと人間の合意が必ずしも実世界の成果との相関を意味しないことを指摘する点で先行研究と一線を画す。

新規性と貢献

本研究の最大の貢献は、A/B テストのグラウンドトゥルースデータにおける「非有意なテスト」の割合（44%）を明らかにし、LLM が実際の成果ではなくラベル側のノイズやバイアスと一致している現象を暴いた点にある。また、すべての標準的な改善レバー（2.8 倍高価なフロンティアモデルの採用、プロンプトの再設計、刺激の忠実度向上など）が事前登録された評価ゲートを通過しなかったという厳格なネガティブ結果を公開している。

提案手法の詳細

手法としては、投票マージンを用いたキャリブレーション（Calibrated Abstention）が導入されている。モデルの出力における確信度のバラツキや投票マージンをゲートとして利用し、予測が困難なケースを棄却することで、信頼性の高いサブセットのみを抽出する。これにより、モデル自身が「自分がいつ分かっていないか」を認識できる設計となっている。

評価・考察

評価では、330 件の実世界 A/B テストを用いて検証が行われた。主な数値結果は以下の通りである。

• Gemini 3 Flash の全体での一致度: Cohen's kappa = 0.14
• 統計的有意なテストにおける一致度: Cohen's kappa = 0.11（信頼区間がゼロを含む）
• 投票マージンゲート適用時（カバレッジ 49%）の有意ラベルに対する一致度: Cohen's kappa = 0.31
• モデル間・プロンプト間の合意度: kappa = 0.74〜0.88（ただし実成果への合意度は約 0.2）
• 15 名の CRO 専門家間の合意度: inter-rater kappa = 0.53（ただし実成果に対するスコアはチャンスレベル、kappa ~ 0） これらの結果は、人間やモデルの「コンセンサス」が、説得力や再現性を持つ一方で、実世界の成果予測における確実な根拠とはならないことを強く示唆している。

応用例と今後の展望

Web マーケティング支援ツールや CRO エージェンシーにおける自動デザイン評価システムに対して、LLM の出力を無批判に信頼することのリスクを明確にするものである。日本の Web マーケティング業界やデジタルエージェンシーにおいて、数千人規模のトラフィックを扱う実務の意思決定フェーズにおいて、LLM の判定を単独で A/B テストの代替とすることは時期尚早であり、確信度に基づく厳格なフィルタリングと人間による検証の組み合わせが必須であるという実務インパクトを与える。

結論

LLM による A/B テスト勝敗予測は、全体の予測精度としては限定的であり、多くの高スコアはラベル側のノイズとの合意に起因している。しかし、確信度ゲートを用いた選択的予測により、特定の条件下では有意な相関を引き出せる可能性が示された。

注釈

• Cohen's kappa: 2 つの評価者間の一致度を、偶然による一致を排除して評価する統計指標。
• CRO: Conversion Rate Optimization（コンバージョン率最適化）。Web サイトの訪問者がコンバージョンに至る割合を向上させる手法の総称。