LLMのパーソナライズにおける過剰推論を暴くMirageBench：全12モデルで35〜49%の属性捏造を確認

論文概要

持続的メモリを備えたパーソナライズドLLMにおけるユーザーモデルの忠実度（Faithfulness）を検証した論文である。研究グループは、証拠を超えてユーザー属性を捏造する現象を「過剰推論（Over-Inference: OI）」と定義し、これを網羅的に評価するための新しいベンチマーク「MirageBench」を導入した。150のペルソナ、6つのパーソナライズタスク、12モデル（7つのファミリー）による14万3616件の判定済みクレームを対象とした評価の結果、評価対象となったすべてのモデルにおいて35%から49%（クロスモデル平均41.6%）の過剰推論が発生していることが明らかになった。

関連研究

これまでのLLMの評価は主にタスクの正確性やハルシネーション（幻覚）の抑制に焦点を当ててきたが、ユーザーのプロファイルを長期的に記憶・構築するパーソナライズ機能における忠実度の検証は十分に行われていなかった。本研究は、モデルがコンテキストから不当に推論を広げる現象に特化して体系的な分析を行った点で先行研究と一線を画す。

新規性と貢献

本研究の最大の新規性は、ステレオタイプや中立プロファイルを網羅したMirageBenchの構築と、独立したジャッジ（人間によるブラインド評価でCohen's kappa = 0.863の4値分類一致度を検証済み）を用いた大規模な忠実度評価にある。また、モデル自身の自己評価と実際の過剰推論の間に負の相関が存在するという「Self-Monitoring Inversion」を世界で初めて実証した点が学術的・実用的な大きな貢献である。

提案手法の詳細

MirageBenchは、ステレオタイプ的・反ステレオタイプ的・中立的なペルソナをバランスよく配置した150のプロフィールと、想像力の勾配に沿った6つのパーソナライズタスクで構成される。評価には4方向の忠実度タクソノミーを用い、信頼性の高い判定を実現している。なぜこの設計にしたかといえば、単純な正誤判定では捉えきれない、文脈の飛躍や過剰な属性付与（OI）を多角的にあぶり出すためである。

評価・考察

評価の結果、12モデルすべてが35%〜49%（クロスモデル平均41.6%、クレーム加重41.8%）の過剰推論を示すことが判明した。さらに最も注目すべき発見は「Self-Monitoring Inversion」であり、モデル自身が自己評価したOIは、ジャッジによって測定されたOIと負のランク相関（rho = -0.60, p = 0.044、n = 12）を示した。すなわち、過剰推論が少ないと自称するモデルほど実際には多くの属性を捏造している傾向があり、自己申告の信頼性はモデル間比較において逆効果となる。なお、単一モデルの内部での自己監査は中程度のランク付け（AUROC 0.58〜0.83）が可能であることも示されている。さらに、OIはタスク依存性（27%〜59%）を持ち、マルチターンのパイロット実験では不正確な属性がほぼ線形に蓄積され、ほとんど修正されないことが確認された。

応用例と今後の展望

本研究の成果は、ユーザープロファイルを自動構築するチャットボットやAIエージェントの開発において、外部検証（External Verification）の重要性を強く示唆している。日本国内のBtoC向けAIサービスやカスタマーサポートシステムの開発現場においては、ユーザー設定や嗜好を自動学習・蓄積するモジュールを実装する際、モデルの自己申告の確信度を信用せず、明示的な外部検証機構を組み込む設計への転換が求められる。

結論

LLMのパーソナライズ機能における過剰推論は全モデルに共通する深刻な課題であり、モデル自身の自己モニタリングは信頼できる指標にならない。今後はモデルの自己申告に頼らず、外部検証に基づくより頑健なパーソナライズ手法の確立が必要不可欠である。

注釈

• 過剰推論（Over-Inference: OI）: LLMが十分な根拠がないにもかかわらず、ユーザーの属性や好みについて過剰に推論し、事実を捏造してしまう現象。