LLM による UX マイクロシミュレーション手法──複数プロキシデータセットで検証したアライメント評価とコスト対効果

論文概要

初期段階のプロダクト開発において、ユーザー数や予算の制約により頻繁な UX 調査が困難である課題に対し、本論文では LLM を活用した UX マイクロシミュレーションパイプラインを提案している。バージョン管理されたプロンプト、ペルソナ、タスク、UI スナップショットを入力として、ウォークスルー手順や摩擦点などの構造化された顧客体験フィードバックを生成する。公開されているユーザビリティデータセットが不足している現状を打破するため、アプリレビューやサポートツイート、オープンソースソフトウェアの課題などのパブリックプロキシコーパスを活用した軽量なプロキシ検証プロトコルを構築し、評価を行っている。

関連研究

従来のエージェントベースのシミュレーションや、LLM を用いたユーザー代行評価に関する先行研究が存在する。しかし、実世界のユーザー行動データやアプリレビューなどの不特定多数のフィードバックとシミュレーション結果とのアライメント（整合性）を定量的に検証した研究は限られていた。本研究では、語彙ベースの手法にとどまらず、埋め込みベースラインを活用することでより精緻なアライメント評価を実現している。

新規性と貢献

本研究の主要な貢献は、初期段階の意思決定を支援するための「アーティファクトファースト」な LLM UX シミュレーションプロトコルの提示にある。トップ k Jaccard 係数と分布ベースの重み付き Jaccard 係数（W）という 2 つのアライメント指標を導入し、大規模な k においてトップ k Jaccard がアライメントを過大評価する傾向があることを示した。また、複数のプロキシデータセットを用いた網羅的な検証を通じて、評価手法の限界や不安定性を明らかにしている。

提案手法の詳細

提案パイプラインは、バージョン管理された実行アーティファクトから再現可能なテーブルや図を生成する仕組みを持つ。エージェント戦略として、シングルパス、best-of-N、ハイブリッド、およびスコア選抜型ジャッジの 4 つをアブレーションし、Azure OpenAI デプロイメント上で比較検証している。直感的な設計として、単一のプロンプト実行に依存せず、複数の戦略を組み合わせることで生成される摩擦テーマの信頼性を高めるアプローチをとっている。

評価・考察

6 つのプロキシデータセットを用いた評価において、埋め込みベースのアライメントは、Gojek などの主要なアプリレビューやサポートツイートのプロキシにおいて、語彙ベースライン（W=0.000）を上回る重み付き Jaccard 係数（W=0.128）を記録した。一方で、サブサンプルサイズにおけるブートストラップ信頼区間の分析からは、埋め込み W の点推計がリサンプリングに対して系統的に不安定であるという課題も浮き彫りになっており、モデルの較正に関する慎重な解釈が必要である。

応用例と今後の展望

実務インプットとして、BtoC モバイルアプリ開発やフィンテック分野のプロダクトチームにおいて、有料モデルによる本格的な大規模較正を行う前の段階でのプロンプトおよび機能タクソノミーの反復的な洗練に応用可能である。今後の課題としては、シミュレーション結果の安定性向上および敵対的ジャッジによるハルシネーション（幻覚）検出精度のさらなる向上が挙げられる。

結論

本論文は、LLM を用いた UX マイクロシミュレーションの有効性と評価プロトコルを示した。プロキシデータを用いた検証により手法の妥当性を裏付ける一方で、評価指標の不安定性やハルシネーションの検知といった実運用上の課題も提示しており、初期段階の意思決定支援における新たな基準を提供するものである。

注釈

• Jaccard 係数: 2つの集合の一致度を測る指標。トップ k Jaccard は上位 k 個の要素に限定して一致度を計算する手法。
• 重み付き Jaccard 係数 (W): 要素の出現頻度や分布の重みを考慮して算出するアライメント評価指標。