LLM 安全性評価の盲点を突く──API とチャット UI・Web 検索の有無で精度が最大 8pt 低下することを実証

論文概要

LLM（大規模言語モデル）の安全性や信頼性の評価において、単一のアクセスモダリティ（通常はモデル API）を用いた単一実行の正解率測定が一般的となっている。しかし本研究では、ChatGPT のチャット UI と OpenAI の API という 2 つのモダリティ、および Web 検索の有無がモデルの挙動に与える影響を監査した。BBQ と SafetyBench から層化抽出した 401 個のプロンプトを用い、合計 4,812 件の応答を収集・分析した結果、検索の有無やモダリティの違いによって正解率が最大 8 パーセントポイント低下し、繰り返し実行時の不一致率が最大 21% に達することが明らかになった。

関連研究

従来、LLM のベンチマーク評価は標準化されたプロンプトと API を用いた静的な測定が主流であった。モデルのバイアスや安全性を測定するベンチマークとして BBQ や SafetyBench が広く使われているが、これらは実運用環境における Web 検索の併用や、チャット UI という人間が日常的に触れるインターフェース上の特性を十分に考慮していなかった。本研究は、同一モデルファミリー内であってもアクセス経路や外部ツール連携が評価結果を大きく変えうる点に着目し、従来手法の盲点を突くものである。

新規性と貢献

本研究の主要な貢献は、単一の API ベースの評価手法が持つ限界を実証的に示した点にある。具体的には、以下の 4 つの軸でモデルの挙動変化を定量化した。

1. モダリティ間の差異（チャット UI vs API）
2. 検索条件の有無（Web 検索有効 vs 無効）
3. 複数回実行時の応答の一貫性
4. 引用の根拠づけと回答拒否（abstention）挙動のばらつき これにより、安全性のベンチマーク評価において複数の運用条件を網羅する必要性を提起している。

提案手法の詳細

本研究では新規のアルゴリズムではなく、厳密な監査デザインを提案している。BBQ と SafetyBench から合計 401 プロンプトを層化抽出し、プロンプトごとに 3 回の繰り返し実行を実施した。チャット UI と API の双方について、Web 検索を有効にした条件と無効にした条件の組み合わせで網羅的にデータを収集した。これにより、単一の実行結果や特定の API 経由の数値だけでは見落とされがちな、確率的挙動やインターフェース起因のブレを浮き彫りにしている。

評価・考察

実験の結果、検索無効時においてチャット UI の応答は API の応答よりも両ベンチマークで精度が低いことが判明した。さらに、Web 検索を有効にすると精度が最大で 8 パーセントポイント低下し、あるベンチマークではモダリティ間の優劣のトレンドが逆転する現象も確認された。また、同一プロンプトを繰り返し実行した際の不一致率は最大 21% に及び、モダリティ間で回答の根拠となる引用先や回答拒否の判断基準も異なることが示された。

応用例と今後の展望

本研究の知見は、金融や医療、法務など高い安全性と再現性が求められる分野で LLM を組み込んだアプリケーションを開発する国内のテックリードや AI エンジニアにとって重要な示唆を与える。特に、API のベンチマークテストで高得点を記録したモデルであっても、エンドユーザーがチャット UI 経由で利用する際や Web 検索と連携する際には、予期せぬ精度の低下や出力の揺らぎが発生するリスクを考慮したシステム設計が必要となる。今後は、実運用環境の多様な条件を標準化したより頑健な安全性評価フレームワークの確立が望まれる。

結論

LLM の安全性や性能の評価において、API を用いた単一の正解率測定だけでは不十分であることが示された。モダリティ、複数回実行の一貫性、検索条件、応答レベルの挙動を体系的に加味した評価を行わなければ、実運用環境における実際の挙動を正確に反映することはできない。

注釈

• モダリティ: ここではモデルへのアクセス経路（API とチャット UI）の違いを指す。
• BBQ / SafetyBench: LLM のバイアスや安全性を測定するために広く利用されている代表的なベンチマーク。