LLM は自己の不確実性シグナルだけでハルシネーション時の棄権を学習できるか──ラベル不要の手法で教師ありと同等の精度を実証

論文概要

LLM が不確実な事実に対して誤った回答を出力するハルシネーションを防ぐため、正解ラベルを必要としない新しいアプローチが提案された。モデル自身の出力確率（確信度）の低下をシグナルとして活用し、LoRA を用いたファインチューニングによって「不確実な場合は回答を控える（棄権する）」挙動を学習させる手法である。短文形式の事実性質問応答タスクにおいて、本手法はラベル付きデータセットを用いた従来の棄権チューニングと同等の性能を維持できることが示されている。

関連研究

従来、LLM に誤答を避けさせる（棄権させる）ためのアプローチとしては、正解・不正解を明示したラベル付きデータセットを用いた教師ありファインチューニングが主流であった。しかし、これらの手法は高品質なラベル付きデータの収集コストが高いという課題が存在した。本研究は、追加の正解ラベルを一切使わず、モデル内部の自己確信度のみを利用する点で既存のコスト課題を根本から回避する。

新規性と貢献

本研究の最大の新規性は、モデルが内生的に持つ確率的変動（自己の不確実性）をシグナルとして、外部の正解ラベルなしで「いつ棄権すべきか」を最適化できる点にある。6つのオープンウェイトモデル（1Bから8Bパラメータ、2つのモデルファミリー）を用いた実験により、ラベルフリーの学習レシピがラベル付きの教師あり棄権チューニングと比較して、統計的に有意な性能差を生じさせないことを実証した。

提案手法の詳細

提案手法では、凍結されたモデルの自信度が高い場合は回答し、低い場合には「わからない」と応答するように LoRA を用いてモデルを微調整する。このプロセスにおいて、回答の正誤を示すラベルは一切使用されない。コントロール実験として、棄権の代わりに困難なサンプルを用いて追加訓練を行う手法も検証されたが、こちらは性能向上に寄与しなかった。この結果は、性能向上が丸暗記ではなくキャリブレーション（確率の校正）の改善に由来していることを強く裏付けている。ただし、モデルが「自信を持って誤った事実を出力するケース」に対しては、このシグナルが検知しきれないという盲点も確認されている。

評価・考察

評価には短文形式の事実性質問応答テストセット（725項目のテストセットなど）が用いられ、正誤の判定は独立したジャッジモデルによって厳密に裁定された。実験の結果、一致した網羅率（coverage）の条件下において、ラベルフリー手法による棄権チューニングと、ラベル付きデータを用いた教師あり棄権チューニングの間には、統計的に検出可能な差は存在しないことが確認された。

応用例と今後の展望

本手法は、コストやアノテーションの手間をかけずに LLM の信頼性を高める実用的な手段を提供する。日本の金融・カスタマーサポートなどの対話型 AI 開発や、医学・法務分野における高精度な検索拡張生成（RAG）システムの実装において、誤答リスクを低減するためのコスト効率に優れたファインチューニング手法としての応用が期待される。今後は、自信を持った誤答（過剰確信）をいかに検知・抑制するかが重要な課題となる。

結論

本研究は、モデル自身の内部シグナル（自己の不確実性）を活用することで、ラベル付きデータセットを必要とせずにハルシネーションを効果的に抑制できることを示した。ラベルフリーな棄権チューニングは、LLM の信頼性向上におけるコスト効率の良い選択肢となり得る。

注釈

• ハルシネーション: LLM が事実とは異なる情報をあたかも正しいかのように生成する現象。
• LoRA (Low-Rank Adaptation): 大規模言語モデルのパラメータの一部のみを効率的に更新する軽量なファインチューニング手法。