MLLM の幻覚を引き起こすアテンションヘッド内の情報ドリフトを特定し校正する手法 HEAL を提案

論文概要

マルチモーダル大言語モデル (MLLM) におけるハルシネーション（幻覚）の発生原因をアテンションヘッドの挙動から解明し、新たな対策手法として HEAL (Head-lEvel information disentAnglement and caLibration) を提案する論文である。従来の対策手法はアテンションウェイトなどの間接的なシグナルに依存していたが、HEAL は因果ノイズ介入とカウンターファクトショナルな差異分析 (Difference-in-Differences) を用いて、マルチヘッド出力から冗長なヘッドを排除し、情報分布のドリフトを直接補正する。POPE、CHAIR、MMEなどの複数のデータセットにおける広範な実験により、ハルシネーションの効果的な抑制を実証した。

関連研究

これまでの MLLM におけるハルシネーション軽減手法の多くは、注意機構の重みなどの間接的な指標に頼っており、ハルシネーション生成の裏にある実際の情報シフトを正確に捉えきれていなかった。本研究は、アテンションヘッド単位での情報分解と因果関係の介入に基づくアプローチをとることで、従来の限界を克服する。

新規性と貢献

最大の新規性は、「ハルシネーションはモダリティ特化型ヘッドの数や強度ではなく、シナジーヘッド内の情報分布が健全な均衡から逸脱（ドリフト）したときに発生する」という発見にある。この洞察に基づき、値ベクトルに対して動的な情報校正ファクターを注入する HEAL を構築した点が学術的および実用的な貢献である。

提案手法の詳細

HEAL は主に以下のステップで構成される。まず、マルチヘッド出力に対して因果ノイズ介入を行い、因果的に冗長なヘッドをフィルタリングする。次に、残ったヘッド内の情報分布をカウンターファクトショナルな Difference-in-Differences 手法によって 4 つのタイプに分解する。これにより特定された「シナジーヘッド」の情報ドリフトに対し、動的な情報校正ファクターを値ベクトル (value vectors) に注入し、視覚と言語の依存関係を積極的に制御して出力分布を事実の根拠へと導く。

評価・考察

POPE、CHAIR、MME といった複数の標準的な MLLM ベンチマークを用いた実験において、HEAL は既存の最先端手法と比較して効果的にハルシネーションを削減することを確認した。単なるモデルのパラメータ増強に頼らず、内部のアテンションヘッドの挙動を直接制御することで、高い解釈性と信頼性の向上を両立させている。

応用例と今後の展望

医療画像診断システムや自動運転の車載マルチモーダル AI など、誤認識やハルシネーションが重大なリスクにつながる分野において実務インパクトが大きい。日本の製造業や医療分野で MLLM を組み込んだエッジ・クラウドシステムを開発する研究者・エンジニアにとって、モデル内部の解釈性を高めつつ信頼性を確保するための実装指針となりうる。

結論

本論文では、MLLM のハルシネーションがシナジーヘッドの情報ドリフトに起因することを突き止め、情報分解と動的校正を行う HEAL 手法を提案した。複雑なモデルの挙動に対するシンプルかつ解釈可能なアプローチとして、信頼性の高い MLLM 構築に向けた重要な道筋を示している。

注釈

• MLLM (Multimodal Large Language Models): 画像や音声などの複数のモダリティを統合して処理できる大規模言語モデル。
• シナジーヘッド (Synergy Heads): 視覚と言語の情報を協調して処理するアテンションヘッドの分類の一つ。