Apple、LLM の確率的信念更新の不整合を評価する手法を発表──Bayes 更新からの逸脱を定量化
LLM が証拠から確率的信念を更新する際の情報処理のギャップを測定し、非 Bayes 的ヒューリスティックが下流タスクで優位になる現象を解明した。
リリース: 2024-10-23 · 読了 3 分記事の要約
1. 核心（What）
- Apple の研究チームが、LLM の情報処理ルールとしての挙動と Bayes 更新からの逸脱（information processing gap）を測定する手法を導入した。
- 証拠の取り込み方に関する複数のアプローチを実験し、一部のモデルはほぼ Bayes 更新を行う一方、他のモデルは学習済みヒューリスティックに依存することを示した。
- 非 Bayes 的ヒューリスティックを用いた更新が、下流タスクの性能面で厳密な Bayes 更新を上回る場合があるという逆説的な結果を報告した。
2. 影響（Why）
- 確率的信念の歪みの解明: 厳密に正しいはずの Bayes 更新よりもヒューリスティックが勝る事実は、LLM の世界モデル自体が歪んでいることを示し、不確実性モデリングの限界を定義する。
- 推論システムの診断基準: 提案された測定手法は、LLM を用いた推論システムにおけるリスクを特定するための実用的な診断ツールとして機能する。
3. 根拠・詳細（How）
- 情報処理ギャップの測定モデル: LLM が新しい証拠を受け取った際の確率的信念の更新を Bayes 更新と比較し、その偏差を数理的に定量化するフレームワークを構築した。
4. 展望・課題（Next）
- モデルの信念補正の検証: 今後は誤って指定された確率モデルを持つ LLM に対し、外部から一貫した信念更新を促すファインチューニング手法の有効性を検証する予定である。