Google Research、LLM の知識プロファイリングフレームワークを公開──フロンティアモデルの事実誤認の主因は記憶漏れではなく想起失敗
Gemini 3 や GPT-5 などのフロンティアモデルでは 95〜98% の知識がエンコードされているものの、26〜34% で直接想起に失敗していることを WikiProfile ベンチマークで実証した。
リリース: 2026-07-15 · 読了 4 分記事の要約
1. 核心（What）
- Google Research は、LLM の事実性（Factuality）における知識のエンコードと想起を分離して評価する行動フレームワーク「knowledge profiling」を発表した。
- Wikipedia 由来の 2,150 匹の事実と各 10 タスクからなる評価ベンチマーク「WikiProfile」を構築し、13 個の LLM に対する約 450 万件の応答データを分析した。
- Gemini-3-Pro や GPT-5 などのフロンティアモデルでは、事実のエンコード率が 95〜98% に達している一方、直接想起の失敗率は 26〜34% に及ぶことが判明した。
- 思考プロセス（thinking）を挟むことで、エンコードされているが直接想起できなかった知識の 40〜65% を回復できることを示した。
2. 影響（Why）
- モデル規模の拡大によるハルシネーション対策の限界: 知識の獲得（エンコード）はすでに頭打ちに近づいており、今後のファクト・チェック精度向上にはモデル規模の単純な拡大ではなく、記憶を引き出す推論時機構の最適化が必須となる。
- 国内エンタープライズ RAG の設計思想への影響: 社内ドキュメントを大量に投入する従来の RAG アーキテクチャを運用する国内 SIer や事業会社は、モデル自体の記憶力に頼るアプローチから、推論時最適化（thinking-optimized）を前提としたプロンプト・推論基盤の設計へシフトする必要がある。
3. 根拠・詳細（How）
- WikiProfile ベンチマークの自動構築パイプライン: Gemini-2.5-Pro with thinking を活用した自動化プロンプトにより Wikipedia から主客のペアとなる事実を抽出し、検索エンジンを用いたフィルタリングを経て 2,150 件の検証済みデータセットを作成した。
- 5 つの知識プロファイル分類と 450 万件の評価: 各モデル、事実、タスクごとに 8 件の応答をサンプリングし、エンコード失敗や直接想起、思考を伴う想起など 5 つのプロファイルに分類して自動グレーディングを実施した。
4. 展望・課題（Next）
- 推論コストと発動タイミングの最適化: 思考プロセスによる想起の回復には相応の計算コストがかかるため、モデルがいつ明示的に thinking を呼び出すべきかを動的に判断する手法の確立が次の課題となる。