LLM のシステマティックレビュー選別精度を高める補助的不確実性信号の評価手法

論文概要

大規模言語モデル (LLM) を用いたシステマティックレビューのタイトル・抄録スクリーニングにおいて、モデルの決定に較正された不確実性が欠如しているという課題に対し、本論文は補助的な BERT+GCN 分類器を用いて構造化された不確実性信号を供給する手法を提案している。Cohen（2006）の 8 つの医薬品クラスデータセットを用い、3 つのシードによる 5 分割層化交差検証（合計 600 のフォールドレベルの結果）で評価を行った。

関連研究

先行研究では LLM 単体を用いたスクリーニング効率の検証が中心であったが、決定に対する信頼度や不確実性の定量的な統合に関する検討は不十分であった。本研究は、外部の構造化された不確実性シグナルをプロンプトに組み込むことで、LLM の判断精度を補完するアプローチを取る。

新規性と貢献

主要な貢献は 3 点ある。(i) フルコンテキストの配信により F1 値が +0.011（paired Wilcoxon p=0.008）、WSS@95 が +0.050（p=0.039）と有意に向上し、リコールを維持しつつコストプレミアムが 1.28 倍に抑えられること。(ii) MAYBE のみへのルーティングがパレート最適であり、ベースラインコストのわずか 1.05 倍（フルコンテキストの約 6 分の 1）で最高平均リコール（0.92）と AUC-ROC（0.54）を達成すること。(iii) 2 パス設計では 22.2% ± 8.8% のレコードがエスカレーションされるものの決定が一度も修正されず、現在の指示チューニング済み LLM が自己トリアージを行えないことを示した点である。

提案手法の詳細

BERT+GCN モデルはフォールドごとに学習され、各テスト論文を代数的一般根（algebraic radical）とカテゴリカルパラドックス（categorical paradox）の 2 つのスペクトルテストを介して INCLUDE、EXCLUDE、MAYBE のいずれかに分類する。プロンプト配信条件は情報コンテンツ（なし／ラベル／フルスコア）、選択性（全論文 vs. MAYBE のみ）、タイミング（プロアクティブ vs. リアクティブな 2 パス）によって変化させる。2 万 796 件の観測に基づくアブレーションにより、デュアルパラドックステストは 1 行のロジットギャップ基準に簡約化されることが示されている。

評価・考察

8 つの Cohen ドラッグクラスデータセットを用いた検証の結果、MAYBE のみへのルーティングがコストパフォーマンスに優れることが実証された。また、クロスモデルのパイロットテストにおいて、異なる LLM 世代間で一貫して +0.8% のリコール向上が確認されており、手法の汎用性が裏付けられている。

応用例と今後の展望

医療分野における大規模な文献スクリーニングやシステマティックレビューの自動化において、トークンコストを最小限に抑えつつ精度を担保する実務的なアーキテクチャとして直接応用できる。日本の製薬企業や医学系研究機関における文献調査業務において、人間による確認が必要なレコードを的確に絞り込む基盤としての導入インパクトが見込まれる。

結論

補助的な不確実性信号を組み合わせた LLM スクリーニング手法は、コストを低く抑えたままでレビューの効率と精度を向上させることが示された。フルコンテキストおよび MAYBE ルーティングの有効性が定量的に確認された。

注釈

• BERT+GCN: テキスト理解に優れた BERT とグラフ構造データ処理に特化した GCN（Graph Convolutional Network）を組み合わせた分類モデル。
• WSS@95: システマティックレビューで一般的に使用される、リコール 95% 時の作業削減量を測る評価指標。