LLaMA 3をRAG向けリランカーへ転用する手法──従来比で精度最大21%向上

論文概要

本研究は、RAG（検索拡張生成）パイプラインにおいてリランキング（再順位付け）を担うCross-Encoderの計算コスト問題を解決するため、LLaMA 3 (8B) を効率的なリランカーへと転用する手法を提案した。UnslothフレームワークとLoRAによる学習、および4-bit量子化を組み合わせることで、従来のCross-Encoderを超える精度と推論効率の両立を実現している。

Figure 1: クロスエンコーダーのアーキテクチャ。クエリと文書を連結してエンコーダで符号化し、[CLS]表現を関連度スコアへ射影する。

新規性と貢献

本研究の主な貢献は、汎用的なLLMであるLLaMA 3を、特定のドメイン知識を保持したリランカーとして再構成した点にある。単なるモデルの置き換えではなく、LoRAによる効率的な適応と4-bit量子化による推論高速化を組み合わせたパイプラインを確立したことが、実用面での大きな貢献である。

提案手法の詳細

提案手法は以下の2段階で構成される。

教師あり微調整（SFT）: Unslothフレームワークを活用し、カスタムのクエリ・文書関連性データセットを用いてLoRAアダプターを学習させる。これにより、モデルのパラメータをフル更新することなく、リランキングタスクへの特化を実現した。
4-bit量子化: 推論時のメモリ消費を抑えるため、量子化を適用。これにより、従来Cross-Encoderが抱えていた計算リソースの制約を大幅に緩和している。

Figure 2: クロスエンコーダーをリランカーとして用いる従来型RAGパイプラインの構成。検索した文書をクエリと対で関連度採点してから生成モデルへ渡す。

評価・考察

RAGASフレームワークを用いたベンチマーク評価において、提案手法は従来のCross-Encoderベースラインと比較して以下の精度向上を達成した。

指標	向上幅
回答関連性 (Answer Relevancy)	14%
文脈精度 (Context Precision)	16%
回答類似度 (Answer Similarity)	19%
回答正確性 (Answer Correctness)	21%

この結果は、LLMの推論能力をリランキングという特定のタスクに絞り込むことで、従来の専用モデルを上回る性能を引き出せることを示唆している。

Figure 3: fine-tuningしたLLaMA 3リランカーがクロスエンコーダーを置き換えた提案RAGパイプライン（BM25と密検索の二重検索構成）。

応用例と今後の展望

本手法は、特に大規模な社内文書を扱うRAGシステムを運用する日本のテック企業や金融機関において、検索精度の向上と推論コストの抑制を同時に達成する現実的な選択肢となる。今後は、より多様なドメインでの汎用性検証が課題となる。

結論

LLaMA 3をベースとしたリランカーは、従来のCross-Encoderが抱える計算コストの課題を克服しつつ、RAGの回答品質を大幅に向上させる有効な手法である。

注釈

Cross-Encoder: クエリと文書を同時にモデルへ入力し、関連性を直接スコアリングする手法。精度は高いが計算コストが大きい。
RAGAS: RAGパイプラインの性能を評価するためのフレームワーク。