LLM-as-a-Judgeの判定ロジックをプログラムに蒸留するPAJAMA──コストを削除し13Bモデルと同等の精度を達成

論文概要

LLM-as-a-Judgeによる自動評価は、高コスト・高遅延・不透明な意思決定という課題を抱えている。本論文では、LLMの評価時プロンプティングに依存せず、その判定ロジックをプログラムの委員会へ蒸留する「プログラム蒸留（Program Distillation）」という効率的な代替アプローチを提案する。提案システムであるPAJAMAは、プログラム的判定judgeを合成し、それらの判断を集約するとともに、低信頼度ケースを選択的にLLMへエスカレーションするフォールバック機構を備える。5つのデータセットと4つのモデルファミリーを用いた実験により、13Bサイズ相当のLLM-as-a-Judgeと競合する性能を達成しつつ、APIコストを大幅に削減できることを実証している。

関連研究

LLMの出力評価において、GPT-4などの強力なプロプライエタリモデルを用いたLLM-as-a-Judgeが標準となっているが、サンプルごとのAPIコストやブラックボックス性が実用上のボトルネックとなっていた。従来の手法は判定の高速化やコスト削減のために小型モデルの微調整（Fine-tuning）に頼ることが多かったが、本研究ではプログラムコードによる明示的な判定ロジックの合成という別のアプローチを採用している。

新規性と貢献

本研究の主要な貢献は以下の通りである。第一に、LLMの判定ロジックをプログラム（コード）へ蒸留するという新しい評価パラダイムの提示。第二に、合成されたプログラムの委員会による総合判定と、不確実性に応じたLLMへのフォールバックを組み合わせたシステム「PAJAMA」の構築。第三に、RewardBenchにおいて、プログラムの判定から蒸留された報酬モデルが、プロプライエタリLLMのラベルで訓練されたモデルと同等以上の性能を、2桁（two orders of magnitude）低いAPIコストで実現できる点を示す。

提案手法の詳細

PAJAMAは、評価タスクの判定ルールをプログラム（Python関数など）の形式で合成し、複数のプログラムによる委員会を構成する。評価時には、これらのプログラムが直接候補をスコアリングすることで、推論時のAPIコールを不要にする。また、プログラムの出力が不確実なケースに対しては、LLMへ選択的に処理をルーティングするフォールバック機構を導入し、透明性と信頼性を担保している。

評価・考察

5つの選好データセットと4つのモデルファミリーを用いた評価において、プログラム的判定 judgeは13Bサイズモデルの性能に匹敵することを確認した。また、プログラム出力をルーティングシグナルとして活用することで、精度とスループットの両方を改善し、パレートフロンティアを前進させている。

応用例と今後の展望

本手法は、大規模なLLM開発における評価パイプラインや、自動評価（CI/CD）のコスト削減に直結する。国内のLLM開発ベンダーやAI受託開発企業において、日次や週次で行われる数千件規模のベンチマーク評価やRLHF（人間フィードバックによる強化学習）の報酬モデル構築コストを、2桁削減するための実務的な選択肢となる。今後の課題としては、より複雑な推論タスクや創造的な文章評価へのプログラム的アプローチの拡張が挙げられる。

結論

プログラム蒸留を用いたPAJAMAは、LLM-as-a-Judgeの抱えるコストと遅延の課題を効果的に解消する。透明性と効率性を両立したプログラム的評価は、今後のスケーラブルなAI評価の有力な基盤となる。

注釈

• LLM-as-a-Judge: 大規模言語モデルを評価者として用いて、別のモデルの出力を採点・評価する手法。
• RewardBench: LLMの選好学習（Reward Model）の性能を測定するための標準的なベンチマーク。