LLM エージェント評価における過剰評価を抑制する報酬フリーの評価基準誘導手法 RubricForge

論文概要

大規模言語モデル（LLM）を用いたエージェントシステムの評価において、環境報酬の取得が困難または高コストであるため、2つ目の LLM を自動ジャッジとして利用するアプローチが広く採用されている。しかし、既存の手法（G-Eval など）では手動による評価基準の記述や重みのファインチューニングが行われており、流暢ではあるものの実際には失敗している軌跡を誤って成功と判定する過剰評価（false-pass）が課題となっていた。本論文では、少数の正解ラベル付き軌跡からエージェント評価用のテキストベースの基準を誘導する手法「RubricForge」を提案している。

関連研究

従来のエージェント評価では、G-Eval のように人間が手書きで評価基準を作成するか、ジャッジモデル自体の重みを直接チューニングする手法が主流であった。しかし、これらのアプローチは流暢な出力に惑わされ、失敗した軌跡を高得点にしてしまう傾向があった。本研究では、評価基準のテキスト自体を進化させることで、重みの変更なしに信頼性の高い判定を実現する点で先行研究と異なる。

新規性と貢献

本研究の主要な貢献は、評価基準を人間が読めるテキストとして動的に進化させ、報酬フリーの環境下で過剰評価率を大幅に削減した点にある。環境報酬へのアクセスを必要とせず、1回のモデルコールで検証を完了できるため、実運用におけるコスト効率と解釈性が向上する。

提案手法の詳細

RubricForge は、正解ラベル付きの軌跡セットに対して反射的進化（reflective evolution）を行い、環境報酬との合致度を最大化するジャッジ用のルーブリック（評価基準）を自動誘導する。生成された基準はテキストとして固定（freeze）され、デプロイ時には環境へのアクセスなしで、一回のモデルコールにより未知の軌跡に対して適用される。最適化された成果物は人間が読めるテキストであるため、すべての判定結果が明確な名称付きの基準に紐づく仕組みとなっている。

評価・考察

7B パラメータのモデルをエージェントとジャッジの両方に使用し、tau-bench（173のラベル付き軌跡）および WebShop（160）で評価を実施した。G-Eval と比較して全体の合致度における優位性は統計的に有意ではないが、偽陽性（false-pass）の発生率において優れた特性を示した。tau-bench における false-pass 率は、従来の 0.173 から 0.115 へとおよそ半減（3件の過剰評価捕捉、0件の逆転）した。また、WebShop におけるランキング性能では、Spearman 順位相関が従来の 0.370 から 0.410 へ向上している。

応用例と今後の展望

実務インフラや Web アプリケーション等の自動テスト環境において、開発企業がエージェントの品質保証を自動化する際の信頼性向上に寄与する。特に、カスタマーサポートや EC 向けタスク自動化システムの研究開発分野において、誤って破綻したエージェントをデプロイしてしまうリスクを低減できる。今後の課題として、より多様な環境や大規模なエージェント軌跡に対するスケーラビリティの検証が挙げられる。

結論

RubricForge は、LLM エージェント評価における偽陽性（過剰評価）を効果的に抑制する報酬フリーの評価基準誘導手法である。少数のラベル付きデータから解釈可能な基準を生成し、デプロイ時の信頼性を高める実用的なアプローチを提示している。

注釈

• G-Eval: プロンプトベースの評価手法の一つ。
• false-pass: 失敗したエージェントの軌跡を誤って成功と判定すること。