報酬不要の自己進化エージェントを実現するペアワイズバリデーター手法

論文概要

自己進化型エージェント（Self-evolving agentic loop）において、エージェントのプロンプトやプログラムを改善する際に必要となる「報酬設計」のコストを排除する手法を提案。スカラー値による評価の代わりに、凍結済みLLMを用いたペアワイズ（対比較）バリデーターを導入することで、ラベル付けや報酬関数の厳密なキャリブレーションを不要にした。

関連研究

既存の自己進化フレームワーク（GEPA, ADRS, ShinkaEvolve等）は、反復ごとの品質シグナルとしてスカラー報酬に依存している。これらはドメイン知識に基づいたラベル付きデータセットを必要とし、エージェントのタスク構築と同等かそれ以上のコストを要することが課題であった。

新規性と貢献

本研究の主な貢献は、報酬設計のコストを「ペアワイズ比較」に置き換えた点にある。絶対的なスコア付けよりも相対的な比較の方がLLMにとって安定しやすく、学習不要のバリデーターとして機能する。また、既存の進化エンジンに対してドロップインで組み込み可能であり、多くの設定でフル報酬ベースラインと同等以上の精度を維持した。

提案手法の詳細

提案手法は、親エージェントと子候補（tweaked version）をLLMに入力し、どちらが優れているかを判定させる。以下の2つのフレーバーを実装した。

• Adaptive Focus: 既存の検証セットを用いた親選択を維持しつつ、ゲート判定にのみバリデーターを使用。
• Soft Elo: バリデーターの判定結果を親選択にも反映させ、検証セットの報酬を完全に不要化。

ペアワイズ判定は、スカラー値のキャリブレーション問題を回避できるため、タスクの性質が変化しても安定した評価が可能となる。

評価・考察

複数のエージェントタスクおよびプロンプト・コードの2種類のアーティファクト基盤で評価を実施。大部分の設定において、ラベルコストを要するフル報酬ベースラインと同等以上の性能を確認した。

また、バリデーターを異なるモデルファミリーに交換しても性能が維持されることを確認しており、特定のモデルへの過学習ではなく、相対比較という手法自体の有効性が示唆されている。

応用例と今後の展望

本手法は、報酬設計が困難な複雑なタスク（例：特定の業界向けドキュメント作成支援や、高度なコード生成エージェント）において、開発コストを大幅に削減できる可能性がある。日本のエンジニアや研究者にとって、特に少数の専門家がアノテーションを行う必要があるドメインにおいて、既存の進化エンジンを低コストで運用するための有力な選択肢となる。

結論

ペアワイズバリデーターは、自己進化エージェントにおける報酬設計のボトルネックを解消する有効な代替手段である。ラベルコストを削減しつつ、高いタスク精度を維持できることが実証された。

注釈

• Self-evolving agentic loop: エージェント自身が自身のプロンプトやプログラムを反復的に改善する仕組み。
• Pairwise validator: 2つの候補を比較し、どちらが優れているかを判定する仕組み。絶対評価よりも判断が容易とされる。
• GEPA, ADRS, ShinkaEvolve: 既存の自己進化型エージェントフレームワークの名称。