評価基準に基づく強化学習のトークン単位クレジット配分手法 CoRT──既存手法比 4.4pt 向上を達成

論文概要

大規模言語モデルの報酬学習において、評価基準（Rubric）に基づく指示追従の最適化手法である GRPO では、構造化された報酬が応答全体の単一のスカラー値へと集約され、すべてのトークンに対して一律に割り当てられている。本研究では、この課題に対処するため、補助的なトークン採点モデルを導入することなく、反実仮想リプレイ（Counterfactual Replay）を利用してトークン単位のクレジット配分を行う新手法「CoRT」を提案する。インストラクション調整モデルを用いた実験により、CoRT は既存の応答単位 GRPO と比較して平均 4.4 パーセントポイントの精度向上を達成し、学習の安定性とシンプルさを維持しつつ有効性を示した。

関連研究

従来の手法では、報酬モデルや評価基準からのフィードバックを応答全体のスカラー報酬として扱っていた。そのため、出力された文章内のどの部分が評価基準に貢献したかを明示的に割り当てるメカニズムが欠けており、学習効率の限界やクレジットアサインメントの曖昧さが指摘されていた。トークン単位でのクレジット配分を行う別のアプローチも存在するが、これらは別個のレレバンス学習ステージや補助的なスコアリングモデルを必要とする複雑さを伴う課題があった。

新規性と貢献

CoRT の最大の新規性は、追加の補助モデルを用いることなく、モデル内部のポリシーにおける反実仮想尤度のコントラストをクレジットの重みとして直接活用する点にある。これにより、学習パイプラインを複雑化させることなく、応答内の特定のトークンスパンやフォーマット決定に対するフィードバックの解像度を向上させることに成功した。学術的・実用的な貢献として、GRPO のシンプルさと学習の安定性を損なわずに、よりきめ細やかなトークン単位の最適化が可能であることを実証した点が挙げられる。

提案手法の詳細

CoRT は、同一のサンプリングされた応答を、元の評価基準付きプロンプトと、基準を含まない一致させたプロンプト（criteria-free prompt）の双方で再スコアリングする。この処理により得られるトークンごとの対数尤度（log-likelihood）のコントラストを、評価基準への依存度を示すプロキシとして利用する。さらに、CoRT はこれらのコントラストを境界付きの応答正規化済みウェイトに変換し、符号付きの GRPO アドバンテージを各トークンに再分配する。これにより、追加のスコアラー訓練を行うことなく、効率的なクレジット配分を実現している。

評価・考察

複数のインストラクション調整モデルと多様な報酬の粒度を用いた実験において、CoRT は従来の応答単位 GRPO との比較で大半のケースにおいて優位性を示し、平均で 4.4 パーセントポイントの性能向上を記録した。また、学習されたトークン単位のクレジットベースライン手法と比較しても同等の競争力を維持しており、別途の関連性学習ステージを回避しながら高い効果を発揮できることが確認された。

応用例と今後の展望

実務インパクトとして、金融文書解析や法律文書の自動生成など、厳格な評価基準（Rubric）に基づく高品質な出力制御が求められる領域において、LLM のアライメントコストを低減できる可能性がある。国内の AI 開発企業や研究組織において、数千〜数万規模のパラメータを持つインストラクション調整パイプラインへの統合が容易であり、追加モデルの維持コストを抑えた強化学習の高度化に寄与する。今後の課題としては、より多様なタスクドメインや複雑なマルチターン対話におけるスケーラビリティの検証が必要となる。

結論

本研究で提案された CoRT は、反実仮想リプレイによる尤度コントラストを活用することで、補助モデルを必要とせずにトークン単位のクレジット配分を可能にする。GRPO の安定性を保持したまま明確な性能向上を実現しており、今後の報酬学習における有効な選択肢を提供する。

注釈

• GRPO: Group Relative Policy Optimization。報酬のグループ相対比較を用いて効率的な強化学習を行う手法。
• 反実仮想リプレイ (Counterfactual Replay): 「もし異なる条件（今回の場合は評価基準の有無）であったならば」という仮定のもとでモデルの出力を再評価する手法。