LLM の学習を安定化する Best Practice Critic Optimization (BPCO)──グループサンプリング不要で同等以上の性能を実証

論文概要

大規模言語モデル (LLM) の強化学習において、GRPO などのグループベース手法は複数の応答をサンプリングすることでクリティックの訓練を回避するアプローチをとる。しかし、信頼性の高いクリティックを用いることで単一の応答からトークンレベルのアドバンテージを推定できれば効率的である。本論文では、クリティックベース学習における不安定性の原因を調査し、DPPO、報酬範囲に制限した値予測、モンテカルロ値ターゲット、非正規化方策アドバンテージ、長さに適応した一般化アドバンテージ推定 (GAE) を組み合わせた新しい学習レシピ「Best Practice Critic Optimization (BPCO)」を提案する。

新規性と貢献

BPCO は、クリティックを学習時のみ使用するという制約を活かし、ポリシー側からは隠された参照解答や採点ルーブリックといった報酬定義情報をクリティックに入力できる点が大きな新規性である。1.5B パラメータから 30B-A3B の Mixture of Experts (MoE) モデルに至るまでの数学的推論タスクにおいて、強力なクリティックベースラインを一貫して上回り、プロンプトあたり 1 つの応答サンプリングでありながらグループベースのベースラインと同等以上の性能を達成している。

提案手法の詳細

BPCO の核心は、単一応答からの学習を安定させるための複数の設計要素の統合にある。具体的には、DPPO をベースとしつつ、値予測を報酬の範囲内に制限すること、モンテカルロ値ターゲットの利用、非正規化方策アドバンテージ、および長さに適応した GAE を組み込んでいる。これにより、クリティックが持つ不安定な勾配推定を抑制し、安定した値関数の学習を可能にしている。

評価・考察

1.5B から 30B-A3B 規模の MoE モデルを含む数学的推論タスクでの制御実験により、BPCO の各設計選択の効果が個別に検証されている。その結果、従来のクリティックベースラインを大きく上回る安定性と精度を示し、複数の応答をサンプリングするグループベース手法と同等以上の成果を 1 つの応答のみで実現できることが実証された。また、ルーブリックベースの報酬を用いた学習でも有効性が確認されている。

応用例と今後の展望

数学的推論などの複雑なタスクにおける LLM の強化学習において、計算リソースを削減しつつ高精度なモデルを構築する実務上のアプローチとして活用できる。特に国内の金融・教育分野における数理・論理的文書の自動生成や検証システムにおいて、推論コストを抑えた強化学習パイプラインの実装を検討する際の有力な選択肢となる。今後は、より多様なタスクや大規模モデルへのスケーラビリティ検証が期待される。

結論

本研究は、慎重に設計されたクリティックを用いることで、グループ相対アドバンテージ推定に代わる信頼性の高い代替手段を提供できることを示した。BPCO は、単一応答サンプリングによる効率的な学習と高い性能の両立を実現する。

注釈

GRPO: Group Relative Policy Optimization の略。複数応答の比較から報酬を計算する強化学習手法。
MoE: Mixture of Experts の略。複数のエキスパートモデルをルーターで切り替えて処理を行うアーキテクチャ。