検証器の報酬で自己指導を較正する LLM 向け学習手法 FlowBalance──数学推論で FlowRL 比の性能向上と応答長崩壊の回避を実証

論文概要

LLM（大規模言語モデル）が自身のオンポリシーな推論体験から自己改善を行う際、終端検証器（terminal verifier）のまばらな監督信号と、自己モデルによる密な誘導の間で、誤った自信の過剰強化や特定解への過集中といった脆弱性が生じる課題が存在する。本論文では、完全な応答全体の正規化分布を学習する検証器基盤の自己改善手法「FlowBalance」を提案している。Qwen3-4B および Qwen3-8B を用いた数学的推論の実験において、FlowBalance は既存の FlowRL と比較して平均性能の向上、訓練の高速化・安定化を達成し、従来手法で見られた応答長崩壊（response-length collapse）を回避しつつ、より高い正解戦略の多様性を実証した。

関連研究

LLM の事後学習や強化学習においては、報酬モデルや検証器を用いた軌跡の最適化が広く研究されている。しかし、モデル自身が生成した軌跡を用いた自己学習では、報酬の疎さや不正確な自己評価の伝播が学習の不安定化を招きやすかった。本研究は、軌跡バランス（trajectory balance）の枠組みを導入することで、別個のトークンレベルの模倣損失を用いずに、検証器のフィードバックと自己生成されたガイダンスを厳密に統合する点で先行研究と異なる。

新規性と貢献

主要な貢献は、オンポリシー生成体験における自己ガイダンスを検証器のグループアドバンテージによって符号ゲーティング（符号化による調整）する仕組みにある。正のアドバンテージを持つ軌跡ではガイダンスを保持し、負のアドバンテージを持つ軌跡では反転させ、選好の差がない場合は無効化することで、偽陽性の自己強化を防ぐ。また、軌跡バランスを通じた結果較正により、直接的な応答長崩壊を起こすことなく、モデルの推論能力を引き上げることに成功した。

提案手法の詳細

FlowBalance は、各オンポリシー軌跡に対して、凍結された学習時ビューのポリシーが特権的コンテキストを用いてトークンごとの対数確率ゲインを算出し、それらを統合して軌跡レベルの自己ガイダンススコアを生成する仕組みを持つ。このスコアは、検証器から得られるグループアドバンテージによって較正される。

得られたエネルギーは参照ポリシーを指数関数的に重み付けし直し、ロールアウトグループごとに1つの対数分割推定値を用いて正規化されたターゲットに適合させる。これにより、別個のトークンレベル模倣損失なしに、軌跡バランスを介したアウトカム較正済みの自己ガイダンスを実現している。

評価・考察

数学的推論タスクにおいて、FlowBalance は Qwen3-4B および Qwen3-8B の双方で FlowRL を上回る平均性能を示した。

制御された AIME24 診断実験では、従来手法で見られるような応答長崩壊を引き起こすことなく、より高い正解戦略の多様性を維持していることが確認された。分析により、グループ内コントラストの保持、最小変化逆 KL ダイバージェンスの特性付け、報酬に対する単調な検証器制御、および拒否された応答に対する偽陽性自己ガイダンスに対する厳密な補正が理論的にも裏付けられている。

応用例と今後の展望

数学的推論やコード生成など、正解の検証が容易なタスクにおける LLM の自律的な事後学習プロセスへの適用が期待される。日本の金融・医療分野などにおいて独自ドメインの検証器を組み合わせた高精度な推論モデルの構築コスト削減につながる可能性があり、今後はより多様なタスクや大規模モデルへのスケーラビリティの検証が求められる。

結論

FlowBalance は、検証器のフィードバックと自己生成された軌跡に基づくガイダンスを厳密に統合することで、LLM の自律的な改善ループにおける不安定性を克服する手法である。応答長崩壊を回避しながら推論性能と戦略の多様性を高められる点において、今後の強化学習ベースのモデル調教において重要な基盤となる。

注釈

• オンポリシー（On-policy）: 現在学習中のモデル自身が生成したデータを用いて学習を行う方式。
• グループアドバンテージ（Group advantage）: 複数の生成結果（ロールアウト）の間で相対的な良し悪しを評価する指標。