LLM 推論における Evolution Strategies と GRPO の動的比較──より広い推論カバレッジで Pass@K を向上

論文概要

LLM のポストトレーニングにおいてメモリ効率の良い手法として注目される Evolution Strategies (ES) の最適化メカニズムを分析した論文。既存の Group Relative Policy Optimization (GRPO) と比較し、ES がより広い推論カバレッジを獲得し、 Pass@K を向上させる利点を持つことを理論および実証の両面から明らかにした。

関連研究

LLM の推論能力を強化するポストトレーニング手法として、GRPO などの強化学習パラダイムが広く普及している。しかし、勾配を使わない最適化手法である ES の動的挙動や強化学習パラダイムに対する優位性の範囲はこれまで十分に研究されていなかった。

新規性と貢献

本研究の主要な貢献は、ES が単なる GRPO のメモリ効率的な代替手法ではなく、異なる最適化特性を持つ独立した推論ポストトレーニングパラダイムであることを示した点にある。GRPO で問題となるエントロピー崩壊を回避し、 Pass@1 を維持しながらより高い Pass@K を達成できることを示した。

提案手法の詳細

本論文では ES の力学とメカニズムを体系的に調査した。理論面では、ES 集団全体にわたる verifier-projected Jensen-Shannon 多様性が高い Pass@K 性能に寄与することを示している。さらに、GRPO の Pass@1 における強みと ES の Pass@K における利得を結合する逐次的な GRPO-ES トレーニング戦略を開発した。

評価・考察

実証分析により、GRPO がエントロピー崩壊を引き起こすのに対し、ES は Pass@1 を向上させつつより高い Pass@K を達成することが示された。また、モデル全体のパラメータが大きく変動する一方で、タスク性能の向上にはより大きな振れ幅を持つスパースな更新サブセットのみが寄与していることを発見した。この機能的スパース性により、大きなパラメータ移動が必ずしも広範囲な機能的変化や破局的忘却（catastrophic forgetting）につながらないことを確認している。さらに、より大規模な LLM ほど ES では小さな集団サイズで十分であるというハイパーパラメータ設計の知見も得られている。

応用例と今後の展望

大規模言語モデルの推論能力を最大限に引き出すポストトレーニングへの応用が期待される。日本の AI ベンダーや金融・医療分野などでカスタム LLM の推論性能向上に取り組むテックリードや研究者にとって、GRPO 単体に依存しない新しい学習パラダイム（GRPO-ES 逐次学習戦略）の導入検討という具体的な実務インパクトを持つ。

結論

本研究は、Evolution Strategies が LLM 推論のポストトレーニングにおいて GRPO よりも広い推論カバレッジを提供し、 Pass@K 性能を効果的に高めることを示した。ES を単なるメモリ効率化の代替案ではなく、独自の強みを持つ有力なパラダイムとして位置づけている。

注釈

• Evolution Strategies (ES): 勾配情報を必要とせず、母集団の変異と評価に基づいてパラメータを最適化するメタヒューリスティクス最適化手法の一種。
• Group Relative Policy Optimization (GRPO): グループ内の出力比較に基づいて方策を最適化する、LLM の強化学習で用いられる手法。