SLPO：潜在推論に強化学習を導入しテスト時スケーリングを実現する手法

論文概要

本論文では、自己回帰的な潜在推論（Latent Reasoning）モデルに対し、強化学習（RL）を適用してテスト時の計算スケーリングを可能にする手法「Surrogate Latent Policy Optimization (SLPO)」を提案している。従来のChain-of-Thought（CoT）は推論ステップごとにトークンを生成するため計算コストが高いが、潜在推論は連続ベクトルで計算を行うため効率的である。SLPOは、潜在遷移に対する代理ポリシー密度を導入することで、報酬の割り当てと適応的な停止判断を可能にした。

関連研究

推論能力の強化には、検証可能な報酬を用いたRLによるテスト時スケーリングが一般的である。しかし、これは各ステップを言語トークンとしてデコードする必要があり、計算コストが課題となっていた。本研究は、潜在空間での推論が既にCoTと同等以上の性能を持つことに着目し、潜在推論モデルにおけるRLの適用を試みている。

新規性と貢献

主な貢献は以下の通りである。

1. 潜在推論における報酬割り当ての困難さを解決するため、代理ポリシー密度を導入した。
2. 精度を監視する停止判断ヘッドを導入し、固定された思考予算内での動的な計算配分を実現した。
3. 連続的およびソフトな思考設定において、Pass@kの向上を実証した。

提案手法の詳細

SLPOは、潜在空間での推論プロセスを最適化するために以下の2つの要素を導入している。

1. 代理ポリシー（Surrogate Policy）: 潜在遷移に対する軌跡レベルのクレジット割り当てを行う。これにより、各ステップの尤度が不明な潜在空間でもRLによる最適化を可能にする。
2. 停止判断ヘッド（Stopping Head）: 正解に基づいた教師あり学習を経て、報酬最適化により可変ホライゾンのポリシーへと洗練される。これにより、難易度の高い問題にはより長い計算リソースを動的に割り当てる。

評価・考察

実験では、RLOOおよびGRPOと組み合わせた評価が行われた。結果として、ベースラインと比較してPass@kが向上しており、特に難易度の高い問題に対して適切な計算リソースの配分が行われていることが確認された。

応用例と今後の展望

本手法は、推論コストを抑えつつ高い推論精度が求められるエッジデバイスや大規模な推論API環境において、計算リソースの効率的な運用を可能にする。日本のエンジニアにとっては、推論コストがボトルネックとなっている金融文書解析や複雑なシステム設計支援などの業務において、計算リソースを最適化しつつ推論性能を向上させるための有力なアプローチとなる。

結論

SLPOは、潜在推論モデルにRLを導入することで、テスト時の計算スケーリングを可能にする手法である。代理ポリシーと適応的停止ヘッドにより、効率的な計算リソースの配分と推論精度の向上を両立させた。

注釈

• Latent Reasoning: 言語トークンではなく、連続的なベクトル表現を用いて推論を行う手法。
• Pass@k: k個のサンプルを生成した際に、少なくとも1つが正解である確率。