強化学習と教師あり微調整の内部表現差を解明──数学推論タスクにおけるレイヤー構造と線形分離性を分析

論文概要

大規模推論モデルにおいて、強化学習（RL）によって訓練されたモデルが教師あり微調整（SFT）モデルと比較して数学推論タスクで優れた性能を発揮することは知られているものの、その内部メカニズムの差は未解明であった。本研究では、RLモデルとSFTモデルの内部表現における差異を2つのアプローチで分析し、RL訓練がモデルの表現と処理構造を根本的に再構築することを明らかにしている。具体的には、レイヤーごとの隠れ状態に対する線形プロービングおよび平均アブレーション実験を実施し、両モデルの内部構造の違いを突き止めている。

関連研究

LLMの推論能力向上において、SFTとRL（PPOやDPOなど）の比較や、モデル内部のメカニステック・インプレプリタビリティ（解釈可能性）に関する研究が多数行われている。しかし、推論性能の差がモデル内部のどの表現構造に起因するのかを直接比較した研究は限られていた。本論文は、RLとSFTの最適化プロセスの違いが内部表現の幾何学的特性や層ごとの依存性に与える影響を系統的に評価した点で先行研究と異なる。

新規性と貢献

本研究の主要な貢献は、RL訓練がモデル内部の表現に与える影響をメカニステックに実証した点にある。第一に、RLモデルの内部表現がSFTモデルよりも解答の正誤に対して高い線形分離性を持つことを示した。第二に、RLモデルが深層に依存する階層的アーキテクチャを形成する一方、SFTモデルは全層に均一な重要度を持つことを明らかにした。

提案手法の詳細

本研究では、モデル内部の仕組みを解明するために以下の解析手法を用いている。レイヤーごとの隠れ状態に対して線形プロービング（Linear Probing）を適用し、各層の表現から解答の正誤予測精度を測定した。これにより、表現の線形分離性と構造化の度合いを評価している。また、平均アブレーション（Mean Ablation）スタディを実施し、各層の重要度がモデル全体の予測精度に与える影響を検証することで、層ごとの役割分担の違いを分析している。

評価・考察

評価の結果、レイヤー別プロービングにおいてRLモデルはSFTモデルと比較して解答の正誤予測精度が高く、より線形分離可能で構造化された内部表現を形成していることが示された。また、平均アブレーション実験では、RLモデルは深層に向かうにつれて重要度が段階的に高まる階層的なアーキテクチャを発達させるのに対し、SFTモデルは層全体にわたって均一に重要度を分散させていることが確認された。さらに、反復サンプリングによるトークン数の変動係数（CV）の分析からは、適応的な計算量割り当て（Adaptive Compute Allocation）の挙動がRLかSFTかという手法単体ではなく、訓練パイプライン全体に依存する可能性が示唆されている。

応用例と今後の展望

本研究の知見は、LLMの推論能力を強化する際の学習アルゴリズム選択や内部構造の最適化に直接的な示唆を与える。例えば、金融工学や数理最適化など厳密な計算と推論が要求される分野において、SFTだけでなくRLを組み合わせた訓練設計が内部表現の品質向上に不可欠である理由を理論的・実証的に裏付ける。日本の金融機関や製造業における高度な数理文書・データ解析システムの研究開発において、モデルのレイヤー構造を意識したプロービングや効率的な強化学習パイプライン設計への応用が期待される。

結論

本論文は、強化学習訓練がモデルの内部表現を構造化し、深層に依存する階層的アーキテクチャを形成することで数学推論性能を高めていることを実証した。トークン割り当ての変動に関する分析も含め、今後の推論モデル設計における重要な指針を提供する。

注釈

• SFT (Supervised Fine-Tuning): 人間の指示や模範解答データを用いてモデルを直接微調整する手法。
• RL (Reinforcement Learning): 報酬シグナルを最大化するようにモデルのポリシーを最適化する強化学習手法。
• 線形分離性 (Linear Separability): データを直線や超平面で正確にクラス分類できる性質。