完全教師なしオンポリシー自己蒸留手法 U-OPSD の提案──数学推論ベンチマークで既存の教師あり手法を上回る性能を実証

論文概要

大規模言語モデル（LLM）のポストトレーニングにおいて、オンポリシー自己蒸留（OPD / OPSD）は高いポテンシャルを示している。しかし、既存手法は正解ラベルや環境フィードバック、より大きなモデルからのガイダンスといった外部の教師信号に大きく依存しており、真の意味での「自己」蒸留とは言えない課題があった。本研究では、モデル自身の生成結果と内部の一貫性のみを利用する完全教師なしオンポリシー自己蒸留手法「U-OPSD（Unsupervised On-Policy Self-Distillation）」を提案する。U-OPSD は、複数のロールアウトをサンプリングし、自己一貫性閾値に基づく多数決によって疑似解を構築する。そして、モデルの分布をその疑似解に条件付け、モデルが自信を持って間違えた不一致の完了部分に対して自己蒸留を行うことで、正確な自己修正を可能にする。多様なベンチマークやベースモデル、学習設定において、U-OPSD はベースモデルを常に上回り、正解ラベルを用いた従来の教師あり手法（OPSD や GRPO など）と同等以上の性能を達成した。

関連研究

従来のオンポリシー自己蒸留（OPSD）や教師ありファインチューニング（SFT）の派生手法、あるいはGRPOなどの強化学習ベースのポストトレーニング手法は、外部のGround-Truth（GT）や大規模モデルによる選別を前提としていた。これに対して本研究は、外部情報を一切排除し、モデル内部の確率分布の一貫性のみを出発点とする点で先行研究と一線を画している。外部報酬の設計コストやアノテーションの手間を削減できる点に優位性がある。

新規性と貢献

本研究の最大の新規性は、正解データや外部報酬を一切必要としない完全教師なしのオンポリシー自己蒸留枠組みを確立した点にある。学術的・実用的な貢献として、外部アノテーションが利用できないドメインやタスクにおいても、モデルが自律的に推論能力を向上させられるスケーラブルなポストトレーニング手法を提供したことが挙げられる。

提案手法の詳細

U-OPSD は、複数のロールアウトを生成した上で、自己一貫性閾値を用いた多数決によって疑似解を構築する仕組みを採用している。なぜこの設計にしたかといえば、モデルが特定の誤りに強い確信を持っている場合でも、複数の生成パスを比較することで多数決ベースのセーフティネットが働き、コンセンサスから外れた箇所を特定して安全に修正できるからである。モデル自身が自信を持って誤っている部分をピンポイントで自己修正させる設計になっている。

評価・考察

5つの数学推論ベンチマーク（AIME24、AIME25、HMMT25、MATH500、AMC23）を用いた実験において、Qwen3 の非思考モードにおける 4B および 8B スケールで、U-OPSD はベースモデルからそれぞれ 8.5% および 10.7% の性能向上を記録した。また、既存の教師あり OPSD と比較しても、平均でそれぞれ 3.2% および 2.3% 上回る精度を示した。思考モードにおいては、4B モデルで OPSD を 0.9% 上回って同等以上の水準を維持し、GRPO と比較しても 4B で 0.7%、8B で 1.1% 上回る結果を残している。

応用例と今後の展望

本手法は、正解データ（Ground-Truth）の収集が高コストな金融データ解析や医療診断支援などの専門領域における LLM のポストトレーニングにおいて実務的なインパクトを持つ。特に、アノテーション要員を確保しにくい国内の専門特化型 AI 開発企業や研究組織において、計算資源とモデル自体の生成能力だけで推論能力を自律的に引き上げる基盤技術として活用できる。今後の課題として、より多様なタスクやマルチモーダルモデルへのスケーラビリティの検証が必要である。

結論

本研究では、外部の教師信号を一切使用せず、モデル自身の一貫性と多数決に基づく疑似解を用いた完全教師なしオンポリシー自己蒸留手法 U-OPSD を提案した。数学推論ベンチマークにおいて、既存の教師あり手法を凌駕する性能を実証し、LLM のポストトレーニングにおける新たな自律改善の可能性を示した。

注釈

• オンポリシー自己蒸留 (On-Policy Self-Distillation): 学習中のモデル自身が生成した出力に基づいて、自身のパラメータを更新・最適化する蒸留手法。
• Self-Consistency: 同一のプロンプトに対して複数の出力を生成し、多数決などによって最も一貫性の高い結果を選択・検証する手法。