ラベル不要のテスト時強化学習 TTPO──Qwen3-1.7B の推論精度を 38.0% から 45.2% に向上

論文概要

近年のポストトレーニング手法である Reinforcement Learning や On-Policy Self-Distillation (OPSD) は大規模言語モデルの数学的推論能力を大きく向上させたが、正解ラベルへの依存が Test-Time Training (TTT) の適用を妨げてきた。本論文では、ラベルを用いずにマジョリティ投票による疑似ラベルを活用する Test-Time Policy Optimization (TTPO) を提案する。TTPO は、一致するロールアウトを蒸留し、不一致のロールアウトを Grouped RL でペナルティ化する非対称な目的関数を採用しており、Qwen3-1.7B を用いた実験において TTT の精度を 38.0% から 45.2% に向上させ、競争レベルの 5 つのベンチマークでラベル付き OPSD と同等の性能を達成した。

関連研究

ポストトレーニングにおける強化学習やセルフディスティレーションは従来からモデルの推論能力改善に貢献してきた。しかし、これらは事前に用意されたグラウンドトルース（正解ラベル）を前提としており、推論時に動的にモデルを適応させる TTT の文脈では適用が困難であった。ラベルの代わりにマジョリティ投票による疑似ラベルを用いる手法もあるが、投票自体の誤りが教師データ全体を汚染するという脆弱性があった。本研究では、この失敗モードが非対称であることに着目し、既存の脆弱性を克服する新しい最適化手法を構築している。

新規性と貢献

本研究の最大の新規性は、疑似ラベルの誤りに対してロバストな非対称目的関数を設計し、完全なラベルなし環境下でのテスト時最適化（TTT）を可能にした点である。投票と異なるロールアウトは本質的に誤りが多いという観察に基づき、OPSD と Grouped RL を組み合わせることで、頻繁に発生する疑似ラベルの誤りの影響を抑えつつ効果的な自己教師あり学習を実現した。実用面では、外部の正解ラベルなしで 5 つのコンペティションレベルのベンチマークにおいてラベル付き手法と同等の水準に達した点が大きな貢献である。

提案手法の詳細

TTPO は、マジョリティ投票による疑似ラベルの信頼性の低さを克服するため、非対称な目的関数を採用する。 投票結果と一致するロールアウトは OPSD により蒸留し、不一致のロールアウトは Grouped RL によってペナルティ化する。さらに、トークンレベルの選択機構を導入することで、すでに収束している位置の蒸留ウェイトを下げ、モデルが確信度を持って誤ったトークンのみを強化学習で修正するように最適化が行われる。これにより、モデルの性能向上に伴ってマジョリティ投票によるルーティングもより厳密な自己監督信号をもたらす設計となっている。

評価・考察

評価実験では、Qwen3-1.7B モデルを用いた TTT において、ベースラインの 38.0% から 45.2% への精度向上を記録した。また、思考プロセスを含まない設定（without thinking）でも +25.2% から +36.4% の向上を示し、強力なクロスドメイン汎化性能が確認された。5つのコンペティションレベルの数学ベンチマーク全体で、正解ラベルを使用した OPSD と遜色ない結果を残しており、疑似ラベルを用いた不安定性を効果的に抑制できていることが示されている。

応用例と今後の展望

実務インパクトとして、正解ラベルの用意が困難な金融や医療などの専門領域における LLM の推論時適応（Test-Time Adaptation）への応用が期待される。特に、リアルタイムで外部正解が取得できないエッジ環境や自動生成タスクにおいて、ラベルなしでモデルの精度を引き上げる基盤技術として機能する。今後は、より多様なタスクや大規模モデルへのスケーラビリティの検証が課題となる。

結論

本研究は、テスト時における正解ラベルの欠如という課題に対して、非対称な目的関数に基づく Test-Time Policy Optimization (TTPO) を提案した。ラベルなしでありながらラベル付き手法に匹敵する精度を実証し、LLM のテスト時適応における新たな選択肢を示した。

注釈

• Test-Time Training (TTT): 推論（テスト）の実行時にモデルのパラメータや表現をその都度適応させる手法。
• On-Policy Self-Distillation (OPSD): モデル自身が生成した出力を用いて自己蒸留を行う手法。