自己検証と信頼度強化学習による適応型推論手法 SVR──Qwen3.5-2B で平均 2.99 ターンでの効率的解決を実証
推論時の計算量を最適化するため、検証結果と信頼度を組み合わせた強化学習フレームワークにより平均 2.99 ターンでの高精度な推論を実現した。
リリース: 2026-07-30 · 読了 5 分論文概要
Hongyu Chenらの研究チームは、LLM（大規模言語モデル）の推論時計算量（Test-Time Compute）を適応的に制御する新しいフレームワーク「SVR（Self-Verifying Refinement）」を提案した。従来の固定予算による推論は簡単な入力に対して計算量を無駄に消費し、外部のベリファイア（検証器）に依存する手法はフィードバックのオーバーヘッドが生じる課題があった。SVRは、モデル自身が生成プロセスの中で自己検証結果と信頼度（Confidence）を同時に出力し、これらを報酬に組み込んだ強化学習（GRPO）によって訓練することで、外部フィードバックなしでの適応的な計算量配分を実現している。7つの数学的推論ベンチマークにおいて Qwen3.5-2B を用いた検証の結果、平均 2.99 ターンの推論で 0.563 のマクロ平均精度を達成した。
関連研究
LLMの推論能力を向上させる手法として、計算時に多くのトークンやステップを割り当てる手法（Test-Time Scaling）が盛んに研究されている。しかし、従来の手法の多くはすべての入力に対して一律のターン数を割り当てる固定予算型であり、難易度の低い問題に対しても多大な計算コストを費やしていた。また、外部の報酬モデルやオラクル（正解データ）を用いて次のステップを誘導する手法も提案されているが、推論時に外部リソースを必要とする点が実用上のボトルネックとなっていた。本研究のSVRは、モデル内部の出力に依存することで外部オラクルを不要としつつ、動的な停止判断を可能にする点で既存手法と一線を画している。
新規性と貢献
本研究の主要な貢献は、以下の3点に集約される。
- オラクルフリーの自己検証機構: 外部の検証器や正解ラベルに依存せず、モデル自身が生成した離散的な正誤判定（Verdict）と信頼度スコアを基に推論の継続・停止を自律的に決定する。
- 共同判定・信頼度強化学習: 解の正確性、較正（Calibration）を意識した自己検証、および停止準備状態の正解状態を促進する報酬設計により、固定ホライゾン軌道上でGRPO（Group Relative Policy Optimization）を用いてポリシーを効率的に最適化する。
- 高い計算効率と精度の両立: 従来の固定 10 ターン推論と比較して大幅に少ない平均 2.99 ターンでありながら、標準的なGRPOや既存のマルチターンベースラインを上回る精度を実証した。
提案手法の詳細
SVRでは、各推論ターンにおいてモデルが「解答」「離散的な正誤判定」「信頼度スコア」を同時に出力する設計を採用している。なぜこのような設計にしたかといえば、単に答えを出すだけでなく、モデル自身がその出力の確実性を内省・数値化することで、不必要なリファインメントを早期に打ち切るための信頼性の高い内部制御信号を得るためである。判定が「Correct」であり、かつ信頼度が所定の閾値を超えた場合にのみ現在の解答を保持して推論を停止し、それ以外の場合は自身の自己検証結果を元にリファインメントを継続する。グラウンドトゥルースの正誤は学習時の報酬計算にのみ使用され、推論時には一切必要とされない。
評価・考察
論文では7つの数学的推論ベンチマークを用いた包括的な評価が行われている。Qwen3.5-2Bをベースモデルとして適用した実験において、SVRはマクロ平均精度 0.563 を記録した。特筆すべきは、これが平均わずか 2.99 ターンの推論で達成されている点である。固定の 10 ターンを消費する手法と比較して計算量を劇的に削減しつつ、標準的なGRPOや強力なマルチターンベースライン、さらにはオラクルによるスコアフィードバックを参照する手法をも凌駕する性能を示した。この結果は、学習された自己検証がアンサーリテンションと適応的な計算量配分において、実用的な内部制御信号として機能することを強く裏付けている。
応用例と今後の展望
本手法は、APIコストやレイテンシが厳しく制限される実運用の現場において、LLMの推論コストを動的に最適化するための有力なアプローチとなる。例えば、金融分野の複雑な数理計算や、医療分野における論理的考察を伴う診断支援システムなど、問題の難易度に応じてリソースを可変に割り当てる必要があるドメイン（数千〜数万リクエストを処理する規模のシステム）において、インフラコストを抑制しつつ精度を維持する実装上の選択肢を提供する。今後の課題としては、より大規模なモデルや数学以外のドメイン（コード生成や常識推論など）へのスケーラビリティの検証が挙げられる。
結論
SVRは、自己検証と信頼度に基づく強化学習を組み合わせることで、外部オラクルに頼ることなくモデル自身で推論時の計算量を適応的に制御できることを示した。数学的推論ベンチマークでの優れた成績と少ないターン数は、効率的かつ高精度なLLM推論システムの構築に向けた新たな設計指針を提供するものである。
注釈
- Test-Time Compute: モデルの推論時に追加の計算資源（トークンやターン数）を投入し、出力の質を高める手法の総称。
- GRPO (Group Relative Policy Optimization): グループ内の相対的な報酬比較に基づいて効率的な方策最適化を行う強化学習アルゴリズム。