複数モデルの協調学習により教師データなしで推論能力を獲得する Co-RL フレームワーク──テキストとマルチモーダルで既存ラベルフリー手法比 2.3〜8.6% の精度向上を達成

論文概要

大規模言語モデル (LLM) や視覚言語モデル (VLM) の高度な推論能力の向上には強化学習 (RL) が不可欠である一方、従来の成功例は検証可能な正解ラベルなどの高コストな人間や外部の監視信号に依存している。自己報酬型 RL はモデル自身の完了データから報酬を導出することでこの依存を軽減するが、単一モデルによる自己生成フィードバックはバイアスや同質化、トレーニング崩壊を引き起こしやすい。本論文では、協調的なマルチエージェント訓練を通じて教師データなしで推論能力が自然に発現することを示し、パラメータを共有しない複数のデカップリングされたモデルをピアからの報酬で同時最適化するフレームワーク「Co-RL」を提案する。異種モデルファミリーやサイズ、リフレーズされたサンプルによるコホートの多様性を高めることで、相関エラーを抑制し、テキストおよびマルチモーダルドメインの双方で既存のラベルフリー手法を上回る成果を挙げた。

Figure 1: CO-RLと他のラベルフリーRL手法の比較を示した図。

新規性と貢献

本研究の主要な貢献は、グラウンド・トゥルース（正解ラベル）を一切使用せずに、異種マルチエージェント間の協調訓練によって教師データなしの推論能力発現（Unsupervised Reasoning Emergence）を実現した点にある。コホートの多様性を最大化することで、従来の自己報酬型 RL における最大の課題であったトレーニング崩壊を防ぎながら、ベースモデルおよび既存のラベルフリー手法を凌駕する性能を証明した。

提案手法の詳細

Co-RL は、パラメータを一切共有しない複数のモデルからなるコホートを構成し、それぞれのモデルが相互に生成された出力に対する報酬を付与し合う枠組みである。なぜこの設計にしたかといえば、単一のモデルが自身の出力に対して報酬を与え続けると、誤ったバイアスが固定化されるという「自己強化学習の罠」に陥るためである。異なるモデルファミリーやサイズを混在させ、さらにトレーニングサンプルをリフレーズすることでコホートの多様性を担保し、相関エラーや学習の崩壊を防ぐ仕組みとなっている。

Figure 2: 2つのエージェントを用いたCO-RLの全体像。

評価・考察

著者は、テキスト中心の 7 つのベンチマークにおいて LLM に Co-RL を適用し、平均して 3.0% から 8.6% の精度向上を確認した。また、4 つのマルチモーダルベンチマークにおいても VLM に対して 2.3% から 7.2% の改善を達成した。これらの結果は、外部の正解ラベルを一切用いていないにもかかわらず、監視付き手法と同等以上のパフォーマンスを発揮することを示している。トレーニングダイナミクスの分析からも、多様性の確保が安定した性能向上に直結していることが裏付けられている。

Figure 3: 4つのスケールにおけるトレーニングダイナミクスの比較。

応用例と今後の展望

本手法は、正解データの収集が困難な高度な科学的発見や法律文書の分析、未開拓分野のコード生成などにおいて、ラベル作成コストを大幅に削減する実務インパクトを持つ。特に国内の AI 研究開発組織やテックリードにとって、人間によるアノテーションコストがボトルネックとなっているドメインにおいて、マルチエージェントを活用した自律的なモデル改善パイプラインを構築する際の強力な設計指針となる。今後の課題としては、さらに大規模なモデル群におけるスケーラビリティの検証や、異種エージェント間の最適な組み合わせの自動探索が挙げられる。

結論

Co-RL は、異種マルチエージェント間の協調的なピア評価を通じて、正解ラベルなしで安定した推論能力の獲得を可能にする画期的なフレームワークである。多様性の導入による自己強化バイアスの克服は、今後のラベルフリー学習のスタンダードとなるアプローチを示唆している。

注釈

Self-rewarding RL: 外部からの正解ラベルに頼らず、モデル自身が生成した出力の品質評価を報酬として学習を進める強化学習の手法。
VLM (Vision-Language Model): 画像とテキストの両方を入力として受け取り、推論や応答を行うマルチモーダル大規模言語モデル。