RLVR における多言語ベリファイアバイアス──Qwen3-8B の日本語で偽陰性率 0.642 に達することを実証

論文概要

大規模言語モデルの数学的推論トレーニングにおいて、検証可能な報酬を用いた強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）は標準的な手法となっている。しかし本研究では、言語中立的であるはずの報酬関数（完全一致ベリファイア）が、多言語環境ではフォーマットやスクリプトの差異を言語依存の偽陰性（False-negative）報酬ノイズへと変換してしまうことを示した。Qwen3-4B、Qwen3-8B、Llama-3.1-8B-Instruct を用いた MGSM（Multilingual Grade School Math）のロールアウト評価において、Qwen3-8B の日本語での偽陰性率が 0.642 に達する一方、英語では 0.122、中国語では 0.073 に留まるなど、言語間で劇的な乖離があることを明らかにした。

関連研究

LLM の推論能力向上における RLVR やプロセス報酬モデル（PRM）の適用は盛んに研究されている。しかし、これまでの研究の多くは英語圏のベンチマークや検証ロジックを前提としており、多言語環境下でのベリファイア自体の振る舞いや、言語間で不均一な報酬ノイズがモデル学習に与える影響についての体系的な監査は不足していた。本研究は、多言語における報酬設計の前提そのものにメスを入れるものである。

新規性と貢献

本研究の主な貢献は、多言語 RLVR における報酬の信頼性を監査するための再利用可能なプロトコルの提案にある。具体的には、ベリファイア堅牢性スイート、ロールアウト診断手順、および日本語・英語・中国語の回答に対応した言語条件付き報酬エラー指標を導入した。さらに、クロスリンガル選択ボトルネック（Cross-Lingual Selection Bottleneck）の存在を実証し、多言語報酬最適化における根本的な課題を浮き彫りにした。

提案手法の詳細

提案されたプロトコルは、報酬関数のバイアスを多角的に分解・監査する。平易な数値プローブを用いた解析により、報酬エラーの要因が最終回答のインターフェース部分に局在していることを特定した。インターフェースモデルは報酬エラーの変分下限（VLB）をゼロにする一方で、残差精度ギャップは変化しない。また、ターゲットローカルな集約ルールを用いることで、検証ラベルを用いずに選択ギャップの 55〜78% を埋められることを示した。

評価・考察

MGSM におけるロールアウト（k=8）の評価では、正確一致プロキシが言語によって信頼性の高い正解を大きく異なる割合で拒絶することが確認された。特に日本語プロンプトにおける偽陰性率の高さ（Qwen3-8B で 0.642）は、日本語の数式・テキスト混じりの出力フォーマットに対するベリファイアの不適合を強く示唆している。また、MATH-500 の 483 問題セットでも同様のボトルネックが再現され、rule-GRPO によるトレーニング監査では報酬エラーの VLB が高いまま推移することが確認された。

応用例と今後の展望

本研究の知見は、日本語を含むマルチリンガル対応の LLM を開発・ファインチューニングするエンジニアにとって極めて重要である。特に国内の金融・教育分野向け LLM やローカライズされた推論モデルの開発において、単一の完全一致ベリファイアに依存した RLVR をそのまま適用すると、日本語特有のフォーマット差異に起因する学習阻害や性能評価の歪みを引き起こすリスクがある。今後は、言語横断的な報酬アラインメント手法や、インターフェース層のロバスト性を高めた新しい検証プロトコルの実装が求められる。

結論

多言語 RLVR における報酬関数は言語中立的ではなく、特に日本語環境において深刻な偽陰性バイアスが存在する。多言語モデルを最適化する前に、言語別および回答インターフェース別に報酬の監査を行うべきであるという運用上の重要な指針が示された。

注釈

• RLVR (Reinforcement Learning with Verifiable Rewards): 検証可能な報酬を用いた強化学習。正解がプログラムやルールで一意に判定できる環境でのLLM学習手法。
• VLB (Variational Lower Bound): 変分下限。確率モデルの学習や解析で用いられる指標。
• 偽陰性 (False-negative): 本来は正解（真陽性）であるべき出力が、誤って不正解（陰性）と判定されてしまう現象。