LLM の多言語理解ギャップを検証──英語起点評価で性能を 17% 過大評価する傾向を実証

論文概要

大規模言語モデル（LLM）の評価において、英語で示された能力が他の言語でも同等に発揮されるという暗黙の前提が広く存在している。本研究では、コンテンツ・質問・参照回答・モデル・評価単位を完全に同一に固定しつつ言語のみを切り替える評価デザインを導入し、英語とターゲット言語間における応答品質の低下を「クロス・リンガル理解ギャップ（CLCG: Cross-Lingual Comprehension Gap）」として定義した。

専門家による人間翻訳済みのパラレルコーパスである ParallelQA-18 を用いて、5 つの研究所から選ばれた 5 つのモデルを 18 言語・150 記事の層化サンプルで評価した結果、プールドされた全体の CLCG は 0.078（95% 信頼区間: 0.072〜0.084）であり、英語スコアに対して約 17% の性能低下を示すことが明らかになった。

Figure 1: クロスイリンガル理解ギャップ（CLCG）のペアデザインを示す図版。

新規性と貢献

本研究の主要な貢献は、言語以外の変数を厳密に統制した評価枠組みの構築と、それを用いた大規模なモデル評価による数値的実証にある。Joshi らの言語資源クラスに基づいた 16 のターゲット言語を網羅し、言語レベルの CLCG が資源クラスと負の相関（ $\rho = -0.594, p = 0.015, n = 16$ ）を持つことを突き止めた。また、盲検化された人間のペア評価において、高資源な言語の応答が 61.6% の決定的な判断で好まれる（推定選好確率 0.655, 95% 信頼区間: 0.558〜0.741）という定量的根拠を提示した。

Figure 2: 各言語におけるクロスイリンガル理解ギャップ（CLCG）の比較を示すプロット。

提案手法の詳細

評価にはプロの翻訳者によるパラレルコーパス ParallelQA-18 を採用し、同一アイテム内でパッセージの言語のみを変動させるデザインを設計した。評価指標としては、英語とプールドされたターゲット言語のトークン F1 マイクロ平均のコントラストを用いており、記事クラスターごとのブートストラップ信頼区間により統計的頑健性を担保している。これにより、モデル自体の実力が言語の構造や資源量によってどのように歪められるかを直接的に測定する機構となっている。

評価・考察

評価対象となった 5 つのモデルのプールド CLCG は 0.078 であり、英語での性能に比べて平均して約 17% の品質低下が観測された。ポルトガル語を除外した場合のマクロギャップは 0.016（95% 信頼区間: 0.013〜0.020）であり、言語資源の多寡がモデルの理解力に直結していることが示されている。結果として、英語中心のベンチマークに基づく評価は、低資源言語を使用するユーザーに対する実際の品質を過大評価していると結論付けられる。

Figure 3: 質問の深さ（L0〜L5）に応じた、水準内標準化CLCGの変化を示すグラフ。

応用例と今後の展望

本研究の知見は、多言語 LLM を実運用するシステム開発において重要な示唆を与える。特に、グローバル展開を行う金融機関や多言語カスタマーサポートシステム（対象規模: 数百万ユーザー規模のエンタープライズ環境）の構築において、英語ベンチマークで高スコアを記録したモデルであっても、非英語圏、特に低資源言語環境では 17% 程度の性能劣化を想定したフォールバックや追加チューニングが不可欠であることを示している。今後の課題としては、より多様な非英語圏言語への拡張と、学習データ構築段階でのギャップ是正手法の開発が挙げられる。

結論

英語で示されたモデルの能力がそのまま他言語に波及するという前提は誤りであり、クロス・リンガル理解ギャップが存在することが実証された。英語中心の評価手法は、低資源言語ユーザーに対して性能を過大評価する傾向があり、今後は言語間の構造的差異を考慮した評価・開発体制への転換が求められる。

注釈

CLCG (Cross-Lingual Comprehension Gap): 同一の内容と質問を英語とターゲット言語で提示した際の、応答品質の低下度合いを示す指標。
トークン F1 マイクロ平均: 生成されたテキストと正解テキストの間で、トークン単位の一致度を全体集計して算出する評価指標。