Apple、多言語学習モデルの効率を高める新手法 LINK を発表──事前学習の学習効率を最大 2 倍に高速化
低リソース言語のデータ不足を克服するため、バイリンガル辞書を用いた語彙レベルの置換介入（LINK）を事前学習データに導入し、追加のモデル学習や翻訳システムなしで下流タスクの性能向上と最大 2 倍の学習効率化を実現した。
リリース: 2022-12-11 · 読了 3 分記事の要約
1. 核心（What）
- Apple ML Research は、低リソース言語におけるクロスリンガル知識転移を改善するデータレベル介入手法「LINK」を発表した。
- 高リソース言語（英語）の事前学習コーパスの指定割合において、バイリンガル辞書に基づきランダムに選択された単語を置換する。
- 追加のモデル学習や外部の翻訳システムを一切利用せず、バイリンガル辞書のみで実装される。
- 8 言語および 5 種類のモデルサイズを用いた検証で、ターゲット言語の下流タスクにおける性能向上と、同等性能達成までの学習効率最大 2 倍を達成した。
2. 影響（Why）
- 低リソース言語開発のコスト劇的改善: 大規模並行コーパスや複雑な翻訳モデルの構築が不要になるため、多言語 LLM の事前学習フェーズにおけるデータ準備の敷居とインフラコストを一気に下げる。
- 国内ニッチ言語対応への実用的な布石: [国内 多言語対応 LLM 開発・検証組織] のようなチームが、追加の計算資源を大量に投じることなく、低リソース言語向け事前学習のベースラインを効率化する選択肢になる。
3. 根拠・詳細（How）
- 語彙レベルの置換介入メカニズム: 事前学習データのうち高リソース（英語）側のコーパスの一部を対象に、任意の置換率で単語をバイリンガル辞書の訳語に直接スワップする。
- 検証環境と評価スケール: 8 つの言語と 5 段階のモデルサイズを対象に科学的推論や常識推論などの下流タスクで評価し、同等性能に到達するまでのトレーニングを最大 2 倍に高速化した。
4. 展望・課題（Next）
- 多様な言語ペアへの適用範囲拡大: 極端に低リソースな言語や、言語間の構造的距離が大きいペアにおける LINK 手法のスケーラビリティと最適な置換率の検証が今後の課題となる。