低リソースアフリカ言語向け安全メカニズム回復手法 LSR-Anchoring──再学習なしで有害プロンプト拒否率を改善

論文概要

指導微調整（Instruction-tuning）済みの大規模言語モデル（LLM）は英語での有害リクエストを拒否する一方で、Yoruba、Igbo、Igala、Hausaといった低リソースのアフリカ言語では同一リクエストに対して応答してしまう脆弱性を持つ。Godwin Abuh Faruna氏が発表した本研究では、再学習（Retraining）を一切行わず、英語プロンプトから抽出した拒否方向（refusal direction）を推論時に残差ストリーム（residual stream）へクランプする訓練フリーの手法「Latent Space Refusal Anchoring（LSR-Anchoring）」を提案した。Mistral-7B-InstructやQwen2.5-7Bなどのアーキテクチャにおいて、良性プロンプトの劣化を 0.08 未満に抑えつつ安全性を回復させることに成功している。

関連研究

従来、多言語における安全性のアライメント（Alignment）を維持するためには、対象言語のラベル付きデータを用いた追加学習やアライメント再調整が必要とされてきた。しかし、大半のアフリカ言語においてはこのような高品質な大規模データセットの構築自体が困難であった。本研究は、事前学習済みモデルが既に潜在空間（Latent Space）内部に言語非依存の安全性機構を保持しているという仮説に基づき、追加の重み更新を伴わない介入手法として位置づけられる。

新規性と貢献

本研究の主要な貢献は以下の 3 点に集約される。

1. 再学習不要の介入: 大規模な追加アライメント学習やターゲット言語の教師データを必要とせず、推論時の潜在空間操作のみで安全性を回復する。
2. 複数アーキテクチャでの検証: Llama-3-8B、Llama-3.1-70B、Mistral-7B-Instruct、Qwen2.5-7Bの 4 つの異なるモデル群で有効性を検証した。
3. Sparse Autoencoder（SAE）の活用: 単純な平均差分ベクトルの適用で過剰修正（Overcorrection）を起こすモデルに対し、SAEによる単一特徴量を用いたステアリング（SDS）を導入し、KLダイバージェンスを 3.5〜7 倍削減した。

提案手法の詳細

LSR-Anchoringの中核となるバリアント「Mean-Activation Steering（MAS）」は、英語プロンプトから得られる活性化の平均差分ベクトルを計算し、それを推論時に残差ストリームへ直接加算（クランプ）することで拒否機構を強制的に活性化させる。なぜこの設計にしたかといえば、低リソース言語の入力では内部の拒否回路への勾配や活性化の伝播が減衰してしまうため、幾何学的な「アンカー」を強制的に注入して起動を促すためである。

しかし、Llama-3-8BのようなモデルではMASを適用すると過剰修正が発生し、良性プロンプトに対する性能劣化（Degraded Performance on Legitimate prompts: DPL）が 1.00 に達した。これを解決するため、著者らはSAE-Derived Steering（SDS）を導入した。SDSは密な平均差分ベクトルの代わりに単一のSparse Autoencoder特徴量を置き換えることで、良性プロンプトの崩壊を防ぎながら安全性を引き上げる。

評価・考察

評価の結果、Yoruba、Igbo、Igala、Hausaの 4 言語では正の転移（Positive transfer）が確認され、安全性の回復が確認された。MistralおよびQwenモデルでは、良性劣化を 0.08 未満に抑えつつ安全性を再獲得した。また、大規模多タスク言語理解（MMLU）の精度低下はどの有効なステアリング強度においても 0.35 パーセンテージポイント未満に抑えられている。

一方で興味深い例外として、アラビア語（Arabic）はすべてのアーキテクチャおよびすべてのステアリング強度において安全性の回復に失敗した。これはベースラインの効果ではなく、幾何学的な不整合（Geometric mismatch）に起因していると考察されている。

応用例と今後の展望

本手法は、十分なアライメント用データが存在しない極端な低リソース言語環境において、商用LLMの安全性を低コストで担保するための実務的なアプローチを提供する。例えば、多言語カスタマーサポートやローカル行政支援システムを開発するAI開発企業において、追加のGPUコストをかけた再学習を行うことなく、推論パイプラインのフック処理として安全性を補正できる。

今後の課題としては、アラビア語で見られたような幾何学的不整合の原因の特定と、より一般化された特徴量抽出手法の確立が挙げられる。

結論

LSR-Anchoringは、再学習を伴わずに潜在空間の直接操作によって低リソース言語の安全性を回復する有効なアプローチである。モデル内部のメカニズムを解釈・介入することで、データ不足の言語間における安全性格差を効率的に埋められることを示した。

注釈

• 残差ストリーム（Residual Stream）: Transformerの各層の間で情報を伝達・蓄積するための主たるベクトル空間。
• Sparse Autoencoder（SAE）: LLMの複雑な内部活性化を、解釈しやすい独立した疎な特徴量へと分解するための補助モデル。