LLMの職業バイアスを内部表現から解剖する因果フレームワーク──表面化しないジェンダー・人種格差を検出

論文概要

Language Models (LLMs) における職業的バイアスや属性バイアスの評価において、従来の振る舞いベースの測定では「バイアスが解消された」と判定されるモデルであっても、内部表現には依然として偏りが潜在していることが指摘されてきた。本研究では、ユーザーの有能さに関するモデルの内部表現と、観察可能な出力との間にある因果関係を分解するフレームワークを提案する。複数のオープンウェイトモデルを用いた検証により、ジェンダー、人種、社会経済的地位といったデモグラフィック属性が、外部出力の指標では格差が検知されない場合であっても、モデル内部の専門性表現に影響を与えていることが示された。

関連研究

LLMの公平性評価に関する先行研究の多くは、出力されるテキストの偏りや質問応答の選好を測定する行動評価（Behavioral Evaluation）に依存していた。しかし、アライメントやインストラクション・チューニングによって「差別的な発言をしない」よう外形的に調律されたモデルが、本当に根底のバイアスを失ったのか、あるいは単に表面的な出力を抑制しているだけなのかは十分に解明されていなかった。本研究は、モデルの解釈可能性（Mechanistic Interpretability）の視点を取り入れ、表現レベルでのバイアスを因果的に検証する点で先行研究と一線を画す。

新規性と貢献

本研究の主要な貢献は、職業的バイアスを「モデル内部の有能さの表現」と「外部出力」に分離して捉える因果フレームワークの構築にある。ユーザーの専門性に関する内部表現からステアリングベクトル（Steering Vectors）を導出し、それらが質問応答タスクや採用評価タスクにおけるモデルの振る舞いを因果的に媒介していることを実証した。これにより、表面的な安全性が確認されたモデルであっても、介入条件下では下流の挙動にバイアスが露呈する脆弱性があることを明らかにした。

提案手法の詳細

提案手法では、モデル内部の活性化パターンからユーザーの専門性（User Expertise）を捉える因果構造を定義する。具体的には、特定のデモグラフィック属性が付随する文脈において、モデル内部の表現空間でどのようなベクトルが専門性の評価に寄与しているかを特定し、因果介入（Steering）を通じてその影響度を検証する。なぜこの設計にしたかといえば、モデルの重みや活性化状態を直接操作することで、表面的な出力フィルタリングに依存せず、表現そのものが持つバイアスの影響力を定量的に切り分けるためである。

評価・考察

複数のオープンウェイトモデルに対して本フレームワークを適用した結果、行動指標（Behavioral Metrics）ではデモグラフィック間での差異が一切検出されない場合であっても、人種やジェンダー、社会経済的地位がモデル内部の専門性スコアの表現に明確な影響を及ぼしていることが確認された。さらに、導出したステアリングベクトルを用いた介入実験により、これらの内部表現が下流のタスクにおけるモデルの判断を大きく左右し得るという失敗モードが実証された。

応用例と今後の展望

本研究の成果は、AIの安全性評価や公平性担保の仕組みに直結する。特に、採用支援システムや金融・法務分野におけるAIエージェントの開発において、日本のテックリードやAI研究者は、単に出力テキストの偏りをチェックするだけでなく、内部表現レベルでのアライメント検証を組み込む必要性を示唆している。金融・HR分野における規模感のある実運用を見据える場合、表面的なベンチマークテストの通過だけで安全性を過信せず、内部状態の因果介入テストを取り入れることが今後の実務上の課題となる。

結論

本研究は、LLMにおける職業的バイアスが表面的な出力では隠蔽され得ることを示し、内部表現を対象とした因果的分析の重要性を提示した。評価指標の限界を突くアプローチとして、今後のモデルの安全性検証手法に大きな影響を与える。

注釈

• ステアリングベクトル (Steering Vectors): モデルの内部表現（活性化状態）を特定の方向へ強制的にシフトさせることで、モデルの出力や振る舞いを変化させる手法。
• 因果フレームワーク (Causal Framework): 変数間の因果関係をグラフや数学的モデルで定義し、介入の効果を厳密に評価するための枠組み。