連続値感情空間を制御する LLM 向け学習手法 VA-DPO──平均 VA 距離を 33% 削減

論文概要

従来の言語モデル（LLM）における感情制御は、「喜び」「怒り」といった離散的なラベルに基づくアプローチが主流であった。これでは「少し落ち込んでいるが落ち着いている」といった微細な感情のニュアンスを表現することが困難である。本論文では、Valence-Arousal（VA）平面上の連続値 $(v^*, a^*)$ を目標値として指定し、モデルにその感情を生成させる新しい学習手法 VA-DPO（Valence-Arousal Direct Preference Optimization）を提案する。Llama-3.1-8B-Instruct を用いた評価において、システムプロンプトによる制御と比較してターゲットとの平均 VA 距離を 33% 削減し、一般性能（MMLU）を維持したまま高精度な感情制御が可能であることを実証した。

新規性と貢献

本研究の主要な貢献は、DPO の最適化目的関数自体を変更することなく、選好データの構築方法を拡張するだけで連続値感情空間の制御を可能にした点である。固定された VA 回帰器を用いてサンプリングされた出力を評価し、ターゲットとのユークリッド距離に基づいてマージン $\tau$ をクリアした候補ペアのみを抽出して LoRA（Low-Rank Adaptation）アダプターを訓練する。これにより、追加の学習コストを抑えつつ、VA 相関 $r_v=0.93$ 、 $r_a=0.75$ という高い追従性を達成している。

提案手法の詳細

VA-DPO の核心は、選好データの自動構築パイプラインにある。学習プロセスでは以下の仕組みを採用している。

固定 VA 回帰器による評価: サンプリングされた生成テキストに対して、目標とする Valence-Arousal 座標とのユークリッド距離をスコアリングする。
マージン付きペア選別: 距離の差が閾値 $\tau$ を超える候補ペアのみを保持することで、品質の高い選好データセットを構成する。
LoRA による効率的な最適化: 参照モデルを凍結した状態で、通常の DPO 損失を用いて LoRA アダプターを最適化する。DPO の目的関数自体は変更しないため、安定した学習が可能となっている。

Figure N: DPOのβおよびマージン閾値τに関するアブレーション結果のグラフ。

評価・考察

論文では Llama-3.1-8B-Instruct を主たる評価対象とし、Qwen3-8B や Llama-3.2-3B でも検証が行われている。

VA 距離の削減: システムプロンプトと比較して 33%、少数例プロンプト（few-shot prompting）と比較して 25% の平均 VA 距離の削減を達成した。
感情相関: Valence の相関は $r_v=0.93$ 、Arousal の相関は $r_a=0.75$ を記録し、意図した感情空間への高い収束性を示している。
汎用性能の維持: 感情制御特化による一般性能の低下は確認されず、MMLU の変化は $\Delta = +0.0$ であり、HellaSwag や TruthfulQA のスコアも完全に維持されている。

応用例と今後の展望

本手法は、キャラクターAI や対話エージェント、メンタルケア支援などの分野において、状況に応じたきめ細やかな感情表現を持つ対話システムの構築に直結する。特に日本のエンジニアや研究者にとっては、ゲームキャラクターの心理状態の動的制御や、エンターテインメント向け対話 LLM のトーン＆マナー調整において、プロンプトに依存しない安定した感情制御基盤として実務的なインパクトを持つ。今後の課題としては、より多様な感情次元やコンテキストにおける頑健性の検証が挙げられる。

結論

VA-DPO は、Valence-Arousal 平面上の連続的な感情座標を用いた LLM の効率的な制御手法である。DPO のデータ構築手順の改良のみというシンプルなアプローチでありながら、一般性能を一切劣化させることなく、従来手法を大きく上回る精度で目的の感情表現を獲得できることを示した。

注釈

Valence-Arousal (VA) 平面: 感情の「快・不快（Valence）」と「覚醒・興奮度（Arousal）」の2軸で感情を連続的に表現する心理学的なモデル。
DPO (Direct Preference Optimization): 報酬モデルを別途学習せず、直接言語モデルの選好最適化を行う手法。
LoRA (Low-Rank Adaptation): 大規模モデルのパラメータを固定し、低ランクの行列を追加することで効率的に微調整を行う手法。