Large Reasoning Modelの拒絶応答はCoTと活性化の二重構造──DeepSeek-R1-Distill-LLaMA-8Bで実証

論文概要

本研究は、推論モデル（Large Reasoning Models: LRM）における拒絶応答（Refusal）のメカニズムを解析したものである。従来のLLMでは、拒絶応答は単一の方向性を持つサブスペースの活性化によって制御可能であったが、思考過程（Chain-of-Thought: CoT）を生成するLRMでは、拒絶応答が活性化ステアリング（Activation Steering）だけでは十分に制御できないことを示した。実験ではDeepSeek-R1-Distill-LLaMA-8Bを用い、CoTが拒絶信号を能動的に強化・保持する役割を果たしていることを明らかにした。

関連研究

従来、LLMの安全性制御は、モデルの内部活性化を特定の方向に操作する「活性化ステアリング」が有効とされてきた。しかし、本研究は、CoTという動的な内部状態を持つLRMにおいて、この前提が崩れる可能性を指摘している。

新規性と貢献

LRMにおける拒絶応答が「残留ストリーム（Residual Stream）の活性化」と「CoT」の二重構造で符号化されていることを突き止めた点が最大の貢献である。これにより、単一の活性化操作では回避できない安全性の堅牢性が存在する一方で、CoT自体が攻撃対象となり得るという新たな脆弱性を示した。

提案手法の詳細

研究チームは、以下の3つのステップで介入実験を行った。

1. 固定CoT下でのステアリング: CoTを固定した状態で活性化ステアリングを適用。拒絶解除率は39%に留まった。
2. CoT削除: CoTを完全に削除して最終回答のみを生成。拒絶解除率は70%に上昇した。
3. 二段階介入: CoTの生成段階から介入し、再生成させる。拒絶解除率は94%に達した。

この結果は、CoTがコンプライアンス信号を保持・再構築する動的なメモリとして機能していることを示唆している。

評価・考察

実験結果から、CoTが拒絶応答を強化する役割を持つことが判明した。特に、ステアリングを解除した後でも、一度生成されたCoTが拒絶効果を48%維持するという事実は、CoTが単なる思考の過程ではなく、モデルの出力方針に永続的な影響を与えることを意味している。

応用例と今後の展望

本研究は、LRMを導入する企業や研究機関にとって、安全性評価の手法を再考させるインパクトを持つ。特に、金融・医療分野など、厳格な拒絶応答が求められるシステムにおいて、活性化レベルのフィルタリングだけでは不十分であり、CoTの生成内容を監視する新たなガードレール設計が必要となる。今後は、CoTを悪用した脱獄（Jailbreak）手法の特定と、それに対する防御策の構築が課題となる。

結論

LRMの拒絶応答は、活性化ステアリングとCoTの共同符号化によって制御されている。この二重構造により、従来の単一方向的なステアリング手法は限定的な効果しか持たないことが明らかになった。

注釈

• Large Reasoning Model (LRM): 推論過程（CoT）を明示的に生成することで複雑なタスクを解決するLLMの総称。
• 活性化ステアリング: モデルの内部活性化（Residual Stream）に特定のベクトルを加算し、特定の振る舞い（拒絶や肯定）を誘導する手法。