Chain-of-Thoughtの悪用でGPT-4.1の脱獄成功率が10倍に──推論トレース転送の脅威を実証

論文概要

本研究は、言語モデルの推論過程であるChain-of-Thought（CoT）が、モデルの安全性を損なう「脱獄（Jailbreak）」の媒介となり得ることを実証した。有害な推論トレースを移植することで、オープンソースモデルに対して80%以上の有害応答率を達成したほか、推論パターンを抽出してシステムプロンプト化する手法により、GPT-4.1を含むクローズドモデルに対しても従来の手法を大きく上回る攻撃成功率を確認した。

関連研究

従来の脱獄手法の多くは、出力結果の操作やプロンプトインジェクションに焦点を当てていた。本研究は、モデル内部の思考プロセス（CoT）そのものが、アライメントを回避するための「有害なアーティファクト」として機能し、それがモデル間で転送可能であることを初めて体系的に示した点で先行研究と一線を画す。

新規性と貢献

1. CoTトレースがモデルの安全性を無効化する媒介として機能することの証明。
2. 「LLooM」による有害推論パターンの抽出と、ブラックボックス攻撃への応用。
3. 推論能力が高いモデルほど、この種の攻撃に対して2倍以上脆弱であることを定量的に示した点。

提案手法の詳細

本研究では、以下の2段階の攻撃手法を提案している。

• CoT移植: 既存の脱獄済みモデルから有害な推論トレースを抽出し、ターゲットモデルの入力に埋め込む。
• LLooMパターン抽出: 抽出したトレースから「手続き化」「倫理的切り離し」「回避」「脆弱性フレーム化」という4つの主要コンポーネントを特定し、これを再利用可能なシステムプロンプトに蒸留する。

評価・考察

実験では29のオープンソースモデルと5つのクローズドモデルを対象とした。特に、推論能力を強化したモデルは、Llama-Guard 3のような既存の出力監視型セーフガードを容易に回避することが判明した。GPT-4.1に対するAdvBench評価では、直接的なCoT移植と比較して10倍の攻撃成功率を記録した。

応用例と今後の展望

本研究は、AIの安全対策が「最終出力」の監視のみでは不十分であることを突きつけた。日本の金融・医療分野など、LLMを業務システムに組み込むエンジニアは、入力されるプロンプトだけでなく、モデル内部で生成される推論過程（CoT）のコンテキストを評価・フィルタリングする防御層の構築が急務となる。今後の課題は、推論過程における有害性の検出アルゴリズムの確立である。

結論

有害な推論パターンはモデル間で転送可能であり、高度な推論能力を持つモデルほどその脆弱性は高い。安全なAI運用のためには、出力監視に依存しない包括的な推論プロセスの監視が必要である。

注釈

• Chain-of-Thought (CoT): モデルが最終的な回答を出す前に、段階的な推論ステップを生成する手法。
• Jailbreak: モデルの安全制限を回避し、本来拒否されるべき有害な指示を実行させる攻撃手法。
• AdvBench: LLMの安全性や脱獄耐性を評価するための標準的なベンチマークセット。