LLMは内容より文体を優先し役割を誤認する──プロンプトインジェクションの脆弱性を解明
システムプロンプトの形式を模倣する攻撃で成功率が 61% に達し、文体変更で 10% まで低減。LLMの役割認識の不完全性を指摘。（原題: Prompt Injection as Role Confusion）
リリース: 2026-06-22 · 読了 5 分記事の要約
1. 核心（What）
- システムプロンプトの形式を模倣した攻撃の成功率は 61% に達する
- 攻撃テキストの文体を変更する「Destyling」により成功率を 10% まで低減可能
- モデルは内容の真偽よりもテキストの文体を優先して役割を判断する傾向がある
- 検証モデルには gpt-oss-20b を使用
2. 影響（Why）
- 「タグで囲めばシステムプロンプトとユーザー入力を分離できる」という既存の防御策が、モデルの文体追従性によって無効化されることを突き止めた
- 防御側がいたちごっこを繰り返す根本原因が、LLMの「役割認識の欠如」にあることを理論的に示した
- 開発者への影響: LLMを用いたアプリケーション開発者は、システムプロンプトの形式を模倣したインジェクション攻撃に対し、タグによる分離だけでは不十分であることを前提に、入力の文体フィルタリングや検証レイヤーを別途設ける必要がある。
- 日本への影響: 国内固有の追加文脈は限定的（汎用的に有用）。
3. 根拠・詳細（How）
- Attack Success Rate (Standard): スコア 0.61
- Attack Success Rate (Destyled): スコア 0.1
- Prompt Injection as Role Confusion (2026-06-22 公開)