LLMのプロンプトインジェクションは「役割タグ」の認識不全に起因する──内部表現のプローブで判明
役割タグによるコンテキスト分離の失敗が攻撃を許容するメカニズムを解明。防御策としての役割認識の重要性。（原題: Prompt Injection as Role Confusion）
リリース: 2025-01-01 · 読了 5 分記事の要約
1. 核心（What）
- 人間によるレッドチーミングでは frontier モデルに対して近 100% の攻撃成功率を記録
- 既存のプロンプトインジェクションベンチマークでは frontier モデルはほぼ完璧なスコアを達成
- 役割タグ（system/user/tool等）の効果を測定する「Role Probes」手法を開発し、内部表現の役割認識精度を可視化
2. 影響（Why）
- 既存のベンチマークで高スコアでも、適応的な人間による攻撃には脆弱である「攻撃の記憶」に依存した防御の限界を指摘
- プロンプトインジェクションの本質は、モデルが外部データ（tool）を指示（user）と誤認する「役割認識の不全」にあることを解明
- 防御戦略を「既知攻撃の拒絶」から「役割タグに基づく堅牢な権限分離」へ転換する必要性を示唆
- 開発者への影響: 既存のプロンプトインジェクション対策がベンチマークスコアの向上に偏っている場合、実際の運用環境では容易に突破されるリスクがあるため、モデルの内部的な役割認識を強化するアプローチを優先すべきである。
- 日本への影響: 国内固有の追加文脈は限定的（汎用的に有用）。
3. 根拠・詳細（How）
- Prompt Injection as Role Confusion (2020-01-01 公開)