フロンティア LLM の自動レッドチーミング手法 GPT-Red──自己対話学習で人間を超えるプロンプトインジェクション発見を実証

論文概要

本論文では、フロンティア LLM に対する新規なプロンプトインジェクション攻撃を自動発見するエージェント型レッドチーミング手法「GPT-Red」が提案されている。大規模な強化学習のポストトレーニング（後訓練）と同等の計算資源を投じた自己対話（Self-Play）アルゴリズムを採用し、従来の人間による手動テストを超える規模と精度でモデルの脆弱性を洗い出すことに成功した。このエージェントを用いた敵対的訓練により、GPT-5.6 のプロンプトインジェクションに対する堅牢性が大幅に高められている。

関連研究

LLM の安全性確保や脆弱性検出において、従来は手動によるレッドチーミングや、固定的なルールベース、あるいは小規模な自動生成スクリプトが使われてきた。しかし、進化するフロンティアモデルの複雑な挙動に対しては、人間の手作業では網羅性が不足し、静的な手法では高度な攻撃パターンへの適応が困難であった。本研究は、自己対話による動的な敵対的進化を取り入れることで、従来手法の限界を突破している。

新規性と貢献

最大の貢献は、LLM の安全性に関する訓練としては最大規模となる自己対話ベースのトレーニングエコシステムを構築した点にある。GPT-Red は、過去の世代である GPT-5.5 以下のモデル群を確実に突破するだけでなく、人間によるレッドチーマーよりも多くの成功裏の攻撃を発見できる。さらに、未学習の環境や多様なディフェンダーモデル・ハーネスに対しても汎化性能を持つことが示されている。

提案手法の詳細

GPT-Red の核心は、同時に訓練される多様なディフェンダーエージェント集団に対して攻撃を試みる、拡張性の高い自己対話アルゴリズムにある。なぜこの設計にしたかといえば、固定的な相手ではなく、攻撃者の進化に合わせて防御側も強化される共進化のループを作り出すことで、モデル単体では思いつかないような巧妙なプロンプトインジェクションを引き出すためである。

評価・考察

実験では、GPT-Red が GPT-5.5 までのモデルに対して一貫して脆弱性を露呈させることが確認された。また、人間によるレッドチーミングチームと比較して、より多くの脆弱性を短時間で発見している。さらに、GPT-Red を用いた敵対的訓練を組み込むことで、挑戦的なチャットプロンプトインジェクションベンチマークにおいて GPT-5.6 の堅牢性が大幅に向上したことが実証された。

応用例と今後の展望

本手法は、商用 LLM や大規模 AI システムを開発するセキュリティチームにおいて、人間依存のレッドチーミングプロセスを自動化するための強力な基盤となる。例えば、国内の金融機関やクラウド事業者（数百人規模のテック企業など）が独自に微調整した機密データ処理 LLM をデプロイする際、本手法を応用した自動脆弱性スキャンをパイプラインに組み込むことで、未知のプロンプトインジェクションに対する防御力を継続的に検証できる。今後は、より強力なモデルの登場に伴い、攻撃側と防御側が互いに高度化していく「自己改善フライホイール」の確立が期待される。

結論

GPT-Red は、大規模な自己対話を通じて LLM の脆弱性を自動発見・克服するスケーラブルな仕組みを提示した。人間を超える攻撃発見能力と、フロンティアモデルの堅牢性向上を両立させたことで、今後の LLM 安全性研究における重要なマイルストーンとなる。

注釈

• プロンプトインジェクション: 悪意あるユーザー入力によって LLM の本来の制約やシステムプロンプトを迂回させ、意図しない動作を引き起こす脆弱性。
• 自己対話（Self-Play）: AI モデル同士が攻撃側と防御側に分かれて対戦・学習を繰り返すことで、人間の介入なしに高度な戦略を獲得する手法。