セキュリティ検証データセット AI コーディングエージェント権限承認ゲーム統計を公開──4万回プレイから判明した人間の看過率 33%
AIコーディングエージェントのコマンド承認タスクにおける人間の検知精度を4万回のプレイデータから検証し、偽装された脅威に対する高リスクな看過実態を明らかにした。
リリース: 2026-08-05 · 読了 3 分記事の要約
1. 核心（What）
- 40,000回以上のゲームセッションと409,000件の承認・拒否判断に基づく人間の脆弱性データを公開した。
- 平均的なプレイヤーの脅威看過率は33.7%（正確性66.3%）であり、3脅威に1つを見逃している。
- セッションの32.9%がペナルティによりマイナススコアで終了し、35.2%のプレイヤーのみが全脅威を検知した。
- bundle analyzer等を装う難読化されたコマンド（npm run analyzeなど）は通常の流出攻撃の約2倍となる52.5%の確率で承認された。
2. 影響（Why）
- エージェント監視における認知的限界の露呈: 頻繁な安全なコマンド提示によるパーミッション疲労により、開発者が履歴ログの細部を見落とし、巧妙に隠蔽された機密流出コマンドを承認してしまうリスクが数値化された。
- 国内受託・SIer組織におけるエージェント導入の指針: 国内の受託開発やSIer企業において、AIコーディングエージェントのサンドボックス化なしでの運用は、ヒューマンエラーによる機密流出の温床となるためポリシー再設計が必要になる。
3. 根拠・詳細（How）
- 4万回以上のプレイログに基づく統計分析: プレイヤーの承認・拒否判断データを集計し、脅威の混入率約34%の条件下における平均精度や、セッション終盤でのパフォーマンス低下傾向を検証した。
- 難読化されたパッケージスクリプトの検証: package.json内のスクリプト経由で外部サーバーへ機密データを送信するペイロードを隠す手法を用い、通常のコマンドと比較して約2倍の承認率になる傾向を実証した。
4. 展望・課題（Next）
- 自動判定機能による補完の必要性: 単純な手動承認モデルの限界を受け、Claude CodeのAuto Modeのような自動安全性判定や、環境分離の徹底に向けた検証が進む見通し。