Discord、AI モデレーションのバグで 8,000 以上のアカウントを誤 BAN
スプレッドシートやチェス盤などの無害な画像を有害と誤判定した事象に対し、Discord は全アカウントの復旧を進めると発表した。
リリース: 2026-07-07 · 読了 3 分記事の要約
1. 核心（What）
- 過去2ヶ月間で 8,000 以上のアカウントが AI モデレーションの誤判定により凍結された。
- スプレッドシート、チェス盤、ゲームテクスチャ、透過背景画像が有害コンテンツとして誤検知された。
- 週末に追加で 200 アカウントが凍結された後、Discord チームがバグを特定し修正を完了した。
- 現在、影響を受けた全アカウントの復旧作業が進行中。
2. 影響（Why）
- 自動検知の信頼性リスク: AI モデレーションの誤判定は、プラットフォームの信頼性を損なう致命的なリスクとなる。特に業務やコミュニティ運営に Discord を利用するユーザーにとって、自動的なアカウント停止は事業継続性を脅かす。
- 国内事業者への教訓: 国内のコミュニティ運営 SaaS やゲーム系プラットフォーム事業者は、AI モデレーション導入時に「人間による最終確認」をバイパスするバグを許容しない多重のガードレール設計が必須である。
3. 根拠・詳細（How）
- 誤検知の発生メカニズム: アップロードされた画像を既知の有害コンテンツデータベースと照合する類似性マッチング技術を採用。本来は人間による確認を経て措置を講じる設計だが、バグによりプロセスがスキップされ即時凍結が実行された。
- 誤判定を誘発したパターン: ユーザーの報告によると、グリッド状のパターンが過剰に反応された可能性がある。これは過去に NSFW や児童搾取コンテンツの隠蔽手法としてグリッドが利用されていたことに起因する検知感度の設定が影響した。
4. 展望・課題（Next）
- 再発防止策の策定: Discord は今回の事態を受け、自動化システムが誤ってアカウントを即時停止させないよう、より厳格なセーフガードの構築を進めている。