米軍、AI のハルシネーションにより中国船への武装作戦を中止──誤認された貨物情報が指揮系統を通過
AI チャットボットが生成した誤った核関連部品の積載情報をアナリストが公式サマリとして流通させ、一歩手前で衝突が回避された。
リリース: 2026-09-18 · 読了 3 分記事の要約
1. 核心（What）
- 米軍が今春、AI チャットボットのハルシネーションが引き金となった中国船への武装作戦を土壇場で中止した。
- Special Operations Command のアナリストがオープンソースデータと機密信号情報を合成する際に AI を使用し、貨物マニフェストが誤認された。
- 誤った分析結果は公式なサマリとして指揮系統全体に流通し、軍用機がすでに飛行している状態で発見された。
- このインシデントは、AI の導入速度を優先するあまり不十分な人間による監督が招いたリスクを浮き彫りにしている。
2. 影響（Why）
- 意思決定プロセスの構造的リスク: 1M トークンの処理や高速なキルチェーン構築を目的とした LLM 導入において、誤情報が検証されずに指揮系統の最上部に到達するリスクが実証された。
- 国内の防衛・安全保障関連への波及: 防衛装備品やミッションクリティカルなシステムを開発する国内の重工業・通信事業者（従業員数千人規模）は、LLM の出力に対する厳格な二重検証プロセスを設計に組み込む必要がある。
3. 根拠・詳細（How）
- 情報生成と流通のメカニズム: Special Operations Command のアナリストがオープンソースデータと機密信号情報を合成するために AI チャットボットを使用し、誤った貨物マニフェストを生成した上で、別のプロンプトで公式風のサマリに整形してチャネルに流通させた。
4. 展望・課題（Next）
- 防衛分野におけるガードレール強化: 作戦計画やターゲティングなど生死に関わる判断において、AI の不確実性を理解し、適切な人間による監視とガバナンスルールを義務付ける動きが強まる。