AIレビュー検証ツール、わざとバグを仕込み合否ラベルの信頼性を測定──5問中3問が「差し戻し」も実質的中は1問のみ
Claude CodeやCopilotの「OK」判定をそのまま信じる危険性を、既知のバグを仕込んだ抜き打ちテストで実測した。
リリース: 2026-08-29 · 読了 4 分記事の要約
1. 核心（What）
- 公開前の記事レビューパイプラインに対して、意図的に5つの既知のバグ（数値のすり替えや捏造など）を仕込んだ7つのバリアントを作成してテストを実施した。
- パイプラインの既定AI（gpt-oss-120b）が28回、別のAI（OpenAI Codex）が一部のバリアントを判定し、合計38回のジョブを実行した。
- 5問中3問のバグで「差し戻し」ラベルが出たが、実際に仕込んだ箇所を正確に名指しできていたのは5問中1問のみであった。
- 完全に捏造した「50回の独立試行で確認した」という一文は、成功した6回の判定すべてで「合格」となり、ゼロ件の差し戻しであった。
2. 影響（Why）
- 合否ラベルの盲信リスク: 「問題ありません」という結果だけを信じると、AIが自己生成したもっともらしい捏造や検証されていない主張を見落とす。
- 国内開発チームへの影響: [国内受託開発・SaaS企業] の開発現場でコーディングエージェントの「OK」判定をコードレビューの代替にする場合、ラベルの数だけでなく指摘の具体性を確認するプロセスが必須になる。
3. 根拠・詳細（How）
- 検証の実行構成とAIモデル: gpt-oss-120b と OpenAI Codex の2種類のAIモデルを用い、4つの専門チェック役（根拠チェック係など）を通じて合計38回のジョブを実行して検証した。
- バリアント生成の自動化スクリプト: 変更前の文字列がソース中にちょうど1回しか出現しないことをスクリプトで機械的に強制し、変更点を1つだけに絞った7つのバリアントを作成した。
4. 展望・課題（Next）
- コードレビューへの適用拡張: 本検証は記事レビューを対象としており、コーディングエージェントのPRレビューにおける同様の検証や追跡は今後の課題となる。