unslop.run、arXiv 論文の AI 生成率を調査──最新四半期で約 32% が AI 指標に該当
2021-2022 年の論文を対照群とし、偽陽性率 0.4% に固定した検出器で 12,750 本の論文を分析した結果、Computer Science 分野で 65% に達した。
リリース: 2026-07-21 · 読了 5 分記事の要約
1. 核心（What）
- arXiv に投稿された 12,750 本の論文を対象に、AI 生成テキストの混入率を調査。
- ChatGPT 登場前の 2021-2022 年の論文を基準とし、偽陽性率 0.4% でキャリブレーションを実行。
- 最新の四半期において、全体の約 32% が AI 生成テキストの指標に該当することを確認。
- 分野別では Computer Science が 65% で首位、Mathematics が 0.7% で最下位となった。
2. 影響（Why）
- 学術的整合性の再定義: 論文全体の 1/3 が AI 指標に該当する事実は、従来の「人間による執筆」という前提が崩れていることを示す。研究者は、AI 支援を前提とした執筆プロセスの透明性を確保する新たなガイドラインを策定する必要がある。
- 国内研究機関への影響: 国内の学術出版や助成金審査を行う組織は、AI 検出器のスコアに過度に依存せず、分野ごとの特性（数式・図表の多寡）を考慮した評価手法を取り入れるべきである。
3. 根拠・詳細（How）
- 検出器の設計と検証: 2021-2022 年の論文 2,000 本をコントロール群とし、偽陽性率を 0.4% に固定して閾値を設定。各論文の PDF バージョン 1 を全量解析し、抽象部（Abstract）ではなく本文全域をスコアリング対象とした。
4. 展望・課題（Next）
- 検出の限界と課題: Mathematics 分野のように数式や記号が支配的な論文では、検出器のプロンプトや学習データとの乖離により、AI 使用率が過小評価される可能性がある。今後は分野特化型の検出モデルの開発が求められる。