lyc8503、LLM 生成テキスト検知ツール AITextDetector を公開──古典的 ML で 85% の精度を実現
複雑な LLM 推論に頼らず、TF-IDF と LinearSVC を用いてブラウザ上で動作する軽量な検知器を実装した。
リリース: 2026-03-01 · 読了 5 分記事の要約
1. 核心（What）
- TF-IDF と LinearSVC を組み合わせた古典的な機械学習モデルにより、LLM 生成テキストを文単位で約 85% の精度で判別可能。
- Gemini や DeepSeek V3.2 など 7 種類の LLM を用いて約 1 万件の学習データを生成し、二値分類器を構築。
- モデルを JavaScript に移植し、ブラウザ上の WebAssembly 環境で推論を実行する軽量な実装を採用。
- 複数のモデルによる多数決投票（Majority Voting）を採用し、誤検知を抑制。
2. 影響（Why）
- なぜ古典的 ML が有効か: LLM 推論を用いた perplexity ベースの検知はコストと精度の面で実用的ではないが、単語選択の統計的パターンに注目する古典的手法は、低リソース環境でも高速かつ安定した判別を可能にする。
- 国内 SaaS 開発への示唆: コンテンツ管理を行う国内のメディア・コミュニティ運営事業者は、高額な LLM API を叩く前に、本手法のような軽量な検知器をフィルタとして先行導入することで、インフラコストを大幅に削減できる。
3. 根拠・詳細（How）
- モデル構成とデータ処理: scikit-learn の TF-IDF をベクトル化器として使用し、LinearSVC で分類。7 つのモデルごとの二値分類器を作成し、2 つ以上のモデルが AI と判定した場合にフラグを立てる多数決方式を採用。
- ブラウザ実装の最適化: ONNX 経由ではなく、TF-IDF と SVM の計算ロジックを直接 JavaScript に移植することで、外部サーバー不要の完全なブラウザ完結型推論を実現。
4. 展望・課題（Next）
- 今後の課題: LLM 同士の蒸留による類似性向上により、モデル間の境界が曖昧になっているため、より多様なモデルに対する頑健性の検証が必要。