Known Agents、AI ボット動向の調査データと偽装スキャン対策指標を公開──5,000 サイトのトラフィック解析に基づく
5,000 以上の Web サイトを対象に AI エージェントやクローラーの挙動を追跡し、ClaudeBot 等を騙る偽装スキャンの実態を可視化する指標を提供している。
リリース: 2026-01-01 · 読了 3 分記事の要約
1. 核心（What）
- Known Agents が 5,000 以上の参加サイトを対象にした AI ボットのトラフィック・セキュリティ統計のインデックスを公開した。
- ClaudeBot などの著名な AI ボットの身元を騙りながら、検証済み IP や Web Bot Auth などの認証を通過しない偽装スキャンを計測している。
- robots.txt の記述に対する各ボットの遵守率を推定する「Robots.txt Effectiveness」指標を算出し、日次で更新している。
2. 影響（Why）
- 偽装ボット対策の必要性: AI 企業やサードパーティ製スクレイパーが身元を偽ってアクセスするケースが増えており、単純な User-Agent 判定に依存した従来のアクセス制御が無効化しているため。
- インフラ負荷の正確な把握: 人間によるトラフィックと AI アシスタント・検索クローラーによるリアルタイム取得を分離して計測し、サーバーリソースの最適化を図るため。
3. 根拠・詳細（How）
- 認証ベースの偽装検知仕様: 既知の AI エージェントの識別情報を名乗りながら、検証済み IP や Web Bot Auth による公式認証メソッドを通過しないリクエストを偽装訪問として判定している。
- Robots.txt 効力の観測機構: 許可された基準サイト群におけるエージェント別のベースライン活動量を元に、禁止ルール（Disallow）が適用された際のトラフィック減少量を比較して有効性を推定する。
4. 展望・課題（Next）
- 参加サイトの拡大と網羅性: 接続・切断や活動閾値の変動に応じて、Google AdSense の分類に準拠した参加サイトのサンプリングを継続的に調整する予定。