Cloudflare、AI クローラーの分離を義務化──2026年9月15日より「混合型」の遮断をデフォルト化
検索と学習を兼ねるクローラーを制限し、パブリッシャーが AI 企業から対価を得る「Pay Per Use」モデルを推進する。
リリース: 2026-07-01 · 読了 3 分記事の要約
1. 核心（What）
- Cloudflare は 2026年9月15日より、検索と AI 学習を兼用する「混合型」クローラーを、広告掲載ページからデフォルトで遮断する方針を発表。
- 対象は新規顧客、既存顧客の新規サイト、およびすべての無料プランユーザー。
- 「Pay Per Crawl」市場を「Pay Per Use」へ進化させ、コンテンツが AI の価値創出に寄与した際にサイト所有者が課金できる仕組みを導入。
- Ceramic.ai および You.com と提携し、AI 検索結果にコンテンツが表示された際に報酬が発生するモデルを開始。
2. 影響（Why）
- AI モデル開発のコスト構造の変化: これまで無料で取得できていた学習データに対し、今後は「利用量ベース」の課金が標準となる。AI プロダクトを開発する企業は、データ調達コストをあらかじめ予算に組み込む必要がある。
- 国内メディア・コンテンツ事業への影響: Web メディアを運営する国内の企業や中規模パブリッシャーは、Cloudflare の設定を調整することで、AI 企業との直接的な収益化交渉を自動化できる。これまで「ただ乗り」されていたコンテンツから収益を生む転換点となる。
3. 根拠・詳細（How）
- クローラー分離の技術仕様: Cloudflare のエッジネットワークでクローラーの挙動を解析し、検索ボットと AI 学習ボットの機能が混在するトラフィックを識別して遮断する。データ分析では、AI クローラーのトラフィックの 50% 以上が変更のないページの再取得に費やされていることを確認済み。
- Pay Per Use の実装: Ceramic.ai および You.com との API 連携により、コンテンツの「表示」や「アクセス」をトリガーとして課金イベントを生成する。他の AI 企業もこのモデルを自社システムに組み込み可能な仕様。
4. 展望・課題（Next）
- 業界標準化への課題: Google をはじめとする大手検索エンジンが提供する既存のオプトアウト機能（Google Extended 等）との競合や、クローラー分離の定義を巡る AI 企業との対立が残る。