Cloudflare、ロボット制御ツール Bot Preference Sync を公開──robots.txt の設定不整合を解消
Cloudflare ダッシュボードでの AI ボット設定と robots.txt を自動同期し、ポリシーの矛盾によるクロールの不具合を防止する。
リリース: 2026-08-21 · 読了 3 分記事の要約
1. 核心（What）
- Cloudflare はダッシュボードの AI ボット設定と robots.txt を自動同期する Bot Preference Sync を発表した。
- 設定内容は既存の robots.txt の先頭にプリペンド（挿入）され、従来の Disallow ディレクティブは保持される。
- BotBase で追跡される Verified ボットのリストを活用し、Search・Agent・Training のカテゴリごとに動的に制御を行う。
2. 影響（Why）
- 設定の不整合による競合の解消: robots.txt の記述とエッジのブロック規則の食い違いによってクローラーが意図しない挙動を起こす問題を構造的に解決する。
- 国内メディア・EC サイトへの実用性: [国内 Web メディア運営企業] のような組織では、手動による静的ファイルのメンテミスがなくなるため、AI クローラー対策の運用品質が安定する。
3. 根拠・詳細（How）
- robots.txt への自動プリペンド処理: Cloudflare ゾーンレベルのダッシュボード設定に基づき、既存ファイルの先頭へ自動生成された Disallow ルールを追加する仕様。
- BotBase による動的リスト更新: BotBase で追跡される最新の Verified ボット情報を定期参照し、検索・エージェント・学習のカテゴリ単位でリストを自動メンテナンスする。
4. 展望・課題（Next）
- 既存顧客への移行プロセス: レガシーの管理型 robots.txt を利用中の既存顧客に対しては、今後の正式展開に向けて新しい Bot Preference Sync への確認・移行が順次促される。