CloudflareがAI Botをデフォルトブロック｜9月15日に何が変わるのか

「自分のコンテンツをタダで学習データにされ続けてきた。その怒りが爆発した瞬間だった」

2026年7月1日、深夜0時。ニューヨークで開催されたCloudflare主催のパーティーで、大手メディアグループDotdash MeredithのCTOがパブリックに設置された赤いボタンを押した。その瞬間、何百万というページに対するAI trainingクローラーのアクセスが遮断された。パーティー会場には拍手が起きたという（出典：Digiday、2026年7月1日）。

この日は、Cloudflareが命名した「Content Independence Day（コンテンツ独立記念日）」の2年目にあたる。そして同日、2026年9月15日からの新デフォルトポリシーが発表された。AIクローラーを「Search」「Agent」「Training」の3カテゴリに分離し、広告を表示するページではTrainingとAgentをデフォルトでブロックする。

ウェブ上のトラフィックの52%がすでにAIトレーニング目的のクローラーに占められているなか、これはパブリッシャー・開発者・SEO担当者全員に影響する構造転換だ（出典：Cloudflare公式ブログ、2026年7月1日）。

なぜ今、Cloudflareが動いたのか

2025年7月、Cloudflareは第一回「Content Independence Day」を宣言し、AI企業がコンテンツをクロールする際に料金を支払う「Pay Per Crawl」の試験運用を開始した。あれから1年。その結果は数字として明確に出ている。

Cloudflareが公開したデータによれば、2026年6月時点でクローラーリクエストの52%がAIトレーニング目的に変わった。2025年春の時点では22%だったから、1年で倍以上に膨れ上がった計算だ（出典：Cloudflare公式ブログ、2026年7月1日）。

さらに、複数の目的を一つのクローラーに詰め込んだ「マルチパーパス型」が全体の36%超を占める（出典：Cloudflare公式ブログ、2026年7月1日）。これが今回の規制強化の直接的な引き金になった。

Slashdotのコメント欄にはこんな投稿が並んでいた（出典：Slashdot、2026年7月1日）。

「AI企業は人類の知識の審判者、所有者、収集者、配布者だと決め込んでいる。存在するものはすべて自分たちのものだ、と」

パブリッシャーの怒りはここまで蓄積していた。Cloudflareにとって、今回の変更はそのフラストレーションに応える形で自社の存在感を高める一手でもある。

3分類と「9月15日デッドライン」の全体像

今回の変更の核心はAIクローラーを3つのカテゴリに分離管理できるようにした点だ。

カテゴリ	用途	9月15日以降のデフォルト（広告ページ）
Search	検索エンジンのインデックス	許可
Agent	AIエージェントのリアルタイム取得	ブロック
Training	LLMの学習データ収集	ブロック

この変更が適用されるのは：

• 2026年9月15日以降にCloudflareへ新規登録したドメイン
• 既存のFreeプランユーザー全員
• 既存有料プランユーザーが新たに追加するドメイン

すでにCloudflareを使っている有料プランのドメインはすぐには変更されない。ただし「将来的には全ユーザーへの展開を検討」とCloudflareは示唆しており、今から設定を整理しておく方が安全だ（出典：TechCrunch、2026年7月1日）。

最大のリスク：Googlebotが誤ブロックされる

ここが今回の変更で最も注意すべきポイントだ。

GooglebotはGoogle検索のインデックスと、AI Overview・Geminiのトレーニングを同じクローラーで実行する。つまりGooglebotは「Search + Training」の複合目的クローラーに分類される。

Cloudflareの新ルールでは、マルチパーパス型クローラーに対して最も厳格なルールを適用する。Trainingをブロック設定にすると、同じクローラーが行っているSearch機能も遮断される。

Search Engine Journalはこう警告した（出典：Search Engine Journal、2026年7月）。

「Trainingをブロックする設定を有効にしただけで、Googlebotが広告ページにアクセスできなくなる可能性がある。SEOトラフィックへの打撃は計り知れない」

同様にApplebot（Siriの検索）やBingbot（Bing検索＋Copilot）も同じ問題を抱える。

対処法として有効なのは以下の手順だ。

1. CloudflareダッシュボードでSecurity → Botsへ移動
2. 現在のAI botブロック設定を確認する
3. 「Block AI Bots」の旧トグルがオンになっている場合は、新分類（Search/Agent/Training）に移行してSearchを明示的に許可する
4. 9月15日前に設定を再確認する

Cloudflare側もこの問題を認識しており、GoogleやAppleに対して各社のクローラーを用途別（Search専用、Training専用）に分離するよう求めている。ただし各社の対応状況は2026年7月時点では不透明だ。

コンテンツで稼ぐ：Pay Per Crawl の次の一手

今回の発表にはブロックだけでなく、収益化の仕組みも含まれている。

Cloudflareは「Monetization Gateway」のウェイトリストを公開した。これはAI企業がサイトのコンテンツをクロールする際に、サイトオーナーが料金を請求できる仕組みだ。決済にはx402プロトコルとステーブルコインを使う（出典：Cloudflare公式プレスリリース、2026年7月1日）。

Cloudflareの説明によれば、この仕組みは「Pay Per Crawl（クロール単位課金）」から「Pay Per Use（利用単位課金）」へと進化している。コンテンツがAIの回答生成に実際に使われた時点で課金できる設計だ。

この収益化モデルとx402プロトコルの詳細については、以前書いたStripe×CloudflareのAIエージェント決済で詳しく解説している。

パブリッシャーにとっては長年の不満への解答になり得る。一方、懐疑的な意見もある。The Registerはこう指摘した（出典：The Register、2026年7月1日）。

「AI企業がCloudflareのルールに素直に従う保証はない。独自のUser-Agentを偽ったり、分類されないよう新しいクローラーを立ち上げたりすることは技術的に難しくない」

実際、robots.txtを無視したスクレイピングがこれまでも問題になってきた。Perplexity AIがCNNなど大手メディアの著作権コンテンツを無断収集したとして提訴された事案と同じ構図だ。Cloudflareのインフラレイヤーでのブロックは、robots.txtより実効性が高いという意見もある。

パブリッシャーは喜び、開発者は慎重

今回の変更に対するリアクションは明確に2つに割れている。

パブリッシャー側の反応は概して熱烈な歓迎だ。Digiday（2026年7月1日）が報じたパーティーの様子はその象徴だ。「何年もの間、何百万というAIボットクローラーに無料でコンテンツを略奪されてきた怒り」が、ようやく出口を見つけた形だ。

開発者・Webマスター側は警戒モードに入っている。特に日本語圏では設定UIが英語のため、意図せずGooglebotを弾いてしまうリスクが高い。SEOに特化したNytroSEOのガイドが紹介するように、設定の際に「Block AI Bots」という旧来のトグルだけを見て判断すると、新分類との整合性が崩れる可能性がある（出典：NytroSEO、2026年7月）。

さらに、AIエージェントによる自律的なインターネットアクセスが増加するなかで、Agentカテゴリのデフォルトブロックは特定のユースケースで問題を引き起こす可能性もある。たとえば自社のAIエージェントが他のサイトのデータを取得する際に、相手側のCloudflare設定に依存することになる。

まとめ：Webの所有権が問われる転換点

2025年夏にCloudflareが「Pay Per Crawl」を始めてから1年。クローラーの52%がAIトレーニング目的になった現実が示すのは、ウェブの構造そのものが変わり始めているということだ。

Cloudflareの動きは「コンテンツはタダではない」という意志表示として象徴的な意味を持つ。AIが人間の書いたコンテンツをもとに回答を生成し、そのトラフィックを吸収していく構造に、ようやくインフラレイヤーからの抵抗が始まった。

ただし、この仕組みが長期的に機能するかは未知数だ。AI企業がルールに従ってクローラーを分割するかどうか、Monetization Gatewayが実際に収益になるかどうか。どちらも確かめるには時間がかかる。

9月15日までにやるべきことは明確だ。自分のサイトの設定を確認し、Googlebotが誤ブロックされないようにする。それだけで今は十分だ。

---

関連記事

• Stripe×CloudflareのAIエージェント決済とx402プロトコル
• CNNがPerplexity AIを著作権侵害で提訴した訴訟の争点
• JADEPUFFERが示すAIエージェントとランサムウェアの新しい脅威

---

本記事の情報は2026年7月11日時点のものです。Cloudflareのポリシーは今後変更される可能性があります。本記事の内容はCloudflareの動作を保証するものではなく、設定変更の前に必ずCloudflare公式ドキュメントで最新情報を確認してください。本記事の情報を参考にした設定変更によって生じたいかなる損害についても、筆者および当ブログは責任を負いません。