Google・OpenAI・Anthropic・MSが統一AIクロール拒否標準に合意|robots.txt新仕様
「うちのrobot.txtにGPTBotのブロックを書いたのはもう1年以上前。それ以来、新しいAI企業が出るたびに追記してきたが、正直もうどのクローラーがどこの会社か把握しきれていない」
こうつぶやいたWebマスターへの共感がRedditのr/webdevで広がったのは2026年10月のことだ。AIトレーニング向けクローラーが乱立し、出版社や個人ブログが「追いかけっこ」を続けてきたこの問題に、主要AI4社が一つの回答を出した。
2026年10月30日、Google・OpenAI・Anthropic・Microsoftは、robots.txtに統一トークンを書くだけで4社のAIトレーニングクロールに一括して拒否の意思を伝えられる新しい仕組みへの対応を表明した(出典: SiliconANGLE「Google, Anthropic and others to support new AI crawling opt-out standard」、2026年10月30日)。
- サイトのrobot.txtでAIクロールを管理したいWebマスター・エンジニアの方
- コンテンツ権利やAIスクレイピングに関心のある出版社・ライターの方
- AI企業の自主規制と法規制の動向を追うPM・政策担当者の方
- Anthropic・Google・OpenAIの動向をウォッチしている方
robots.txtに__usage_ai-trainingトークンを書けば、Google・OpenAI・Anthropic・Microsoftの4社のAIトレーニングクローラーに一括して拒否の意思を表明できる。Anthropicはすでに対応済み。他の3社は2027年順次対応予定。ただし法的拘束力はなく、過去に収集済みのデータには遡及しない。opt-out方式(デフォルト許可)への批判も根強い。
robots.txtの「クローラーごとに書く」問題
robots.txtは1994年に普及した古いプロトコルだ。特定のUser-Agentに対してどのパスを許可・禁止するかを指定する。もともとは検索エンジンの巡回を制御するためのものだが、2022年以降AIトレーニング用クローラーが急増したことで、「全部のAIクローラーを止めたいのに、会社ごとに別々に書かなければならない」という問題が顕在化した。
例えばOpenAIのクローラーをブロックするにはGPTBot、ChatGPTの閲覧を止めるならChatGPT-User、Google拡張機能のAI学習はGoogle-Extendedなど、会社ごと用途ごとにUser-Agentが異なる。AnthropicのClaudeBot、PerplexityのPerplexityBotと、追加すべきルールは2026年時点で10社以上に達していた(出典: DEV.to「OpenAI, Google, Microsoft and Anthropic to support a unified AI training opt-out token in robots.txt」、2026年10月)。
この追跡作業の負担を一気に解消しようとするのが、Anthropicエンジニアのケビン・ケリーがIETFに提出したドラフト仕様だ。ドラフト名はdraft-kelley-aipref-training-preference-signal-00、提出日は2026年10月30日(出典: AI-TLDR.dev「IETF aipref AI training opt-out token」)。
新トークンの仕様と設定方法
仕様の核心はシンプルだ。robots.txtに__usage_ai-trainingというUser-Agentグループを書き、その下にDisallowルールを記述する。
User-agent: __usage_ai-training
Disallow: /
# プレスキットは許可する場合
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
重要な制約が2点ある。まずUser-Agent: *の汎用グループはこのトークンを兼ねない。__usage_ai-trainingグループを明示的に書かないと、トレーニング学習向けの意思表示はしていないとみなされる。次に、このドラフトはIETFの正式標準ではなく個人提出のドラフトであり、現時点では法的拘束力を持たない(出典: Unite.ai「Google Plans Support for Shared Robots.txt AI Training Control」)。
4社の対応タイムラインと温度差
4社が一律に対応するわけではない。対応状況には明確な温度差がある。
| 企業 | 対応状況 | 予定時期 |
|---|---|---|
| Anthropic | 対応済み | 即時有効 |
| OpenAI | 対応予定 | 「数ヶ月以内」(時期未定) |
| Microsoft | 対応予定 | 2027年2月1日 |
| 対応予定 | 2027年内(時期未定) |
出典: CCTest.ai「AI giants back a shared opt-out signal for web scraping」、2026年10月
ドラフトを提案したAnthropicが最速で対応しているのは当然として、GoogleとMicrosoftは2027年内という大ざっぱな約束にとどまっている。ドラフトの提出から対応完了まで14ヶ月以上かかる可能性がある計算だ。
「Anthropicがすでに動いているのは評価するが、Googleが2027年というのは正直遅すぎる。その間うちのコンテンツは学習され続ける」という出版社の声がThe Vergeのコメント欄に並んだ(出典: The Verge経由 ua.news「OpenAI, Google and Microsoft back AI crawler standard」、2026年10月30日)。
メリットと限界:これで十分か
メリット
一番大きな実利は「書く量が減る」ことだ。今後AI企業が増えても、対応を表明している企業ならこのトークン一つで済む。IETFドラフトとして公開されることで、まだ対応を表明していない企業も参照できる共通フォーマットができた。パスごとの細かい制御(プレスキットは許可、記事本文は禁止など)も標準的な書き方で表現できる。
限界
限界は4つある。第一に、このトークンは今後のクロールにしか効かない。すでに学習済みの過去データは対象外だ。第二に、遵守を強制する手段がない。クローラーがこのトークンを守るかどうかの外部検証手段が現時点では存在しない(出典: Progressive Robot「AI Scraping Opt-Out: The Surprising Risk for Publishers」、2026年10月31日)。第三に、opt-out方式であり「デフォルト許可」だ。何も書かない状態は学習を許可しているとみなされる。第四に、GoogleはAIトレーニングと通常検索のクロールに同一クローラーを使っているケースがあり、AIだけ止めることは難しい構造的問題が残る。
opt-out vs opt-in:出版社の本音
英国の大手メディアグループDMG Mediaは、今回の仕様が「opt-out」(デフォルト許可)方式であることに強く反対している。「コンテンツを作った側がデフォルトで使われる側になるのはおかしい。許可を取ってから使うopt-in方式にすべきだ」という主張だ(出典: SiliconANGLE)。
Cloudflareは独自の対応として、2026年9月15日から新規サインアップと無料プランのサイトに対してAIクローラーのデフォルトブロックを適用し始めている(出典: GagAdget「Google, OpenAI, Anthropic and Microsoft back one AI opt-out」)。また、英国競争・市場庁(CMA)は2026年6月3日、GoogleがパブリッシャーにAIオーバービューへのオプトアウトを検索ランキングへの影響なしに提供することを義務付ける規制を発動しており、法規制でも圧力が高まっている。
「今回の統一トークンは一歩前進だが、根本的な問題は解決しない。交渉力の非対称性が変わらない限り、技術的解決策では補えない」というチェコの出版社協会の声明が、業界全体の本音を代弁している(出典: PPC.Land「Czech publishers get new robots.txt shield against AI scrapers」)。
このトークンに対応していない企業(PerplexityなどIETFドラフト外の企業)のクローラーはこのトークンを無視する。今後しばらくはGPTBot、ClaudeBot、Google-Extendedなどの個別ルールと並行して設定する必要がある。
AIクロールと著作権の動向を継続ウォッチ
このIETFドラフトは現在コメント期間中で、2027年5月3日までに更新または廃止される見込みだ。正式標準化の動向や各社の対応完了時期については随時更新する。
関連記事
- Anthropic使用ポリシー改定2026年11月版|フリーランスが押さえるチェックリスト
- Anthropic Claude利用停止ポリシー|モデル虐待禁止と11月改定の内容
- Anthropic S-1公開申請を読む|H1収益163億ドル・赤字807億ドルの実態
- AIエージェントのMCPハイジャック問題。SentryとClaude Codeの事例
免責事項: 本記事は公開情報をもとにした解説であり、法的アドバイスや投資アドバイスではない。IETFドラフトは正式標準ではなく今後変更される可能性がある。robots.txtの設定効果については各自で確認されたい(2026年11月1日時点)。