OpenAI・Google・Microsoft・Anthropic、AI学習の可否をrobots.txtでまとめて伝える共通トークンに対応へ - 開始時期は各社で異なる

OpenAI・Google・Microsoft・Anthropic、AI学習の可否をrobots.txtでまとめて伝える共通トークンに対応へ - 開始時期は各社で異なる

AI学習への利用を拒否する意向を、robots.txtの1つのグループで複数のAI企業に伝える「__usage_ai-training」がIETFに草案として提出され、4社が対応を表明した。既存のUser-Agent: *の記述は意向として扱われない。Microsoftは2027年2月1日から尊重し、学習とは別にグラウンディングの設定も設ける。

ウェブサイトの運営者が、自分のコンテンツを AI の学習に使ってほしくないという意向を、robots.txt の1か所の記述で複数の AI 企業に伝えられるようにする仕組みが、2026年10月30日に IETF(Internet Engineering Task Force)へ草案として提出された1。草案が定めるのは __usage_ai-training という「policy token」で、Google と Microsoft は同じ日にそれぞれ対応の計画を発表した34。

The Verge によれば、OpenAI、Google、Microsoft、Anthropic の4社が、このトークンを見つけたサイトでは自社の AI クローラーを制限するとしている6。これまでは、学習を拒否したければ AI 企業ごとに用意されたクローラー名や制御用の名前を調べ、1社ずつ robots.txt に書く必要があった。ただし各社の対応開始の時期はそろっておらず、草案もまだ IETF の合意を得た標準ではない。

robots.txt にどう書くか

新しい文法は追加されていない。robots.txt の通常のグループを作り、User-Agent 行にクローラー名の代わりに __usage_ai-training を書く1。サイト全体で学習を拒否する場合、Microsoft の案内では次のようになる4。

User-Agent: __usage_ai-training
Disallow: /

Disallow: /example-path/ のようにパスを指定すれば、その配下だけに意向を示せる。草案は、/press-kit/ 以外のすべてのパスで学習に反対し、/press-kit/ では賛成する、という書き分けの例も示している。照合は RFC 9309(robots.txt の仕様)と同じパスの照合と最長一致の優先順位で行う2。

草案から読み取れる運用上の注意点は3つある1。

  • User-Agent: * は一致しない。草案は、ワイルドカードのグループをこのトークンに一致したとみなしてはならないと定める。User-Agent: __usage_ai-training の行がない robots.txt は、何の意向も示していない扱いになる。提案者は、現在公開されている robots.txt はすべてこの状態だと説明している2
  • クロールの可否とは別物である。このトークンはコンテンツの「利用」についての意向で、クロール動作の指示ではない。各クローラー名に対するルールは従来どおりに解釈され、クロール自体を止めたい場合はクローラー名のグループを書く
  • 対象は生成 AI の学習に限られる。トークンの意味は、IETF の AI Preferences(AIPREF)ワーキンググループの語彙の草案にある「AI Training」の定義から取っている。生成 AI モデルの学習済みパラメータを変えるために使うことを指し、生成以外のタスクだけに使うモデルの学習は含まない

草案は、具体的な表明を一般的な表明より優先すべきだとしたうえで、各社が自社固有のトークンのルールを __usage_ai-training より具体的なものとして扱うと文書化してよいとしている1。両方を書いたサイトでどちらが効くかは、各社の説明を見て確かめることになる。

各社の対応時期

企業説明時期
Anthropic草案の提案者が、Anthropic はサポートの実装を始めたと投稿。既存のクローラー制御を補うもので、全サービスへの対応には時間がかかるとしている2実装を開始
OpenAIThe Verge によれば、今後数か月で実装するとしている6今後数か月
Googleこのトークンで学習を拒否し、Google-Extended を明示していないサイトは、Google-Extended を disallow したのと同じに扱う計画32027年のサポートを目指す
Microsoftrobots.txt の設定をサイト・パス単位で、ページ単位の設定を個々のページに適用する42027年2月1日からクロール時に尊重

The Verge は提案者の Kevin Kelley を Anthropic の標準化担当の技術リードと紹介している6。Google は2023年から提供している Google-Extended が引き続き機能するとし、Google-Extended を明示的に許可したサイトは、Gemini アプリでグラウンディングを通じて回答に表示されクリックを受けられる対象になると書いている3。Anthropic のヘルプには、ClaudeBot を制限するとそのサイトの今後のコンテンツを学習データから除外する意向を示すことになる、という既存の説明がある5。提案者の投稿も、Anthropic の対応は既存のクローラー制御を置き換えるものではないとしている。これに対し Microsoft は、後述のとおり既存の指定を新しい意向に置き換える。

Microsoft は「学習」と「グラウンディング」を分けた

Microsoft は共通の学習の意向に加えて、独自の「AI Grounding」の意向を設けた4。グラウンディングは、AI が回答を生成するときにコンテンツを入力として使うことを指し、従来の検索結果への索引付けや順位付けは含まない。考え方は RAG に近い。学習は拒否しつつ、回答の生成には使えるようにしておく、といった組み合わせができる。

  • AI Training: robots.txt でサイト・パス単位に設定するほか、Microsoft はページ単位にも広げた。<meta name="Bingbot" content="ai-training:disallow"> または X-Robots-Tag: Bingbot: ai-training:disallow で指定し、ページ単位の設定が robots.txt より優先される
  • AI Grounding: ページ単位だけで、robots.txt でサイト全体に設定する方法はない。Allow(既定)、Disallow のほかに、AI Mode、AI Overview、Copilot、Microsoft 365 など Microsoft が運営する体験には使わせ、Web IQ や Foundry の API 経由など第三者向けのグラウンディングには使わせない DisallowExtended を選べる
  • どちらも、意向を示していなければ既定は Allow になる。これらの設定は従来の Bing 検索結果への掲載資格を変えず、ライセンスや支払いの取り決めを成立させるものでもない。Microsoft は、DisallowExtended や Disallow を選ぶと AI が生成する体験での露出が大きく下がると注意している

新しい意向は、学習とグラウンディングについて既存の NoArchive・NoCache を置き換える4。NoArchive・NoCache で AI での利用を制限してきたサイトには、次の移行日程がある。

  • 2026年12月15日: 同日時点で NoArchive・NoCache を使っているサイト向けに、Bing Webmaster Tools で一時的なグラウンディングの設定が使えるようになる
  • 2027年2月1日: Microsoft がクロール時に新しい意向を尊重し始める
  • 2027年3月1日: この日以降、NoArchive・NoCache は学習・グラウンディングの意向として読まれなくなる。グラウンディングの制限を保つには、この日までにページへ新しい意向を書き、Bing Webmaster Tools に一時設定を記録する必要がある。学習には一時設定がなく、robots.txt かページ単位の記述が必要になる
  • 2027年9月30日: 一時設定が失効する(それより前に再クロールで新しい意向が見つかったページは、その時点で置き換わる)

Microsoft は、設定を公開しただけでは有効にならず、ページをクロールして見つけるまで反映されないとも書いている4。

まだ草案で、決まっていないこと

今回のドラフトは個人名義で提出された -00 版で、IETF の承認を受けたものではなく、有効期限は2027年5月3日である1。提案者は、ワーキンググループで進めている「意向をコンテンツに結びつける方法」の議論への入力として提案したと説明している2。Microsoft も、ワーキンググループの作業は最終的な標準に向けて続いていると書いている4。Google は、この提案が EU AI Act の汎用 AI モデル提供者向け行動規範と整合すると説明する3。行動規範は robots.txt を、ウェブの出版者が機械で読める形で意向を示す主要な方法と位置づけているという。

草案は、個別の契約がこの仕組みで示した意向に優先しうるとも定めている1。

AI 企業ごとに個別の書き方が必要な状況は、自サイトでも何度か扱ってきた。Meta の商用規約の改定では、Meta は学習用・広告用・検索用とクローラーを用途別に分け、拒否したいクローラーごとに robots.txt に書く方式を案内していた。その後 Meta は発効前に規約から「学習」の文言を削った。報道機関の訴訟でも、Newsday が OpenAI と Common Crawl の双方に robots.txt でクロールを禁じていたと訴状で主張している。共通トークンが広く尊重されるようになれば、学習の拒否を1社ずつ追いかける手間は減ると考えられる。一方で、クロールや検索・回答での引用をどう扱うかは、引き続き各社の仕組みで決めることになる。

サイト運営者がいま確認すること

自社サイトやブログの robots.txt を管理している場合は、次の点を見ておくとよい。

  • 学習を拒否したいなら、User-Agent: __usage_ai-training のグループを明示的に書く必要がある。User-Agent: * の Disallow はこのトークンには効かない
  • 対応の開始時期が各社でずれるため、当面は Google-Extended や ClaudeBot など既存の各社向けの記述も残しておくのが無難と考えられる。共通トークンと各社向けの記述で異なる意向を書いた場合の優先順位は、各社の説明を確認する
  • Bing で NoArchive・NoCache を使って AI での利用を制限してきたサイトは、2027年3月1日までに新しい意向への移行が必要になる。学習とグラウンディングで別々に決める
  • Microsoft の場合、グラウンディングを拒否すると Copilot などの AI が生成する体験での露出が下がる。学習だけを拒否するのか、回答の生成での利用も拒否するのかを分けて判断する

Sources

  1. Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) - IETF Internet-Draft(2026年10月30日)
  2. New draft: draft-kelley-aipref-training-preference-signal-00 - IETF AI Preferences WG メーリングリスト、提案者の投稿(2026年10月30日)
  3. Supporting a shared AI training control for websites - Google Search Central Blog(2026年10月30日)
  4. Your content, your choice: clearer preferences for training and grounding - Microsoft Bing Blog(2026年10月30日)
  5. Does Anthropic crawl data from the web, and how can site owners block the crawler? - Claude ヘルプセンター(2026年10月31日確認)
  6. The biggest names in AI are backing a new way to opt out of scraping - The Verge(2026年10月30日)

最新のAIニュースをほぼ毎日更新しています。

RSSで購読する 更新をいち早くチェックできます。

他のキーワードで探す →