OpenAI、Google、Microsoftが2026年10月30日、Webサイトのコンテンツを生成AIの学習に使うかどうかを共通のrobots.txt設定で示す仕組みへの支持を発表した。IETFの草案は「__usage_ai-training」という共通トークンを提案する。ただし正式標準ではなく、各社の対応時期も異なる。サイト運営者には、学習利用の制御とAI検索での露出を分けて考える新たな判断が求められる。
30秒でわかる / THE SIGNAL
OpenAI、Google、Microsoftが2026年10月30日、Webサイトのコンテンツを生成AIの学習に使うかどうかを共通のrobots.txt設定で示す仕組みへの支持を発表した。IETFの草案は「__usage_ai-training」という共通トークンを提案する。ただし正式標準ではなく、各社の対応時期も異なる。サイト運営者には、学習利用の制御とAI検索での露出を分けて考える新たな判断が求められる。
AI各社ごとの設定から、共通の意思表示へ
WebサイトがAIの学習利用を望まない場合、これまでは事業者ごとに異なるクローラーや制御方法を確認する必要があった。10月30日、OpenAIとGoogle、Microsoftは、IETFのAI Preferences作業部会で議論される共通方式を支持すると発表した。IETFに提出されたInternet-Draftは、robots.txtに「User-Agent: __usage_ai-training」と書き、その下の「Disallow: /」などの既存ルールで、学習利用に関する希望をサイト全体または特定パスに結び付ける方法を示している。新しい命令文法を増やす方式ではない。
「学習拒否」と「検索に出さない」は別の問題
この共通トークンは、生成AIのモデル学習にコンテンツを使うことへの希望を表すものだ。IETF草案は、クローラーのアクセス自体を停止する指示ではないと明記している。Microsoftも、モデルの学習に使う「AI Training」と、AIの回答を作る際の情報参照に使う「AI Grounding」を別の設定として説明した。学習を拒否しながら回答の情報源としての利用を認める選択肢がある一方、Groundingを拒否するとAI回答内でのブランド露出が減る可能性がある。通常のBing検索結果への掲載資格は、この新しい利用希望の設定だけでは変わらないとMicrosoftは説明する。
実装時期は会社ごとに異なる
共通方式の採用発表は、全事業者で即日機能するという意味ではない。OpenAIは今後数か月での実装を目指し、Googleは2027年の対応を予定する。Googleは、個別のGoogle-Extended設定が明示されていない場合、共通トークンの学習拒否をGoogle-Extendedの拒否として解釈する方針だ。Microsoftは2027年2月1日から、新しい設定をクロール時に尊重すると発表した。従来のNoArchiveまたはNoCacheを利用しているサイトには、2027年3月1日までに新設定へ移行するよう求めている。移行対象のサイトでは、Groundingの一時的な希望をBing Webmaster Toolsにも登録する必要がある。
企業・メディア・個人サイトが今できること
まず自社のrobots.txt、個別のAIクローラー制御、Bing向けのNoArchive/NoCache、AI検索での引用方針を棚卸しする。次に、コンテンツをAI学習へ提供するか、AI回答の参照先として表示されたいかを分けて判断する。Microsoftの旧設定を使う場合は移行日程を管理する。ただし新方式はまだ正式なIETF標準ではなく、各社実装の完了時期や適用範囲を継続確認する必要がある。robots.txtは希望を伝える仕組みであり、過去に収集されたデータの削除や、従わない第三者による収集防止を保証するものではない。