ニュースメディアの AI クローラー対応比較

ChatGPT・Claude・Gemini・Perplexity などの AI は、学習用クローラーと検索（回答）用クローラーの 2 種類を使います。ニュースメディアは robots.txt でそれぞれを受け入れるか拒否するかを決めており、その違いは AI 検索結果での引用の有無に直結します。当サイトが 2026 年 9 月に実測した 1221 媒体のデータを基に、対応の実態をまとめます。

学習用と検索用でクローラーが違う

AI 企業は大きく 2 種類のクローラーを運用しています。

学習用クローラー（training crawler）

GPTBot（OpenAI）・Claude-Web（Anthropic）・Google-Extended（Google）・CCBot（Common Crawl）など。サイトの文章を読み、AI モデルの学習データに使います。メディアの多くはこれを拒否しています。

検索用クローラー（search / realtime crawler）

ChatGPT-User / OAI-SearchBot（OpenAI）・PerplexityBot（Perplexity）・Google-Other（Google）など。 AI 検索（ChatGPT 検索・Perplexity・Google AI モードなど）がリアルタイムの情報を取得するために使います。学習用よりは受け入れているメディアが多いものの、依然として多くの媒体が拒否しています。

実測：1221 媒体の AI クローラー対応

例えば全国紙の朝日新聞デジタルは学習用・検索用の全クローラーを拒否しているのに対し、共同通信社や専門メディアの Impress Watchは比較的受け入れています。各媒体の詳細な対応状況はそれぞれのページで確認できます。

対応	学習用クローラー	検索用クローラー
全て拒否	97（8%）	70（6%）
一部拒否	57（5%）	47（4%）
拒否なし	701（57%）	738（60%）
不明	143（12%）	143（12%）

取得日: 2026-09-18。各媒体の robots.txt を実測。robots.txt を取得できなかった媒体は「不明」に計上。

メディアの種別ごとの傾向

全国紙は学習用・検索用の両方でほぼ全てのクローラーを拒否しています。一方、地域のニュースサイトや専門メディアは比較的受け入れている傾向があります。これは、全国紙が著作物の AI 学習への利用を特に強く懸念しているためと考えられます。

AI 検索での引用を狙うなら、検索用クローラーを受け入れている媒体が有利です。当サイトの AI 検索クローラーを拒否していない一覧で確認できます。

llms.txt というもう一つの手段

robots.txt がクローラーの「拒否」を伝えるのに対し、llms.txt は AI に「どのページを読んでほしいか」を伝えるファイルです。サイトのトップディレクトリに置くことで、AI 検索（ChatGPT 検索・Perplexity・Gemini など）がそのサイトの構造を認識しやすくなります。

当サイトの実測では 1221 媒体中 9 媒体が llms.txt を提供しています。各媒体の詳細ページで llms.txt の有無を確認でき、llms.txt に対応している媒体の一覧は別ページでご覧いただけます。

robots.txt で学習を拒否していても llms.txt があれば AI 検索がサイトを認識しやすくなるため、 AI 検索からの流入を増やすには両方の設定を理解して使い分けることが重要です。

よくある質問

ニュースメディアの AI クローラー対応はどう調べられますか？

当サイトでは1221媒体のrobots.txtを実測し、学習用クローラー7種と検索用クローラー4種の拒否の有無を媒体ごとに一覧できます。各媒体の詳細ページで個別の対応状況を確認でき、まとめて比較するにはカテゴリ・地域ごとの一覧ページをご利用ください。

学習用クローラーと検索用クローラーの違いは？

学習用クローラー（GPTBot・Claude-Web・Google-Extendedなど）はAIモデルの学習データ収集に使われ、多くのメディアが拒否しています。検索用クローラー（ChatGPT-User・PerplexityBotなど）はAI検索（ChatGPT検索・Perplexity）がリアルタイム情報を取得するために使われ、学習用よりは受け入れている媒体が多いです。

全国紙はAIクローラーを拒否していますか？

全国紙は学習用・検索用の両方でほぼ全てのクローラーを拒否しています。一方、地域のニュースサイトや専門メディアは比較的受け入れている傾向があり、メディアの種別によって対応が大きく異なります。

AI検索で引用されやすいメディアの特徴は？

AI検索（ChatGPT検索・Perplexityなど）で引用されるには、検索用クローラーを受け入れていることが重要です。当サイトの実測では1221媒体中738媒体が検索用クローラーを拒否しておらず、こうした媒体はAI検索の回答に引用されやすい傾向があります。

llms.txtとは何ですか？

llms.txtはAIに「どのページを読んでほしいか」を伝えるファイルで、サイトのトップディレクトリに置きます。robots.txtがクローラーの拒否を伝えるのに対し、llms.txtはAI検索（ChatGPT検索・Perplexity・Geminiなど）にサイトの構造を認識させやすくします。当サイトの実測では9媒体がllms.txtを提供しています。

まとめ

AI クローラーの対応はメディアの種別や規模によって大きく異なります。学習用クローラーは8% の媒体が拒否しているのに対し、検索用クローラーは6% の拒否と、やや受け入れ側に傾いています。

AI検索クローラーを拒否していない媒体一覧やAI学習を全て拒否している媒体一覧で、それぞれの対応を取る媒体をまとめて比較できます。各媒体の詳細は図鑑の朝日新聞や日本経済新聞などのページをご覧ください。