AIクローラーボットは、どれを許可し、どれを遮断すべきか?
GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBotなど、主要なAIクローラーを運営事業者別にまとめました。学習用・AI検索用・ユーザーリクエスト用のボットの違いから、robots.txtでクロールを許可・制限する方法、robots.txtだけでは対応しきれない理由まで解説します。
サマリー
AIクローラーは、学習用、AI検索用、ユーザーリクエスト用の3種類に分けられます。OpenAIやAnthropicは、用途別に異なるボットを運用しています。
学習用のGPTBotを遮断しても、ChatGPT検索での表示はOAI-SearchBotで個別に管理できます。一方、OAI-SearchBotを遮断すると、ChatGPTの検索回答には表示されなくなります。
Google-ExtendedとApplebot-Extendedは、robots.txtで使う設定名です。この名前でWebサイトにアクセスするボットは存在しないため、設定はrobots.txtで行います。
robots.txtは、ルールに従うボットに対して有効です。他のボットを装うアクセス、ユーザーリクエスト用ボット、名前を明かさないAIエージェントには、公式IPアドレス範囲の照合や行動に基づくポリシーで対応する必要があります。
robots.txtで検索ボットを許可しても、ファイアウォールやCDNのボット遮断ルールでリクエストが遮断される場合があります。最後に、実際にアクセスできているかをログで確認します。
サーバーログを見ると、GPTBot、ClaudeBot、PerplexityBotといった見慣れないボット名が増えています。その多くは、AIサービスが運用するクローラーです。ただ、名前を見ただけでは、自社のコンテンツを学習に利用するためなのか、AI検索の回答に引用するためなのか、ユーザーのリクエストを受けてアクセスしているのかは判断しにくいものです。AIが身近になり、AEO(回答エンジン最適化)や GEO(生成エンジン最適化)の観点からAI検索での引用が重視されるにつれ、どのAIボットにアクセスを許可するかがますます重要になっています。
用途を把握せずにAIボットを一律で遮断すると、AI検索での露出機会まで失うおそれがあります。一方、すべてのボットにクロールを許可すると、意図しないデータ収集まで認めることになります。本記事では、主要なAIクローラーを運営事業者別に整理し、ボットごとに許可・遮断を判断する基準を解説します。
AIクローラーとは?
AIクローラーとは、AIサービスがWebページを自動で読み取るためのプログラムです。Webページを読み取る目的に応じて、大きく3種類に分けられます。
種類 | 役割 | 自社サイトへの影響 | 代表的なボット |
|---|---|---|---|
学習用クローラー | AIモデルの学習用コンテンツを大量に収集する | 直接的な流入はほとんどない | GPTBot、ClaudeBot、CCBot |
AI検索用クローラー | AI検索の回答に引用するページをインデックスに登録する | AIの回答に出典として表示され、流入につながる可能性がある | OAI-SearchBot、Claude-SearchBot、PerplexityBot |
ユーザーリクエスト用ボット | AIのユーザーが質問したりリンクを渡したりした際に、対象ページをリアルタイムで読み取る | 実際の顧客がAIを通じて自社サイトを見る経路になる | ChatGPT-User、Claude-User、Perplexity-User |
このほか、GooglebotやNAVERのYetiといった従来の検索エンジンのボットや、リンク共有時のプレビューを生成するソーシャルメディアのボットもあります。同じ事業者が運用するAIボットでも、用途に応じて扱いを分けることが重要です。
運営事業者別の主要AIクローラー一覧
各事業者は、ボットごとの用途とIPアドレス範囲を公式ドキュメントで公開しています。ここでは、サーバーログのUser-Agentに記録される名前をもとに整理します。
OpenAI
ボット | 種類 | 役割 |
|---|---|---|
GPTBot | 学習 | モデルの学習などに利用される可能性のあるコンテンツを収集する |
OAI-SearchBot | AI検索 | ChatGPTの検索結果に表示するページを収集する |
ChatGPT-User | ユーザーリクエスト | ChatGPTユーザーのリクエストに応じて特定のページにアクセスする |
OAI-AdsBot | 広告審査 | ChatGPT広告の掲載用に提出されたランディングページを確認する |
OpenAIの案内によると、OAI-SearchBotを遮断しているサイトは、ChatGPTの検索回答に表示されません。ChatGPTでの引用を目指す場合は、検索用のOAI-SearchBotにアクセスを許可しているか確認してください。GPTBotは学習用です。
Anthropic (Claude)
ボット | 種類 | 役割 |
|---|---|---|
ClaudeBot | 学習 | モデルの学習用コンテンツを収集する |
Claude-SearchBot | AI検索 | Claudeの検索回答に使うページをインデックスに登録する |
Claude-User | ユーザーリクエスト | Claudeユーザーのリクエストに応じてページにアクセスする |
ボット | 種類 | 役割 |
|---|---|---|
Googlebot | 検索 | Google検索のインデックスにページを登録する |
Google-Extended | robots.txtの設定名 | GeminiなどのAIの学習にコンテンツを使用させない場合に指定する。この名前でアクセスするボットは存在しない |
GoogleOther | 汎用 | Googleの社内向け製品や研究に使うコンテンツを収集する |
Perplexity
ボット | 種類 | 役割 |
|---|---|---|
PerplexityBot | AI検索 | Perplexity検索のインデックスにページを登録する |
Perplexity-User | ユーザーリクエスト | Perplexityユーザーの質問に回答する際にページを読み取る |
Meta
ボット | 種類 | 役割 |
|---|---|---|
Meta-ExternalAgent | 学習 | AIの学習や製品改善に使うコンテンツを収集する |
Meta-ExternalFetcher | ユーザーリクエスト | Meta AIユーザーのリクエストに応じてリンク先の内容を取得する |
facebookexternalhit | ソーシャル | FacebookやInstagramで共有されたリンクのプレビューを生成する |
Apple
ボット | 種類 | 役割 |
|---|---|---|
Applebot | 検索 | SiriやSpotlightなど、Appleの検索機能に使うコンテンツを収集する |
Applebot-Extended | robots.txtの設定名 | AppleのAIの学習にコンテンツを使用させない場合に指定する。この名前でアクセスするボットは存在しない |
ログに現れることがあるその他のボット
ボット | 運営事業者 | 種類 | 役割 |
|---|---|---|---|
Yeti | NAVER | 検索 | NAVER検索のインデックスにページを登録する |
bingbot | Microsoft | 検索 | Bing検索のインデックスにページを登録する |
CCBot | Common Crawl | 学習データの提供元 | 公開Webアーカイブを作成する。アーカイブは複数のAI学習用データセットに利用される |
Bytespider | ByteDance | 学習 | AIサービス用のコンテンツを収集する |
Amazonbot | Amazon | 学習・サービス | AmazonのサービスやAIの改善に使うコンテンツを収集する |
DuckAssistBot | DuckDuckGo | AI検索 | DuckDuckGoのAI回答に使うコンテンツを収集する |
MistralAI-User | Mistral AI | ユーザーリクエスト | Le Chatユーザーのリクエストに応じてページにアクセスする |
Google-ExtendedとApplebot-Extendedを遮断リストに追加しても、該当するトラフィックはありません。実際にコンテンツを収集するのはGooglebotやApplebotです。Google-ExtendedとApplebot-Extendedは、robots.txtで設定することで効果を発揮します。
robots.txtでAIクローラーを許可・制限する方法
robots.txtは、Webサイトのルート(例:example.com/robots.txt)に置くファイルで、クローラーにどの範囲まで収集を許可するかを伝えます。ボット名(User-agent)ごとにルールを指定できるため、学習用クローラーを制限しながら、検索用クローラーにはアクセスを許可することができます。
設定時には、次の点に注意してください。
反映までに時間がかかります。OpenAIによると、robots.txtの変更が検索結果に反映されるまで、約24時間かかる場合があります。
クローラーの許可は、検索での表示の前提条件です。実際に引用するかどうかは、各AIサービスが判断します。
ログインや決済などのパスは、クロールを個別に制限することをおすすめします。 クロールを許可するパスと制限するパスを分け、制限するパスを
Disallowで指定できます。
robots.txtだけでは不十分な理由
robots.txtで指定するのは、クローラーに守ってもらうためのルールです。ルールに従うボットに対して有効で、リクエストを実際に通過させるか遮断するかは、サーバーやセキュリティポリシーが制御します。 そのため、次の3つのケースではrobots.txtだけでは管理できません。
1. ユーザーリクエスト用ボットには適用されない場合がある
OpenAIによると、ChatGPT-Userのアクセスはユーザー自身のリクエストに基づくため、robots.txtのルールが適用されない場合があります。他のAIサービスのユーザーリクエスト用ボットでも同様のケースが多く見られます。こうしたボットは、実際の顧客がAIを通じてサイトを訪れる経路でもあるため、どのページにアクセスし、何をしているかを確認したうえで対応を判断するとよいでしょう。
2. AIクローラーを装うボットがいる
User-Agentに記載する名前は任意に変更できます。悪意のあるデータ収集ボットがGPTBotやGooglebotを名乗ってアクセスした場合、robots.txtやボット名だけを指定するルールでは見分けられません。主要な事業者は自社ボットの公式IPアドレス範囲を公開しているため、正規のAIクローラーかどうかは、接続元IPアドレスを照合して確認する必要があります。
3. 名前を明かさないAIエージェントが増えている
AIブラウザーやAIエージェントの中には、ボット名を明かさずに一般的なブラウザーと同じようにアクセスするものがあります。こうしたトラフィックは、robots.txtやボット名のリストでは管理できないため、リクエストの速度やページ遷移などの行動から判断する必要があります。
robots.txtで検索ボットを許可していても、ファイアウォールやCDNのボット遮断ルールによってリクエストが遮断されることがあります。OpenAIが、robots.txtでの許可に加え、公開しているIPアドレス範囲からのリクエストも許可するよう推奨しているのはこのためです。
自社サイトでは、どのボットを許可し、どのボットを遮断すべきか?
判断は、自社サイトで何を優先するかによって変わります。以下は、運用方針を検討する際の例です。
種類 | AI検索での露出を重視(ブランド・B2B・メディア) | コンテンツ・データの保護を重視(報道・価格情報・データベース) | 取引の公平性を重視(チケット販売・EC・金融) |
|---|---|---|---|
一般の検索ボット | 許可 | 許可 | 許可 |
AI検索用クローラー | 許可 | アクセス状況を確認して判断 | 許可(公開ページ) |
学習用クローラー | コンテンツの運用方針に応じて判断 | 遮断 | アクセス状況を確認するか、遮断 |
ユーザーリクエスト用ボット | アクセス状況を確認 | アクセス状況を確認 | アクセス状況を確認し、ログイン・決済は別途制御 |
ソーシャルメディアのプレビュー用ボット | 許可 | 許可 | 許可 |
判断が難しい場合は、2〜4週間、どのボットがどのページにどれだけアクセスしているかを確認してから判断すると安全です。実際のアクセス件数を見れば、露出に必要なボットと、負荷だけを増やすボットを見分けやすくなります。
ユーザーリクエスト用ボットの扱いには、特に注意が必要です。リクエストの背後には実際のユーザーがいるため、一律に遮断すると、AIを通じて自社サイトを見ようとする顧客まで締め出すことになります。この場合、アクセスは許可したうえで、チケット購入・決済・会員登録といった重要な機能で発生する異常な繰り返しリクエストを個別に検知・制限する方法があります。
AIボットの管理では、どのボットに何を開放するかを考える
AIの進化に伴い、今後はAIクローラーのトラフィックがさらに増え、種類も細分化されると考えられます。ボットの名前と用途を把握すれば、検索での露出とコンテンツの保護を両立できる設定が可能になります。
一方、ボットの種類が増えるほど、こうした判断を手作業で続けることは難しくなります。また、サイバー攻撃も相次いでおり、ボットへの対応をどう進めるかが課題になっています。
こうした状況では、運営事業者が公開する公式IPアドレス範囲と照合して主要なAIクローラーを確認し、ボットごとに許可・検知・遮断を設定できるソリューションが必要です。自社のWebサイトには、どのAIボットがどれだけアクセスしているのでしょうか。
よくある質問(FAQ)
Q. GPTBotを遮断すると、ChatGPTの検索結果にも表示されなくなりますか?
ChatGPT検索での表示を担うのはOAI-SearchBotです。GPTBotを遮断しても、OAI-SearchBotを許可していれば検索回答に表示される可能性があります。実際に表示するかどうかはOpenAIが判断します。
Q. ClaudeBotとClaude-Userはどう違いますか?
ClaudeBotはモデルの学習用コンテンツを収集するボットです。Claude-Userは、Claudeユーザーのリクエストに応じてページを読み取ります。Claude検索のインデックス作成は、Claude-SearchBotが別途担当します。
Q. robots.txtでGoogle-Extendedを制限すると、Google検索の結果から外れますか?
Google検索のインデックス作成を担うのはGooglebotです。Google-Extendedは、AIの学習にコンテンツを使用できるかどうかを示す設定名で、Googlebotのインデックス作成には影響しません。
Q. robots.txtを設定するだけで十分ですか?
ルールに従うボットには、robots.txtの設定で対応できます。他のボットを装うアクセス、ユーザーリクエスト用ボット、名前を明かさないAIエージェントは別途管理が必要です。ファイアウォールやボット管理の設定が、許可したボットまで遮断していないかも確認してください。
Q. サーバーログに記録されたボットが正規のGPTBotかどうかは、どう見分けますか?
接続元IPアドレスが、運営事業者の公開する公式IPアドレス範囲に含まれているかを確認します。OpenAIやGoogleなどの主要事業者は、ボットごとのIPアドレス一覧を公開しています。