AIクローラーはrobots.txtで許可すべき？判断基準と設定方法・最新動向

robots.txtでAIクローラーを許可するかどうかの判断基準は、「AI検索経由の露出を増やしたいか」と「コンテンツの二次利用・無断学習を防ぎたいか」のどちらを優先するかで決まる。ニュースサイトやオウンドメディアのように多くの読者に情報を届けることを目的とするサイトは、AIクローラーを許可してAI検索の回答内で引用される機会を確保する方向が合理的である。

会員限定コンテンツや有料記事、独自調査データを含むページは、無断で学習・要約されることを避けたい場合に拒否を選ぶ理由がある。サーバー負荷が高いサイトや、クローラーによるアクセス増加が直接コストに跳ね返る場合も、拒否を検討する材料になる。

どちらか一方に決め切れない場合は、ページ単位・ディレクトリ単位で許可と拒否を使い分ける方法や、学習用クローラーのみ拒否し検索応答時に参照するクローラーは許可するという折衷案も現実的な選択肢である。判断に迷う場合は、まず現状どの程度AIクローラーからのアクセスがあり、AI検索でどの程度言及・引用されているかを計測してから方針を決めると精度が上がる。

主要なAIクローラーには、学習データ収集用・検索応答時の参照用・ユーザー操作時のみ動くfetch型という3つのタイプがある(出典: koukoku.jp)。学習用にはOpenAIのGPTBot、AnthropicのClaudeBot、GoogleのGoogle-Extendedなどがあり、検索用にはPerplexityのPerplexityBot、AppleのApplebot-Extended、OpenAIのOAI-SearchBotなどが該当する。ユーザーfetch型の代表例はOpenAIのChatGPT-Userで、ユーザーが質問した際にリアルタイムでページを取得する点が学習用クローラーとは異なる(出典: qiita.com)。

このほか、Amazonbot(Amazon)など事業者ごとに独自のクローラーを運用しているケースもあり、これらはGooglebotのような通常の検索クローラーとは別物として扱う必要がある(出典: lolipop.jp)。Googleは2023年9月28日にGoogle-Extendedの提供を開始しており、Webパブリッシャーが自社コンテンツのAI学習利用可否を個別に制御できる仕組みを整えている(出典: qiita.com)。

クローラーの種類ごとに役割が異なるため、「AIクローラー」を一括りにDisallowすると、検索応答時の参照まで止めてしまい、AI検索での引用機会を意図せず失う可能性がある点に注意が必要である。

robots.txtでAIクローラーを制御する場合は、対象のUser-agentごとにAllowまたはDisallowディレクティブを記述する。例えばGPTBotにサイト全体を許可する場合は次のように書く。

User-agent: GPTBot Allow: /

逆にサイト全体へのアクセスを拒否する場合は次のように書く。

User-agent: GPTBot Disallow: /

特定のディレクトリのみ制御したい場合は、Allow: /blog/やDisallow: /members/のようにパスを指定する。複数のクローラーをまとめて扱いたい場合でも、1行のUser-agent指定で複数の名称を並べることはできないため、クローラーごとにUser-agent行とディレクティブを繰り返し記述する必要がある。記述後はrobots.txtがサイトのルート直下(例: example.com/robots.txt)に配置されているかを確認する。WordPressの場合は仮想robots.txtが自動生成されるが、パーマリンク設定が「基本」の場合やサブディレクトリにインストールしている場合は自動生成されないことがあるため、実際にファイルへアクセスして内容を確認しておく必要がある(出典: blog.seeds.ne.jp)。

robots.txtだけではAIクローラーの完全なブロックは保証できない。robots.txtはRFC 9309で標準化された仕様だが、記述内容にクローラーを従わせる強制力はなく、あくまでクローラー側の自主的な遵守に委ねられる「お願い状」に過ぎない(出典: kusanagi.biz)。実際に2024年には、Perplexityがrobots.txtでブロックされているサイトに対して非公開IPアドレスを使い、過去3カ月間に数百回スクレイピングしていたことがWIREDの調査で指摘され、AWSが調査を開始した事例がある(出典: qiita.com)。

より強制力のある制御を行いたい場合は、サーバーレベルで特定のUser-agentやIPアドレスからのアクセスを拒否する.htaccessによる設定が選択肢になる。.htaccessはrobots.txtより設定の難易度は上がるが、クローラーの巡回意図に関わらずアクセス自体を遮断できる点で効果が高い(出典: lolipop.jp)。

WordPressサイトであれば、管理画面からUser-agentごとの許可・拒否を設定できるプラグインを使う方法もあり、robots.txtやサーバー設定を直接編集する必要がないぶん、専門知識がなくても運用しやすい(出典: lolipop.jp)。

許可と拒否のどちらを選ぶべきかは、サイトの収益モデルとAI検索での露出をどう位置づけるかによって決まる。広告収益や認知拡大を重視するメディア・ブログでは、AI検索の回答内で引用されることが新たな流入経路になり得るため、許可する方針が検討しやすい。許可のデメリットとしては、コンテンツがそのまま要約されることでサイト本体への遷移が減る可能性や、サーバーへのアクセス増加によるコスト増が挙げられる。

会員制サービスや有料コンテンツを提供するサイトでは、拒否する方針が合理的な場合がある。拒否のデメリットは、AI検索の回答内で自社コンテンツが引用・言及される機会自体を失い、AI経由の認知拡大が期待できなくなる点である。企業の公式サイトでは、問い合わせや採用情報など広く知られたい情報は許可し、社内資料や個人情報を含むページは拒否するといった使い分けも考えられる。

最終的な判断に一律の正解はなく、自社のコンテンツの性質と、AI経由の流入をどこまで重視するかを踏まえて決める必要がある。

設定後は、robots.txtの文法チェックと、実際のクローラーアクセス・AI検索での引用状況の両方を確認する必要がある。まずrobots.txtの記述に誤りがないかを検証ツールで確認し、意図したUser-agentとディレクティブが正しく反映されているかを見る。次にサーバーのアクセスログで対象クローラーの実際のアクセス有無を確認するが、設定直後は反映までに時間がかかるため、数日から数週間程度の期間を置いて再確認することが望ましい。

robots.txtの設定だけでは、実際にChatGPTやGoogle AI Overviews、Perplexityなどの回答内で自社コンテンツが引用・言及されているかまでは分からない。この計測を自動化する手段として、ChatGPT・Gemini・Google AI Overviews・AIモード・Claude・Perplexityの6プラットフォームでの言及・引用状況を毎日計測できる「AIOプレス」のようなツールを使う方法がある。AIOプレスは「AIに引用されない」状態を自動検出し、対策記事の生成から公開まで人手をかけずに行う点が特徴で、AIクローラーの来訪やAI経由流入の計測、llms.txt・構造化データの自動配信にも対応している。まず自社サイトの現状を把握したい場合は、登録不要・無料でブランド名を入力するだけの約1分程度のAIブランド診断から始める方法もある。

なお、専門会社にAIO対策を依頼する場合、料金相場は月額30万円からとする会社もあれば、5万円〜30万円程度と幅を持たせている会社もあり、初期費用が高めに設定されがちである(出典: lab.llmo-optimization.com)。AIOの効果検証には最低でも3〜6か月程度の継続的な支援期間が必要とされるため、契約前に中途解約時のペナルティなど条件を確認しておくことが推奨される(出典: geo-code.co.jp)。

この記事は次の情報源を参考に、2026年8月時点の情報で作成しています。

・ロリポップのWordPressサイトでAIクローラーの許可・拒否のコントロールを設定する方法│教えて！レンタルサーバーのこと - ロリポップ！レンタルサーバー(lolipop.jp) ・robots.txtを使って自社コンテンツを生成形AIから守る方法とは｜SEEDS knowledge(blog.seeds.ne.jp) ・AI クローラーの robots.txt 対応って、どこまで対策できる？(kusanagi.biz) ・robots.txtファイルを使用してAIクローラーをブロックする方法 #Security - Qiita(qiita.com) ・GMO AIかんたん集客 | マーケティング情報メディア(koukoku.jp) ・AIO対策会社おすすめ16選｜支援範囲・費用・選び方を徹底比較(lab.llmo-optimization.com) ・【最新】AIO対策会社おすすめ比較｜選び方、料金相場を徹底解説！(geo-code.co.jp)