WordPress向けrobots.txtの作成方法（初心者向けガイド）

すべてのWordPressサイトには、毎日数十の自動クローラーが訪れます——GoogleやBingなどの検索エンジン、AhrefsやSemrushなどのSEOツール、そしてOpenAIのGPTBot、AnthropicのClaudeBot、PerplexityBotといった新しい世代のAIボットです。これら全員に、何を取得してよくて何を取得してはいけないかを伝える唯一のファイルがrobots.txtです。本ガイドでは、WordPress向けのrobots.txtを正しく作る方法を解説します：ファイルの役割、2026年に重要となるルール、2分以内で有効なファイルを生成する手順です。

Robots.txtファイルとは？

robots.txtは、ウェブサイトのルートディレクトリに置かれるプレーンテキストファイルです。行儀の良いクローラーのほとんどは、ページを1つリクエストする前に、まずhttps://yoursite.com/robots.txtをリクエストし、中の指示を読み取ります。これらの指示はRobots Exclusion Protocolという標準に従い、Google、Bing、DuckDuckGo、Yandex、そして主要なAIベンダーが理解しています。

最小限のWordPress向けrobots.txtは次のようになります：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

平易な言葉に訳すとこうなります：「すべてのユーザーエージェント（*）に対し、/wp-admin/以下はクロールしないこと——ただし、多くのWordPressテーマやプラグインが動作に必要とする/wp-admin/admin-ajax.phpは例外です。」

ルールの各ブロックはUser-agent:行で始まり、1行以上のDisallow:またはAllow:行が続きます。ブロックはいくつあっても構いませんし、クローラーがコンテンツをより早く発見できるよう、ファイル内でSitemap:の場所を宣言することもできます。コメントは#文字で始まり、クローラーには無視されます。

WordPressサイトにとってrobots.txtが重要な理由

機密エリアを守ります。WordPressのダッシュボード、ログインページ、サイト内検索結果は、検索インデックスに入るべきものではほとんどありません。適切に選んだ数行のDisallowルールで、クローラーを締め出せます。

クロール効率を改善します。Googleは各サイトに有限のクロールバジェットを割り当てています。ボットがそのバジェットをファセット検索結果、タグアーカイブ、コメント返信リンクのクロールに浪費すると、重要なページの発見と更新が遅れます。

重複コンテンツを防ぎます。WordPressは同じコンテンツに対して多くのURLを生成しがちです——たとえば/?s=keywordの検索ページや、?replytocomパラメータ付きのURLなど。robots.txtでこれらのパターンをブロックすれば、Googleが重複URLをクロールするのを防げます（完全にインデックスから外したい場合は、canonicalタグやnoindexディレクティブが適切なツールです）。

AIモデルがコンテンツをどう扱うかを決めます。これは最新の、そして多くの場合最も戦略的な理由です。OpenAI、Anthropic、Google、Perplexity、Meta、Amazon、Appleはすべて、あなたのページでモデルを学習させたり、AI回答の中で引用したりするクローラーを運用しています。その可視性を求める場合も（ジェネリーティブエンジン最適化（GEO））、オプトアウトしたい場合も、その選択を記録する場所がrobots.txtです。特定のボット向けのルールを書かなければ、GPTBotなどのクローラーは単に汎用のUser-agent: *ルールに従います——個々のクローラーを別々に制御できるのは、ボット固有の明示的な宣言だけです。

正直な注意点を1つ：robots.txtは礼儀プロトコルであり、セキュリティ機構ではありません。まっとうな企業はこれを尊重しますが、悪意あるスクレイパーは完全に無視します。本当に非公開のデータをrobots.txtだけで守ろうとしないでください——その用途には認証を使います。

WordPress向けrobots.txtの作り方（手順）

ステップ1：robots.txtファイルが既にあるか確認する

ブラウザでhttps://yoursite.com/robots.txtを開きます。結果は3パターンのいずれかです。ルールが表示されれば、サイトルートに実在のrobots.txtファイルが既にあります。シンプルな3行のファイル（/wp-admin/をブロックし/wp-admin/admin-ajax.phpを許可）が表示されれば、WordPressが仮想robots.txtをその場で生成しています——これはパーマリンク設定が有効で、実ファイルが存在しない場合に自動的に起こります。404が出ればファイルはまだ存在しないので、作成しましょう。

ステップ2：検索エンジンとAIクローラーの方針を決める

ルールを書く前に、実際に何を望むのかを決めます。よくある戦略は3つです。WordPress標準ポリシーは、ダッシュボード・ログインページ・検索結果をブロックしつつ、すべての検索エンジンにサイトを開放します。GEO／AIフレンドリーポリシーはそれと同じ方針に加え、GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Google-ExtendedなどのAIクローラーを明示的に許可し、AIエンジンがコンテンツを学習・引用してよいことを示します——ChatGPT、Claude、Perplexity、AI Overviewsからのトラフィックを求めるパブリッシャーには魅力的です。厳格保護ポリシーは、主要な検索エンジンボットのみを許可し、AI・学習・SEOクローラーを完全にブロックします。

ステップ3：無料のRobots.txtジェネレーターでルールを生成する

正しいファイルを最速で作る方法は、無料のRobots.txtジェネレーターを使うことです。前述の3つのプリセット——WordPress標準、GEO／AIフレンドリー、厳格保護——をすべて内蔵しているため、難しい思考は済んでいます。プリセットを選び、サイトマップURLを入力すれば（SEOプラグインを入れているほとんどのWordPressサイトではhttps://yoursite.com/sitemap_index.xmlです）、プレビューがリアルタイムで更新されます。結果をコピーすることも、robots.txtとしてそのままダウンロードすることもできます。

ステップ4：特定のボット向けにカスタムルールを追加する

プリセットでは足りませんか？ジェネレーターでは、カスタムのユーザーエージェントグループを追加でき、各グループに複数行のDisallow・Allowリストを持たせられます——たとえば、AhrefsBotとSemrushBotをブロックしてサーバーリソースを節約するグループや、Googlebotだけを許可するグループなどです。一般的なクローラーの一覧（それぞれ1行の説明付き）と、ワンクリックのAllow・Blockボタンも用意されています。手作業でルールを書きたい場合は、要点を忘れずに：ルールは大文字小文字を区別する、値なしの裸のDisallow:は「すべて許可」を意味する、Disallow: /は「サイト全体をブロック」を意味する——後者のルールを公開するのは、意図的なときだけにしましょう。

ステップ5：robots.txtをサイトルートにアップロードする

robots.txtはドメインのドキュメントルートに置き、ファイル名は小文字のrobots.txtそのものである必要があります。標準的なWordPressインストールでは、wp-config.phpとwp-contentディレクトリがあるのと同じフォルダです。ダウンロードしたファイルは、ホスティング業者のファイルマネージャー、SFTP、またはWP-CLIでアップロードできます：wp eval 'file_put_contents(ABSPATH."robots.txt", file_get_contents("robots.txt"));'。Yoast SEOやRank MathなどのSEOプラグインには、設定内で仮想robots.txtを提供できるものもあります——すべてをWordPress内で管理したい場合に便利です。

ステップ6：ファイルを検証し、監視する

アップロード後、プライベートブラウザウィンドウでhttps://yoursite.com/robots.txtを取得し、新しいバージョンが配信されていることを確認します。次に、Google Search Consoleのrobots.txtレポート（設定セクション内）を確認します。Googleがファイルを最後に取得した日時とステータスが表示されます。なお、旧robots.txtテスター（URLを入力し、ユーザーエージェントを選んでテストする機能）は2023年9月に廃止されたため、ルールをテストするにはサードパーティのバリデーターを使うか、Robots.txtジェネレーターの検証済みプリセットと自分のファイルを参照テンプレートとして比較します。重要なページが突然検索から消えたら、robots.txtのタイプミスは最初に排除すべき原因の1つです。デプロイのたびに再検証してください。迷子のDisallow: /1行が、サイト全体を静かにデインデックスさせることがあります。

WordPress向けrobots.txtのベストプラクティス

小さく正しいrobots.txtは、大きく賢いものに勝ります。次の経験則がトラブルから守ってくれます：

• CSSやJavaScriptファイルをブロックしない。Googleはフルブラウザでページをレンダリングします。テーマのアセットを読み込めないと、ページは技術的には「許可」されていても順位が下がることがあります。
• ファイルは小さく保つ。ほとんどのサイトは20行未満で足ります。ルールが1つ増えるたびに、ミスの機会も1つ増えます。
• サイトマップは必ず宣言する。Sitemap:行は、新しいクローラーが投稿やページをより早く発見する助けになります。被リンクの少ない新規サイトでは特に重要です。
• AIポリシーは明示的に決める。沈黙のデフォルトは、ベンダーごとに予測不能に解釈されつつあります。GPTBotやClaudeBotなどを許可するにせよブロックするにせよ、書き留めてください——Robots.txtジェネレーターのプリセットなら、この判断はワンクリックです。
• プライバシー目的でrobots.txtに頼らない。robots.txtでURLをブロックしても、そのURL自体は悪質なボットにはクロール可能で、ディスクリプションなしで検索結果に表示されることさえあります。非公開コンテンツにはDisallowではなくログインが必要です。
• 四半期ごとに見直す。新しいボットは絶えず登場し、サイト構造も変化します。数ヶ月ごと、そして移行やリデザインの後には必ずファイルを再確認してください。

よくある質問

WordPressでrobots.txtファイルはどこに置けばよいですか？

ファイルはドメインのドキュメントルートに置きます——wp-config.phpがあるのと同じディレクトリで、共用ホストでは通常public_htmlまたはwwwという名前です。正確にhttps://yoursite.com/robots.txtで到達できる必要があります。サブフォルダにネストされていたり、大文字を含む名前だったりすると、クローラーは無視します。

WordPressはrobots.txtファイルを自動的に作成しますか？

はい。パーマリンク設定が有効で実在のrobots.txtがない場合、WordPressは/wp-admin/をブロックし/wp-admin/admin-ajax.phpを許可する仮想ファイルをその場で生成します。意図的に最小限の作りです。サイトマップ宣言、AIクローラー向けルール、カスタムのDisallowパスを追加するには、実ファイルを作成して（またはSEOプラグインを使って）サイトルートにアップロードしてください。

robots.txtでGPTBotのようなAIクローラーをブロックするには？

停止したいボットごとに専用グループを追加し、サイト全体のDisallowを設定して、これらのグループをデフォルトのUser-agent: *ブロックより手前に置きます。たとえばUser-agent: GPTBotに続けてDisallow: /と書けば、OpenAIの学習データからオプトアウトできます。ClaudeBot、PerplexityBot、CCBot、Google-Extended、Bytespider、meta-externalagentにも同様に繰り返します——または、無料のRobots.txtジェネレーターの厳格保護プリセットを使えば、これらのブロックをすべて自動出力してくれます。

robots.txtでGoogleの検索結果からページを削除できますか？

いいえ。robots.txtでURLをブロックするのはクロールの禁止であり、インデックスの禁止ではありません。他のサイトがそのURLにリンクしていれば、Googleは依然としてリスト表示できます——スニペットやディスクリプションなしで表示されるだけです。検索から完全に削除するには、代わりにnoindexメタタグまたはX-Robots-Tag HTTPヘッダーを使い、クローラーがディレクティブを見られるようページには到達可能にしておきます。

悪いrobots.txtファイルはWordPressのSEOに害を及ぼしますか？

もちろん。User-agent: *の下にDisallow: /の1行があるだけで、準拠クローラーすべてに対しサイト全体がブロックされ、/wp-content/や/wp-includes/をブロックするとGoogleのページレンダリングが壊れることがあります。robots.txtの変更は即座に有効になり、検索エンジンにキャッシュされるため、アップロード前に必ずテストしてください——Search Consoleのrobots.txtレポートや、検証済みプリセットからの生成で確認できます。

2分で始めよう

これで、robots.txtの役割、クラシックなSEOとAI可視性の両方で重要な理由、WordPress向けの作成・アップロード・検証の方法がわかりました。Robots.txtジェネレーターにアクセスし、戦略に合うプリセットを選び、サイトマップを追加して、本番対応のファイルをダウンロードしましょう——未来のクローラートラフィック（そしてAI時代の可視性）が感謝してくれます。