Robots.txtジェネレーター——無料オンラインツール

Robots.txtジェネレーター

プリセットを選び、ルールを調整して、本番対応の robots.txt をWordPressサイト用にコピーまたはダウンロードしましょう——登録不要です。

1. プリセットを選択 検索エンジンとAIクローラーの基本ポリシーを設定します。

2. サイトマップ 検索エンジンがコンテンツをより速く発見できるようになります。

複数のサイトマップはスペース・カンマ・改行で区切ります。例： https://example.com/post-sitemap.xml https://example.com/page-sitemap.xml

3. カスタムUser-agentグループ プリセットに追加されます。1行に1ルール。

主要クローラーリファレンス 各ボットの役割と、ワンクリックの許可/ブロックルール。