Robots.txtバリデーター——無料オンラインチェッカー

Robots.txtバリデーター

Robots.txtは、Google・GPTBotほかすべてのクローラーがどのページを取得してよいかを決めるものです。わずかなタイプミスでサイト全体が隠れたり、意図しないAIクローラーを招き入れたりします。ファイルを貼り付ける（またはURLから取得する）と構文をチェックし、下で実際のURLをルールに対してテストできます。

クロールテスト