Robots.txt 校验器——免费在线检测工具

Robots.txt 校验器

Robots.txt 决定 Google、GPTBot 及所有其他爬虫可以抓取哪些页面。一个拼写错误就可能隐藏整站——或让 AI 爬虫进入你本不希望开放的区域。粘贴文件（或通过 URL 抓取）以检查语法，然后在下方用真实 URL 测试规则。

需要先修复？ 使用免费的 Robots.txt 生成器构建规范的 robots.txt · AI 爬虫检测器