AI 爬虫检测器——你的网站对 ChatGPT、Claude 和 Perplexity 开放吗?
AI 爬虫检测器
输入任意域名或 URL 以读取其 robots.txt ,查看 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫是否被允许抓取。
X / Y 个 AI 爬虫被允许
AI 爬虫
参考:搜索引擎爬虫
输入任意域名或 URL 以读取其 robots.txt ,查看 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫是否被允许抓取。
AI 爬虫
参考:搜索引擎爬虫