如何检查 AI 爬虫能否访问你的站点（分步指南）

ChatGPT、Claude、Perplexity 和 Google 的 Gemini 不再仅凭训练时记住的内容回答问题——它们会阅读实时网络、引用来源，并在答案中推荐链接。你的网站能否出现在这些答案里，很大程度上取决于一个小文件里的几行代码：robots.txt。在本指南中，你将学会在一分钟内检查 AI 爬虫能否访问你的站点、像专业人士一样解读结果，以及发现 GPTBot、ClaudeBot 或 PerplexityBot 被拒之门外时该怎么办。如果你曾自问”我的网站是不是被 ChatGPT 屏蔽了？”，答案就躺在你的根目录里，我们将一起把它读出来。

AI 爬虫访问权限为什么重要

二十年来，自然曝光只意味着一件事：在 Google 和 Bing 上取得排名。这个世界依然重要，但已不再是全部图景。如今数以百万计的人把研究的起点放在 AI 助手里，当助手引用某个来源时，那个来源就赢得一次点击、一次提及和一分信任。这门新兴学科常被称为 GEO——生成式引擎优化（Generative Engine Optimization）——而 GEO 的第一步简单得让人不好意思：确保 AI 系统能真正读到你的内容。

AI 公司派出专用爬虫抓取页面。OpenAI 用的是 GPTBot，Anthropic 用的是 ClaudeBot，Perplexity 用的是 PerplexityBot，它们都会在抓取前检查你的 robots.txt，与 Googlebot 的做法完全一样。如果爬虫发现一条屏蔽它的规则，就会悄无声息地跳过你的站点。没有警告，没有邮件，也没有 Search Console 式的通知。你的页面只是永远不会进入该厂商的训练数据、索引或答案流水线。这可能正是你想要的——也可能只是从某份复制粘贴的 robots.txt 模板继承下来的意外。

无论哪种情况，都有实实在在的商业后果。放行爬虫，你的内容就能被 AI 助手引用、总结和链接，而这类引用正带来越来越多的引荐流量。屏蔽它们，你保住了对内容的完全控制，代价是 AI 曝光。唯一明确的输家策略，是不知道自己处于哪种局面。一次五分钟的审计就能消除这种不确定。

如何分步检查 AI 爬虫能否访问你的站点

第 1 步：打开 AI 爬虫检测器

前往免费的 AI 爬虫检测器工具。它通过服务端请求抓取任意站点的 robots.txt，对照九个最重要的 AI 爬虫逐一评估，并加上 Googlebot 和 Bingbot 作为参照。无需安装，也无需注册。

第 2 步：输入你的域名

输入你的域名，例如 example.com，或粘贴站点上的任意完整 URL——博客文章、产品页都可以。工具会自动规范化地址，只保留源（origin），并向根目录请求 /robots.txt。你不需要输入协议。

第 3 步：读取汇总行

你首先看到的是一行类似”9 个 AI 爬虫中 7 个被允许”的标题。这一句话就回答了”谁能进来？”。其下方，每个爬虫各占一行，带一个彩色状态标签，并配一句话解释为什么得到该判定。

第 4 步：理解四种状态

• Allowed（绿色）——爬虫可以抓取。如果只是部分路径被排除，例如 /wp-admin/，说明文字会显示具体生效的 Disallow 规则。
• Blocked（红色）——匹配到的规则组包含 Disallow: /，即对该爬虫屏蔽整站。
• No rule（灰色）——没有规则针对这个爬虫。按照 robots 排除协议，无规则即完全许可，因此该爬虫默认被允许。
• Warning（黄色）——匹配到的规则组混用 Allow 和 Disallow 指令，访问权按路径逐条判定，值得人工看一眼。

第 5 步：手动验证（可选但推荐）

在浏览器中打开 https://yoursite.com/robots.txt，亲自读一遍。寻找点名你关心的爬虫的 User-agent: 行，及其后跟的规则。记住两条解读金律：精确的 User-agent: GPTBot 组会覆盖通用的 User-agent: * 组，且匹配不区分大小写。如果你维护 WordPress 站点，想深入了解这个文件本身，请阅读我们关于如何为 WordPress 创建 robots.txt的指南。

第 6 步：修复需要修复的地方

发现了并非本意的屏蔽？删除或收窄那条 Disallow 规则，或用 Robots.txt 生成器从零生成一份干净、GEO 友好的文件。然后重新运行 AI 爬虫检测器确认改动生效——整个循环约一分钟。

主流 AI 爬虫一览

你不必记住互联网上的每一个爬虫，但这六个名字覆盖了你将要做出的绝大多数与 AI 相关的抓取决策。以下事实反映各厂商已发布的文档。

GPTBot（OpenAI）

GPTBot 是 OpenAI 用于抓取网页内容的爬虫，这些内容用于训练和改进其现有及未来的模型。OpenAI 公开了该 token，并文档化了如何用 robots.txt 允许或屏蔽它，这使它成为被审计最多的 AI 爬虫。屏蔽 GPTBot 会阻止 OpenAI 的模型训练抓取；放行它则意味着你的公开页面可能进入训练语料。

ChatGPT-User（OpenAI）

ChatGPT-User 是配套 token，只在真人 ChatGPT 用户明确要求助手打开或浏览某个链接时才会抓取页面。它由用户触发，而非自主运行。屏蔽模型训练爬虫的站点有时会有意放行用户触发的 token，让页面在真人提出请求时仍可被读取。

ClaudeBot（Anthropic）

ClaudeBot 是 Anthropic 的爬虫，用于收集训练和改进 Claude 模型所需的网页内容。Anthropic 也文档化了用于用户发起抓取和搜索的相关 token，因此如果 Claude 上的曝光对你重要，请先对照 ClaudeBot 检查规则，再检查配套 token。

PerplexityBot（Perplexity）

PerplexityBot 由 Perplexity AI 运营，抓取用于回答用户问题、并喂给 Perplexity 回答引擎索引的页面。由于 Perplexity 的产品是带引用的实时问答，能否被 PerplexityBot 抓取，直接决定你能否在 Perplexity 答案中作为被引用来源出现。

Google-Extended（Google）

Google-Extended 是 Google 发布的特殊 robots.txt token，让站点所有者控制自己的内容是否帮助改进 Google 的生成式 AI 产品，例如 Gemini 应用和 Vertex AI。它不是传统的搜索爬虫：屏蔽 Google-Extended 不影响 Google Search 的收录和排名，放行它也不保证被纳入。它纯粹是一个 AI 训练与 grounding 的退出开关。

CCBot（Common Crawl）

CCBot 属于 Common Crawl——一个构建免费开放网页档案的非营利组织。该档案被研究人员和 AI 团队广泛用作训练数据，因此许多模型构建者从不直接抓取你的站点，而是消费 Common Crawl 的副本。屏蔽 CCBot 会把你的站点从未来的抓取快照中移除，但无法移除已被归档的页面。

管理 AI 爬虫访问的最佳实践

自己做决定，而不是继承一个。最糟糕的 robots.txt 是那些没人记得是谁创建的。无论你选择开放还是限制，写下来，每半年复查一次。

精确屏蔽，而不是一刀切。User-agent: * 下一条笼统的 Disallow: / 会用一行代码把你的站点从 Google、Bing 和所有 AI 助手中移除。如果你只想阻止某一家厂商，请在它自己的组里点名该厂商的 token。Disallow: /wp-admin/ 这类局部屏蔽没有问题，也在预期之中——它们排除私有路径，不触碰你的内容。

把用户触发的爬虫考虑在内。屏蔽训练爬虫、同时放行用户定向抓取（如 ChatGPT-User）是一种流行的折中：你的页面不进训练数据，但当真人要求助手打开它们时仍可被读取。

记住 robots.txt 是请求，不是墙。信誉良好的厂商会遵守它，但它在技术上拦不住行为恶劣的爬虫。需要强制力时，请改用服务器级访问规则。把 robots.txt 当作向守规矩的爬虫传达你偏好的渠道。

每次变更后重新检查。WordPress 插件、安全套件和主机面板有时会不声不响地改写 robots.txt。任何站点变更后用检测器快速过一遍，能让意外远离你的流量报表；配合 Robots.txt 生成器使用，一次就能完成从审计到修正文件的全程。

拥抱 GEO 时，走得更远。一旦爬虫能抓取，就用 llms.txt 文件帮它们理解你的站点——参见我们的 llms.txt 生成器来创建一份。

常见问题

如何检查 AI 爬虫能否访问我的站点？

把域名输入 AI 爬虫检测器这类检测工具，它会抓取你的 robots.txt，并显示 GPTBot、ClaudeBot、PerplexityBot 及其他 AI 爬虫是被允许、被屏蔽还是无规则约束。另一种办法是亲自打开 yoursite.com/robots.txt，寻找点名这些爬虫的 User-agent: 组。

我的站点默认被 ChatGPT 屏蔽吗？

不是。如果你根本没有 robots.txt，或没有任何提及 OpenAI 爬虫的规则，那么一切都默认被允许——robots 排除协议只有在规则明确声明时才构成限制。屏蔽只会发生在有人添加了匹配的 Disallow 规则时。

GPTBot 和 ChatGPT-User 有什么区别？

GPTBot 自主抓取网络，为训练和改进 OpenAI 模型收集内容；而 ChatGPT-User 只在 ChatGPT 用户明确要求助手浏览某个链接时才抓取那个页面。它们由不同的 robots.txt token 控制，因此你可以放行一个、屏蔽另一个。

robots.txt 能强制 AI 爬虫停止抓取吗？

不能。robots.txt 是一份自愿遵守的标准。OpenAI、Anthropic、Perplexity 和 Google 等主流厂商都会遵守，但它在技术上无法阻止行为恶劣的爬虫。需要强制力时，请把 robots.txt 与防火墙规则这类服务器级屏蔽结合使用。

屏蔽 GPTBot 会把我的内容从 ChatGPT 中移除吗？

不会立即移除，也不保证移除。屏蔽 GPTBot 会阻止 OpenAI 的爬虫此后抓取你的页面，但不会追溯移除已被抓取、已从第三方获得授权、或已进入旧训练数据集的内容。把它理解为关门，而不是抹掉过去。

结论

AI 助手已成为一个行为酷似搜索的发现渠道，而通往这个渠道的大门就是你的 robots.txt。用免费的 AI 爬虫检测器检查只需一分钟，解读用上面的四状态图例，修正再用 Robots.txt 生成器多花一分钟。请慎重决定是否允许 ChatGPT、Claude 和 Perplexity 读取你的站点——然后验证文件实际写的就是你以为的内容。未来经由 AI 而来的访客会感谢你。