如何为 WordPress 创建 robots.txt（新手指南）

每个 WordPress 站点每天都有数十个自动化爬虫到访——Google 和 Bing 等搜索引擎、Ahrefs 和 Semrush 等 SEO 工具，以及 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、PerplexityBot 等新一代 AI 爬虫。告诉它们什么能抓取、什么不能抓取的，是同一个文件：robots.txt。在本指南中，你将学会以正确的方式为 WordPress 创建 robots.txt：这个文件是做什么的，2026 年哪些规则真正重要，以及如何在两分钟内生成一个有效的文件。

什么是 robots.txt 文件？

robots.txt 是一个位于网站根目录的纯文本文件。几乎所有守规矩的爬虫在请求任何页面之前，都会先请求 https://yoursite.com/robots.txt 并读取其中的指令。这些指令遵循一个名为 Robots Exclusion Protocol（机器人排除协议）的标准，Google、Bing、DuckDuckGo、Yandex 以及各大 AI 厂商都能理解它。

一个最简的 WordPress robots.txt 如下所示：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

翻译成大白话就是：”对所有 user-agent（*），不要抓取 /wp-admin/ 下的任何内容——但 /wp-admin/admin-ajax.php 除外，因为许多 WordPress 主题和插件需要它才能正常工作。”

每一组规则以一行 User-agent: 开头，后跟一行或多行 Disallow: 或 Allow:。组数不限，文件还可以声明 Sitemap: 的位置，让爬虫更快发现你的内容。以 # 字符开头的是注释，爬虫会忽略它们。

robots.txt 为什么对 WordPress 站点很重要

保护敏感区域。WordPress 后台、登录页和站内搜索结果通常不应出现在搜索索引里。几条精心设置的 Disallow 规则就能把爬虫挡在外面。

提升抓取效率。Google 给每个站点分配的抓取预算是有限的。如果爬虫把预算浪费在抓取筛选结果页、标签归档或评论回复链接上，你的重要页面就会被更慢地发现和更新。

防止重复内容。WordPress 会为同一内容生成大量 URL——例如 /?s=keyword 搜索页或带 ?replytocom 参数的 URL。在 robots.txt 中屏蔽这些模式，可以阻止 Google 抓取这些重复 URL（如果你想把它们彻底移出索引，正确的工具是 canonical 标签或 noindex 指令）。

决定 AI 模型如何对待你的内容。这是最新也往往最具战略意义的理由。OpenAI、Anthropic、Google、Perplexity、Meta、Amazon 和 Apple 都运营着各自的爬虫，要么用你的页面训练模型，要么在 AI 回答中引用它们。无论你想要这种曝光（即生成式引擎优化（GEO）），还是想选择退出，robots.txt 就是记录这一选择的地方：如果你从未为某个爬虫写过规则，GPTBot 之类的爬虫就会直接遵循你通用的 User-agent: * 规则——只有显式的、针对特定爬虫的声明，才能让你对单个爬虫采取不同的策略。

一个诚实的提醒：robots.txt 是一份”礼貌协议”，而不是安全机制。正规公司会遵守它，恶意采集器则会完全无视它。绝不要把 robots.txt 当作真正私密数据的唯一防线——那需要用身份验证来解决。

如何分步为 WordPress 创建 robots.txt

第 1 步：检查你是否已有 robots.txt 文件

在浏览器中打开 https://yoursite.com/robots.txt，会出现三种情况之一。如果看到规则，说明站点根目录已存在实体 robots.txt 文件。如果看到一个简单的三行文件——屏蔽 /wp-admin/、放行 /wp-admin/admin-ajax.php——说明 WordPress 正在动态生成虚拟 robots.txt；只要启用了固定链接且不存在实体文件，就会自动出现这种情况。如果返回 404，说明还没有文件，你应该创建一个。

第 2 步：确定针对搜索引擎和 AI 爬虫的策略

在写规则之前，先想清楚你到底想要什么。常见的策略有三种。WordPress 标准策略对所有搜索引擎开放，同时屏蔽后台、登录页和搜索结果。GEO / AI 友好策略在此基础上显式允许 GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot 和 Google-Extended 等 AI 爬虫，表明 AI 引擎可以训练并引用你的内容——对于希望从 ChatGPT、Claude、Perplexity 和 AI Overviews 获取流量的发布者很有吸引力。严格保护策略只放行主流搜索引擎爬虫，彻底屏蔽 AI、训练和 SEO 爬虫。

第 3 步：用免费的 Robots.txt 生成器生成规则

生成正确文件最快的方式是使用免费的 Robots.txt 生成器。它内置了上述全部三种预设——WordPress Standard、GEO / AI-Friendly 和 Strict Protection——难想的部分已经替你完成。选择一个预设，填入你的 sitemap URL（对于运行 SEO 插件的大多数 WordPress 站点，它是 https://yoursite.com/sitemap_index.xml），预览会实时更新。你可以直接复制结果，或下载为 robots.txt 文件。

第 4 步：为特定爬虫添加自定义规则

预设不够用？生成器允许你添加自定义 user-agent 组，每组都有各自的多行 Disallow 和 Allow 列表——例如屏蔽 AhrefsBot 和 SemrushBot 以节省服务器资源，或只放行 Googlebot 而屏蔽其他一切。它还收录了常见爬虫参考清单，逐一附上一句话说明，并提供一键 Allow 和 Block 按钮。如果你更愿意手写规则，请记住几个要点：规则区分大小写；值为空的 Disallow: 意味着”允许抓取一切”；Disallow: / 意味着”屏蔽整站”——这条规则只应在深思熟虑后故意发布。

第 5 步：把 robots.txt 上传到站点根目录

robots.txt 必须放在域名的文档根目录，且文件名必须完全是小写的 robots.txt。对标准 WordPress 安装而言，就是存放 wp-config.php 和 wp-content 目录的那个文件夹。你可以用主机商的文件管理器、通过 SFTP 或用 WP-CLI 上传下载好的文件：wp eval 'file_put_contents(ABSPATH."robots.txt", file_get_contents("robots.txt"));'。Yoast SEO、Rank Math 等 SEO 插件也能在设置中托管一个虚拟 robots.txt——如果你习惯把一切都在 WordPress 内部管理，这会很有用。

第 6 步：验证并持续监测文件

上传后，在隐私浏览器窗口中请求 https://yoursite.com/robots.txt，确认新版本已生效。然后查看 Google Search Console 中的 robots.txt 报告（在”设置”部分），它会显示 Google 最近一次抓取文件的时间及状态。请注意，旧的 robots.txt Tester——输入 URL、选择 user-agent 然后测试——已于 2023 年 9 月下线，因此要测试规则，可以使用第三方验证工具，或把你的文件与 Robots.txt 生成器中经过验证的预设对照参考。如果某个关键页面突然从搜索中消失，robots.txt 里的笔误是最先要排查的原因之一。每次部署后都要重新验证，因为一条多写的 Disallow: / 可以悄悄把整站移出索引。

WordPress robots.txt 最佳实践

一份小而正确的 robots.txt 胜过一份大而精巧的。以下经验法则能让你少踩坑：

• 绝不屏蔽 CSS 或 JavaScript 文件。Google 用完整浏览器渲染页面；如果它无法加载你主题的资源，即使页面在技术上”被允许”，排名也可能下滑。
• 保持文件精简。大多数站点用不到 20 行。每多一条规则，就多一次出错的机会。
• 始终声明 sitemap。一行 Sitemap: 能帮助新爬虫更快发现你的文章和页面，对外链稀少的新站尤其重要。
• 显式确定你的 AI 策略。沉默的默认值正被各家厂商不可预测地解读。无论放行还是屏蔽 GPTBot、ClaudeBot 们，都请写明——Robots.txt 生成器的预设让这一步只需一键。
• 不要依赖 robots.txt 保护隐私。在 robots.txt 中屏蔽某个 URL，并不能阻止恶意爬虫抓取该 URL 本身，甚至可能让它在搜索结果中出现却没有描述。私密内容需要登录验证，而不是 Disallow 规则。
• 每季度复查。新爬虫不断出现，你的站点结构也在演化。每隔几个月复查一次文件，每次迁移或改版之后也要复查。

常见问题

robots.txt 文件应放在 WordPress 的哪个位置？

文件应放在域名的文档根目录——与 wp-config.php 同级，在共享主机上通常名为 public_html 或 www。它必须能通过 https://yoursite.com/robots.txt 精确访问。如果它被嵌套在子文件夹里，或文件名含有大写字母，爬虫会直接忽略它。

WordPress 会自动创建 robots.txt 文件吗？

会。当固定链接已启用且不存在实体 robots.txt 时，WordPress 会动态生成一个虚拟文件，屏蔽 /wp-admin/、放行 /wp-admin/admin-ajax.php。它刻意保持极简。要添加 sitemap 声明、AI 爬虫规则或自定义 Disallow 路径，请创建一个真实文件（或使用 SEO 插件）并上传到站点根目录。

如何在 robots.txt 中屏蔽 GPTBot 这类 AI 爬虫？

为每个想阻止的爬虫添加一个专门的组，整站 Disallow，并把这些组放在默认的 User-agent: * 组之前。例如：User-agent: GPTBot 加上 Disallow: /，即可退出 OpenAI 的训练数据。对 ClaudeBot、PerplexityBot、CCBot、Google-Extended、Bytespider 和 meta-externalagent 重复这一操作——或直接使用 免费 Robots.txt 生成器中的 Strict Protection 预设，它会替你生成所有这些组。

robots.txt 会把页面从 Google 搜索结果中移除吗？

不会。用 robots.txt 屏蔽 URL 阻止的是抓取，而不是索引。如果有其他站点链接到它，Google 仍可能列出该 URL——只是不显示摘要或描述。要彻底把页面移出搜索，应改用 noindex meta 标签或 X-Robots-Tag HTTP 响应头，并让爬虫能够访问该页面以读取指令。

一个写错的 robots.txt 会损害我的 WordPress SEO 吗？

绝对会。User-agent: * 下的一条 Disallow: / 会把整站对每一个守规矩的爬虫屏蔽，而屏蔽 /wp-content/ 或 /wp-includes/ 可能破坏 Google 对页面的渲染。由于 robots.txt 的修改立即生效且会被搜索引擎缓存，上传之前务必先测试文件——通过 Search Console 的 robots.txt 报告，或用经过验证的预设来生成。

两分钟开始行动

现在你已经了解 robots.txt 的作用、它对经典 SEO 和 AI 曝光为何重要，以及如何为 WordPress 创建、上传并验证一个文件。前往 Robots.txt 生成器，选择匹配你策略的预设，添加 sitemap，下载一份可直接投入生产的文件——未来的爬虫流量（以及 AI 时代的曝光度）会感谢你。