Robots.txt 生成器——免费在线工具

Robots.txt 生成器

选择预设、微调规则，然后复制或下载可直接上线的 robots.txt ，适用于你的 WordPress 站点——无需注册。

1. 选择预设 设定面向搜索引擎与 AI 爬虫的基础策略。

2. 站点地图 帮助搜索引擎更快发现你的内容。

多个站点地图用空格、逗号或换行分隔。示例： https://example.com/post-sitemap.xml https://example.com/page-sitemap.xml

3. 自定义 User-agent 组 在预设基础上追加。每行一条规则。

常见爬虫参考 各爬虫的用途，及一键允许/屏蔽规则。