如何为你的网站创建 llms.txt 文件(分步指南)

如果你在意 AI 助手和回答引擎如何描述你的网站,有一个值得加入根目录的新文件:llms.txt。它的工作方式有点像 robots.txt,区别在于它不是告诉爬虫该跳过什么,而是告诉大语言模型你的网站是做什么的、哪些页面最重要。在本指南中,你将学到从零创建 llms.txt 文件的完整方法——格式规则、可直接复制的模板,以及一个能在一分钟内替你组装好整个文件的免费 llms.txt 生成器。

什么是 llms.txt 文件?

llms.txt 是一项让网站易于被大语言模型(LLM)阅读的开放标准提案。文件用纯 Markdown 编写,位于域名根目录(例如 https://example.com/llms.txt),并遵循一个刻意简单的结构:

# Example Docs

> Example Docs provides guides and references for building with the Example API.

## Documentation

- [Getting Started](https://example.com/docs/getting-started): Set up your API key and make your first request in five minutes.
- [API Reference](https://example.com/docs/api): Complete endpoint, parameter and error-code reference.

H1 标明你的站点、产品或公司名称。紧随其后的 blockquote 用一句话概括你提供什么、面向谁。每个 ## 标题划分一个板块,每个板块下是以 - [Page Title](URL): Description 格式书写的链接列表。整个文件的设计目标是:模型只需一次低成本的请求就能完整读取,并立即理解你站点的结构和实质内容的所在。

有时还会伴随发布一个配套文件 llms-full.txt。llms.txt 是精选索引——相当于目录——而 llms-full.txt 则把关键页面的全文拼接在一起,供想要一次读完全部的模型使用。对大多数站点而言,先只发布 llms.txt 是正确的第一步。

llms.txt 文件为什么对你的网站很重要

人们获取信息的方式正在改变。如今越来越多的问题由 AI 聊天助手和回答引擎直接解答——它们总结网络内容,而不是罗列十个蓝色链接。当这类系统试图理解你的网站时,它有两种选择:从抓取到的零散片段里去猜,或者读一份你亲笔写下的简明地图。llms.txt 文件给了它第二种选择。

发布它有三个实际理由。第一,你可以掌控叙述:那一行 blockquote 就是你的电梯演讲,以你的措辞呈现,而不是模型对某个随机页面的转述。第二,模型读取它的成本很低。LLM 阅读你的主页时,要先剥离导航、Cookie 横幅和模板文字才能找到意义;而一份格式良好的 llms.txt 用几百个 token 就能传递同样的理解。第三,它能突出重要页面。深度文档、对比页和以转化为目标的落地页往往远离首页而被低估;一份带一句话描述的精选链接列表能让它们重新进入视野。

这个先例并不陌生。robots.txt 标准化了爬虫如何对待你的站点,sitemap.xml 标准化了它们如何发现你的内容,而 llms.txt 旨在标准化 AI 模型如何解读你的站点。今天花几分钟采纳它,就能让你的内容在正在到来的、由回答驱动的网络中占得先机。

如何分步创建 llms.txt 文件

你不需要开发者工具、构建流水线或插件。整个过程就是写一个小小的 Markdown 文件。下面是正确的做法。

第 1 步:盘点站点,挑出重要页面

先列出初次到访者(或回答你所在领域问题的 AI)会真正受益的 URL:首页、核心产品或功能页、关键文档文章、最好的博客文章、定价页,以及支持或联系页。要有取舍。列出四百个 URL 的 llms.txt 不过是多了几道工序的 sitemap;列出十五到三十个真正有用页面的文件,才是模型真正用得上的地图。对每个页面,记下它的标题,并用你自己的话概括它回答的那一个问题、完成的那一件事。

第 2 步:撰写一句话站点简介

H1 下方的 blockquote 是读者和模型最先看到的部分,所以要精炼。写一句话说明你提供什么、面向谁、有何独特之处。”GeoTools 为旅行者和开发者提供免费的浏览器端地图与坐标工具”远胜于”欢迎访问我们的网站”。控制在三十个词左右,去掉营销空话——模型回应的是具体信息,而不是最高级形容词。

第 3 步:把页面分组成板块

把页面列表整理成几个逻辑分组,并给每组一个 ## 标题。常见的板块包括 Docs、Blog、Product、Company 和 FAQ。板块不只是装饰:它们告诉模型每条链接指向哪类内容,从而显著提升检索质量。对大多数站点,三到六个板块是最佳区间,且顺序很重要——把你最希望被引用的板块放在最前面。

第 4 步:手工组装文件

打开任意文本编辑器,以包含站点名的 H1 开头,加上 blockquote 简介,然后按照下面的模式逐个添加板块及其链接。将文件以 UTF-8 编码保存为 llms.txt。

# Your Site Name

> One sentence describing what your site offers and for whom.

## Docs

- [Getting Started](https://example.com/docs/getting-started): Set up your account in five minutes.
- [API Reference](https://example.com/docs/api): Every endpoint, parameter and error code.

## Blog

- [Best Practices](https://example.com/blog/best-practices): Field-tested tips from our team.

这就是全部格式,货真价实。只要会写 Markdown 列表,你就能创建 llms.txt 文件。

第 5 步:或者用免费的 llms.txt 生成器来构建

第一次手工制作没问题,但要让手工文件与站点保持同步会越来越烦。更快的方式是免费的 llms.txt 生成器:输入站点名称、URL 和一句话描述,逐条添加板块和页面(标题、URL、简短描述),工具就会生成一份符合标准的文件,一键复制到剪贴板或下载为 llms.txt。以斜杠开头的相对 URL 会自动拼接到你的站点 URL,不完整的行会被跳过,草稿保存在浏览器本地,内容一变就能随时更新文件。

第 6 步:发布到站点根目录并验证

把文件上传到 Web 服务器的根目录,让它能通过 https://yourdomain.com/llms.txt 访问,就像 robots.txt 一样。上传方式取决于你的技术栈:通过 SFTP 复制文件、加入静态站点的 public 目录,或当文档位于子域名时创建重定向。然后按模型的方式验证它——在浏览器中打开该 URL,确认以 200 状态返回纯 Markdown 文件,并检查文件中的每条链接都能直达、不经过重定向链。一些发布者还会在站点页脚或文档中引用 llms.txt,方便人类访客和爬虫发现它。

llms.txt 最佳实践

有几点习惯,能把”模型真正会用的文件”和”被忽略的文件”区分开来:

  • 控制在 500 行以内。精选胜过求全。
  • 描述要让陌生人看得懂——假设模型对你的品牌一无所知。
  • 每条链接一句话。描述是告诉模型页面何时相关,而不是页面内容摘要。
  • 使用以 https:// 开头的绝对 URL,文件即使被单独复制出去也依然有效。
  • 最重要的板块放最前,每个板块内最重要的链接放最前。
  • 每季度复查一次文件,上线或下线重要页面时也要更新。
  • 如果你的文档篇幅长、被引用频繁,可选地同时发布 llms-full.txt。

常见问题

llms.txt 和 robots.txt 有什么区别?

robots.txt 给出的是抓取指令:它告诉自动化代理可以或不可以抓取站点的哪些部分,违反它可能导致爬虫被封禁。llms.txt 则纯粹是信息性的:一份概述站点最重要内容的 Markdown 文件,目的是帮助语言模型准确理解并引用它。二者解决的问题不同,发布 llms.txt 的大多数站点会两者保留。

llms.txt 文件应放在服务器的什么位置?

它应放在域名的根目录,以便通过 https://yourdomain.com/llms.txt 访问——与 robots.txt 相同的位置。无需任何特殊配置;它只是一个静态文本文件,Web 服务器被请求时以 200 状态返回即可。

Google 会用 llms.txt 影响 SEO 排名吗?

Google 已声明 llms.txt 不是经典网页搜索的排名因素,也没有证据表明它对传统 SEO 有正面或负面影响。它的用途不同:帮助 AI 助手和回答引擎理解你的内容。发布一份是成本极低的准备动作,为 AI 驱动的发现做好准备,同时完全不触动你现有的 SEO。

我的 llms.txt 文件应该多长?

没有硬性上限,但越短越好。大多数站点用十五到三十条链接、三到六个板块就足够,这能让文件轻松落在一个上下文窗口的一次读取之内。如果文件增长到几百行以上,就把它修剪回你真正希望在 AI 答案中被引用的那些页面。

我应该多久更新一次 llms.txt 文件?

把它当作 sitemap 而不是博客文章来对待:上线重要页面、下线页面或站点重心变化时更新,并至少每季度复查一次。由于免费的 llms.txt 生成器把草稿存在浏览器里,重新生成并重新上传文件只需约一分钟。