概念解读 2026-07-24 更新于 2026-09-23 · 21 分钟阅读

什么是 llms.txt？一份通俗指南，以及为什么它不会推动 AI 引用

llms.txt 是一份为 AI 智能体指路的 Markdown 地图。本文讲清它与 robots.txt 的分工、llms-full.txt 多了什么，以及你的网站到底需不需要它。

llms.txt 是一份纯 Markdown 文件，通常放在网站根目录，用来告诉 AI 智能体这个网站是什么、应该先读哪些页面。它不拦截任何访问；在 Canlah AI 于 2026 年 9 月 23 日核查的信源中，没有发现任何主流答案引擎表示会用它来决定引用谁。

快速结论

robots.txt 决定哪些爬虫可以进入你的网站；llms.txt 则是在智能体进门之后，递给它一份精简的导读地图。二者是互补关系，不是替代关系。llms.txt 发布成本很低，对编程智能体和浏览器智能体确实有用，但在 2026 年 9 月 23 日核查的公开证据里：有没有这份文件，和在 AI 答案里被引用得多不多，看不出可测量的关联。

披露：本文由 Canlah AI 发布。Canlah AI 运营 canlah.ai/llms.txt，也提供下文所述的 SEO + GEO 服务。第三方研究与厂商立场均于 2026 年 9 月 23 日按其公开页面核查；Canlah AI 的数据为自有一手数据，仅供方向性参考，不是独立基准。

你已经发布了 llms.txt，为什么 AI 还是没引用你？

发布 llms.txt 并不会让 ChatGPT、Perplexity 或 Gemini 推荐你的网站，因为这份文件告诉智能体去哪里读，而不是该点谁的名。很多团队的预期正好相反：文件一上线，就默认 AI 的答案会跟着变好。

一个网站可以有整洁的 llms.txt、不错的 Google 排名、全部通过的技术检查，可当潜在客户把下面这类买家问题抛给 ChatGPT、Perplexity、Gemini 或 Google AI Mode 时，答案里依然没有它：

「新加坡有哪些 GEO 服务商值得放进候选名单？」
「有了 llms.txt 就够让我的品牌被引用吗？」
「B2B SaaS 团队做 AI 搜索应该先改什么？」
「谁在用证据衡量 AI 可见度？」

Canlah AI 在自己的网站上测过这件事。canlah.ai 至少从 2026 年 8 月起就提供 llms.txt，但在 2026 年 9 月 7 日，它在 Canlah AI 自家审计的 GEO 维度上仍然只拿到 4 分（满分 100）；在 177 条针对开放式买家问题的有据回答中，品牌只被提及 7 次。

robots.txt 决定 AI 爬虫能不能读你的页面；llms.txt 决定智能体能不能快速找到对的页面；两者都不决定 AI 会不会推荐你。

这份文件并非没用，只是它回答的问题，和大多数买家真正关心的问题不是同一个。

30 秒看懂 llms.txt

llms.txt 是写给语言模型看的阅读指南。它和 robots.txt、sitemap.xml 并列放在根目录，但职责比两者都窄：用几行字概括网站，再列出智能体需要细节时应该去抓取的页面。

简单说：

robots.txt 告诉爬虫哪里能去、哪里不能去；
sitemap.xml 为搜索引擎列出所有可索引的 URL；
llms.txt 给智能体一段人工撰写的简介，外加一份精选链接清单；
llms-full.txt 把这些页面的全文合并进一个文件，智能体一次请求就能加载；
这四份文件都不决定 AI 引擎会不会引用或推荐你的品牌。

四份根目录文件对比：格式、读者、拦截能力，以及对 AI 引用的影响证据，核查于 2026 年 9 月 23 日

文件	是什么	主要读者	能否拦截访问	Google 对 AI 功能的立场	提升 AI 引用的证据	在你自己的网站上要核对什么
robots.txt	纯文本抓取访问规则（RFC 9309）	抓取阶段的搜索爬虫与 AI 爬虫	能，对守规爬虫有效	必须放行，页面才可能进入 AI Overviews 和 AI Mode	间接：屏蔽某个爬虫，会让你从它的答案里消失	GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot 有没有被误拦
sitemap.xml	可索引 URL 的完整 XML 清单	搜索引擎爬虫	不能	可选	所查信源中未发现	列出的每个 URL 是否可访问、是规范版本且可索引
llms.txt	精选 Markdown 地图：H1、引用块、H2 链接列表	执行任务当下的智能体与 AI 工具	不能	不需要；Google 的 AI 优化指南说可以忽略	所查信源中未发现	是否以文本类型返回 200，摘要是否与「关于我们」页和结构化数据一致
llms-full.txt	关键页面全文合并成的单个 Markdown 文件，常常有数 MB	编程智能体、IDE 助手、检索管线	不能	不需要	所查信源中未发现	是否每次部署自动生成，而不是手写

「所查信源中未发现」指「方法与信源」列出的公开研究与厂商文档在 2026 年 9 月 23 日核查时没有报告该效果，这不证明该效果不存在。出处：llmstxt.org 第 2 版、Google Search Central、IETF RFC 9309、Chrome Lighthouse 13.3 文档，以及下方证据表中的七份研究。

一句话概括：

robots.txt 管访问，llms.txt 管导读，引用由引擎找到的证据决定。

llms.txt 为什么在 2026 年成为绕不开的话题

llms.txt 在 2026 年成为绕不开的话题，是因为读商业网页的读者越来越多是模型，而不是人。买家直接把完整问题交给 AI 助手，而不再逐条翻搜索结果；智能体也代替买家去抓取页面，核对集成方式、价格、框架兼容性和版本更新。

对这类读者来说，为人设计的 HTML 把内容裹在导航、脚本和版式里，把它还原成干净文本会白白消耗 token。这是 llms.txt 瞄准的真实问题，对文档量大的网站尤其真实。

这也是它变成销售话术的原因。代理商和插件厂商发现了一个做起来便宜、客户又难以评估的交付物，SEO 工具也开始把「缺少 llms.txt」标成问题。Google Search Central 团队在 2026 年 5 月发布的生成式 AI 功能优化指南里明确告诉站长，可以忽略「创建不必要的 AI 文本文件（例如 llms.txt）」。

容易被智能体读懂，不等于被引擎选中引用。

什么是 llms.txt？

llms.txt 是一项提案中的约定，不是正式批准的标准。Answer.AI 的 Jeremy Howard 于 2024 年 9 月 3 日在 llmstxt.org 发布了这份提案；页面第 2 版最后修改于 2026 年 8 月 10 日。它建议在 /llms.txt，或 /docs/llms.txt 这类任意子路径下放一份 Markdown 文件，为智能体提供「简要背景信息、使用指引，以及指向详细 Markdown 文件的链接」。

格式刻意保持简单，并按固定顺序排列：

一个 H1，写网站或项目名称，这是唯一必填项；
一个引用块，写一段简短摘要，是智能体读懂其余内容所需的前提；
可选的段落或列表，补充更多细节，但不能用标题；
若干 H2 分区，内含「文件清单」，每一项是一个 Markdown 链接，冒号后可附说明；
一个名为 Optional 的 H2，放次要链接，上下文不够时智能体可以跳过。

提案还建议：在重要页面的原 URL 后加 .md，提供一份干净的 Markdown 副本；并用标准的 link 关系把页面和它的 llms.txt 关联起来。

规范对用途说得很明白。llmstxt.org 写道，这份文件是「按需使用的，在智能体协助用户、需要某个主题的信息时」，并且预期主要作用于推理阶段，而不是训练阶段。它用得最多的地方是软件文档，编程智能体会顺着它找到 API 参考页。

采用是真实的，但高度集中。2026 年 9 月 23 日核查时，Anthropic、OpenAI、Stripe、Cloudflare 以及 Google 的 ai.google.dev 都为各自的开发者文档提供了 llms.txt。根据 llmstxt.org 列出的集成，Mintlify、GitBook、Yoast SEO、AIOSEO 和 Wix 会自动生成这份文件。

llms.txt 是给智能体的阅读辅助，不是权限系统，也不是排名信号。

什么是 llms-full.txt？

llms-full.txt 是 llms.txt 的配套文件，不在核心规范里，而是通过文档平台流行起来的。Mintlify 在 2024 年 11 月 20 日宣布，为其托管的每个文档站自动生成并托管 /llms.txt 和 /llms-full.txt。llms.txt 是链接索引，llms-full.txt 则把这些页面的全文拼接成一个 Markdown 文件。

代价是体积。2026 年 9 月 23 日，Vercel 的 /docs/llms-full.txt 返回约 9.5 MB，远超大多数上下文窗口一次能装下的量。某新加坡 GEO 服务商提供了一份 827 KB 的 llms-full.txt，收录了它发布的全部文章，核查于 2026 年 9 月 22 日。

适用场景窄，但真实存在：开发者把一个 URL 粘贴进助手或 IDE，整个语料库无需爬取就能加载。对营销网站来说，llms-full.txt 的主要作用是确保读你内容的智能体看到的是完整正文，并附带日期和摘要，而不是一个被截断的页面。

Canlah AI 用全部英文、简体中文和繁体中文博客文章生成自己的 llms-full.txt，每篇前面都附上 URL、语言、主题、类型、发布日期、最后更新日期和摘要。2026 年 9 月 23 日审阅本页时，线上的 canlah.ai/llms-full.txt 仍然返回 404；修好它的生成器随 2026 年 9 月 23 日这次更新一起上线。这种缺口，文件审计能查出来，策略 PPT 查不出来。

llms.txt 与 robots.txt 的核心区别

llms.txt 与 robots.txt 在用途、格式、标准状态、读者、读取时机、拦截能力和 Google 立场上的核心区别，核查于 2026 年 9 月 23 日

维度	robots.txt	llms.txt	这个区别对你意味着什么
用途	声明哪些自动化客户端可以访问哪些路径	概括网站，并把智能体指向值得读的页面	先解决访问；被挡在门外的读者，再好的书单也用不上
格式	按 User-agent 分组的 Allow、Disallow 行	Markdown：H1、引用块、H2 链接列表	写在 llms.txt 里的 Disallow 行，在任何地方都不生效
标准状态	IETF RFC 9309，2022 年 9 月发布	llmstxt.org 上的社区提案，第 2 版修改于 2026 年 8 月 10 日	robots.txt 的行为可预期；llms.txt 的支持程度因智能体而异，也可能变化
何时被读取	抓取之前，由 Googlebot、GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot 等爬虫读取	按需读取，在智能体协助用户完成任务时	过时的 llms.txt 会在最糟的时刻被读到：任务进行中
能否拦截 AI 爬虫	能，对遵守规则的爬虫有效	不能；它没有任何指令语法	拒绝 AI 训练是 robots.txt 的活，永远不是 llms.txt 的
Google 搜索立场	会遵守；屏蔽 Googlebot 会让页面从 AI Overviews 和 AI Mode 中消失	搜索不使用；Lighthouse 13.3 在实验性的 Agentic Browsing 审计里检查它	发布 llms.txt 是为智能体就绪做准备，而不是指望 Google 排名
常见错误	误拦了你正想被它引用的答案引擎爬虫	在里面塞 robots 式指令；所查信源中未发现会解析这些行的智能体	把两份文件放进同一次检查，按固定日期核对

出处：IETF RFC 9309、llmstxt.org 第 2 版（2026 年 8 月 10 日修改）、Google Search Central 的 AI 优化指南，以及 Chrome Lighthouse 13.3 文档，均于 2026 年 9 月 23 日核查。

一句话：

robots.txt 管的是「门」，llms.txt 管的是「书单」。

robots.txt 像图书馆门口的告示，写明哪些阅览室开放；llms.txt 像馆员手写的一页导览，告诉你最值得看的十个书架。前者决定读者能不能进门，后者决定已经进门的读者多快找到要紧的内容。

本页的旧版本恰恰错在这里。它用 User-agent、Disallow、Attribution、Commercial-Use 这类指令来描述 llms.txt。这些行要么属于 robots.txt，要么谁都不读：所查信源中没有发现任何会从 llms.txt 读取署名或授权指令的智能体，llmstxt.org 的格式里也根本没有指令语法。

如果你的目标是阻止模型用你的内容训练，工具是 robots.txt，配合 GPTBot、Google-Extended、CCBot、anthropic-ai 这类具名 user agent。如果你的目标是帮助已经获准进入的智能体，工具才是 llms.txt。

既然 Google 忽略 llms.txt，为什么还有人发布？

Google 自家产品对 llms.txt 的立场并不一致，这正是搜索团队否定之后仍然有人发布它的主要原因。Search Engine Journal 在 2026 年 5 月 20 日报道：搜索团队的新指南把 llms.txt 列为可以跳过的做法，而 Chrome 的 Lighthouse 13.3 却在实验性的 Agentic Browsing 类别里加入了 llms.txt 检查。Lighthouse 文档写道，缺少这份文件时，「智能体可能要花更多时间爬取网站，才能理解其整体结构和主要内容」。

从 Canlah AI 自己的网站和它审阅过的网站来看，有三种模式可以解释这份文件为什么一直有人发布。

模式一：编程智能体和 IDE 助手会常规读取它

llms.txt 真正派上用场的地方是开发者文档。编程智能体被要求调用某个 API 时，可以抓取 docs.stripe.com/llms.txt 或 docs.anthropic.com/llms.txt，找到对应的参考页，加载它的 Markdown 版本，而不必去解析 HTML。

这通常不是搜索可见度问题，而是开发者体验问题；对 API 优先的公司来说，这是合理的投入。

模式二：浏览器智能体和审计工具偏好清晰的地图

Lighthouse 13.3 会报告网站是否提供 llms.txt，并标出抓取时的服务器错误。随着浏览器智能体代替用户完成任务，一份简短的站点结构地图能减少无效爬取。

这是在为「会行动的智能体」做准备，不是在「会回答的引擎」里争排名。

模式三：平台默认就会生成

Mintlify、GitBook、Wix、Yoast SEO 和 AIOSEO 会自动生成这份文件，所以很多网站有 llms.txt，其实没人专门做过决定。在 Canlah AI 2026 年 8 月的智能体就绪度数据集中，47 家可访问的跨境 DTC 店铺里有 26 家提供 /llms.txt，而这 26 家中有 23 家同时带有 Shopify 签发的商务清单文件。

这更像是平台默认设置的结果，而不是 26 个各自独立的战略决定。

实际项目里最常见的 llms.txt 问题：把地图当成排名信号

以下观察来自 Canlah AI 对自家网站的审计，以及 Canlah AI 公开的智能体就绪度数据集。文中没有使用任何客户数据；canlah.ai 是唯一被点名的网站，店铺数据集以 CC BY 4.0 协议公开。

1. 文件已经到位，开放式问题上的可见度仍接近零

canlah.ai 发布了一份 113 行、15,953 字节的 llms.txt，共八个 H2 分区，从 Key pages、Services 一直到 Open data、白皮书索引和 Optional。

2026 年 9 月 7 日，Canlah AI 用 39 个买家问题，在 ChatGPT 和 Gemini 上对 canlah.ai 各跑三轮探测。网站在 SEO 维度拿到 85 分（满分 100），在 GEO 维度只有 4 分（满分 100）。在针对品牌词问题的有据回答中，它被提及 39 / 39 次；在针对开放式问题的有据回答中，只被提及 7 / 177 次，非品牌提及率为 4.0%。

这说明：

一份对智能体友好的地图，并不能让引擎在买家没点你名的问题里推荐你。

引擎引用的是 381 个其他第三方域名，大多是榜单文章和竞品页面。缺口在那里，llms.txt 补不上。

2. llms.txt 里的摘要和网站自己的实体描述对不上

canlah.ai/llms.txt 的引用块写的是：Canlah AI 的业务覆盖「ChatGPT、Perplexity、Gemini 和 Google AI Overviews」，并探测「三个引擎」。而网站其他地方的机构描述当时列出的是八个引擎。两处写于不同时间，彼此对不上，也都与 Canlah AI 目前的标准追踪范围（ChatGPT、Gemini，以及 Google 的 AI Overviews 与 AI Mode；Perplexity 不在标准追踪范围内）有出入。

这种信息漂移，比文件存不存在更要紧。引擎会从多个来源拼出一个品牌的描述，一份和「关于我们」页、结构化数据、第三方资料互相矛盾的 llms.txt，只会增加噪音，而不是带来清晰度。

llms.txt 有多大用，取决于它和你发布的其他内容有多一致。

3. 你以为已经上线的文件，可能根本没上线

2026 年 9 月 23 日，canlah.ai 上的 llms-full.txt 路由返回 404。没人注意到，因为没有任何东西在监测它。

一套按月执行的 llms.txt 检查会确认五件事：

/llms.txt 返回 200，且内容类型是文本，而不是 HTML 错误页；
它的摘要与网站及 Organization 结构化数据里的实体描述一致；
里面的链接能打开，且指向 Markdown 或干净的页面；
上一次改动定价、服务或关键页面时，它同步更新了；
robots.txt 放行了你真正想要引用你的答案引擎爬虫。

这就是「发布一份文件」和「管理一个信号」的区别：文件是交付物，周期性的检查才是真正的工作。

网站处理 llms.txt 的四个常见问题

1. 在 Markdown 文件里写 robots 式指令

很多 llms.txt，包括本页早先的建议，都写了 Disallow、Crawl-delay 或 Attribution 这类行。所查信源中没有发现任何智能体遵守这些行的文档。如果某条指令真的重要，它应该写进 robots.txt，那里才有守规爬虫去读。

2. 堆链接，而不是做精选地图

有些文件列了几百个 URL，等于把 sitemap 改写成了 Markdown。规范的本意是一份能放进上下文的短文件；什么都列，就等于什么都没有优先级。

3. 过时的事实比原页面活得还久

一份写完就再没更新过的 llms.txt，会悄悄变成智能体能找到的、关于你公司最过时的描述。canlah.ai 自己就出现过这种漂移：2026 年 9 月 23 日，它的 llms.txt 引用块写的是三个被探测的引擎，而网站的机构描述写的是八个。摘要应当和「关于我们」页从同一个数据源生成；定价或定位变化时，重新读一遍这份文件。

4. 把它当成引用杠杆来付费

Canlah AI 的服务商证据清单把「以 llms.txt 作为你会被引用的理由来售卖」列为方案中的警示信号。如果一份方案把它放在最前面，问一句：这个建议依据的是哪份测量数据？

关于 llms.txt 与 AI 引用，证据怎么说

买家真正关心的是：这份文件会不会改变 AI 的答案。有五个公开来源和两项 Canlah AI 测量涉及这个问题，没有一项显示它对引用有正面作用。

关于 llms.txt 采用率、爬虫请求与 AI 引用的公开证据，核查于 2026 年 9 月 23 日

来源	日期	测量内容	发现	限制这项发现的前提
SE Ranking	2025 年 11 月 7 日	约 300,000 个域名，抽样 LLM 答案中的引用频次	10.13% 部署了 llms.txt；Spearman、XGBoost、SHAP 分析均未发现与 AI 引用相关	相关性分析，且 SE Ranking 自己卖 SEO 软件；样本里没有相关性，不等于没有作用
OtterlyAI	2026 年 2 月 5 日	一个测试网站，90 天 AI 爬虫服务器日志	62,100+ 次 AI 爬虫请求中有 84 次访问 /llms.txt，约 0.1%；一个普通页面约 265 次	只有一个站点、一段日志窗口；OtterlyAI 自己卖 AI 可见度监测
Google Search Central	2026 年 5 月	生成式 AI 功能优化指南	把 llms.txt 列为站长在 Google 搜索上可以忽略的做法	只覆盖 Google 搜索，不涉及编程智能体或浏览器智能体
Chrome Lighthouse 13.3	2026 年 5 月	实验性 Agentic Browsing 审计	检查 llms.txt 是否存在、是否报错；不是 SEO 审计	衡量的是智能体就绪度，不是引用；该类别标注为实验性
Ahrefs	2026 年 6 月 15 日更新	约 38,000 个部署了有效 llms.txt 的域名	97% 在 2026 年 5 月没有收到任何针对该文件的请求	统计的是请求次数，不是答案；Ahrefs 自己卖 SEO 软件
Canlah AI 智能体就绪度数据集	2026 年 8 月	47 家可访问的 DTC 店铺	47 家中 26 家提供 llms.txt，大多与平台签发的清单文件并存	只覆盖跨境店铺，不是全网随机样本；一手数据
Canlah AI 自审	2026 年 9 月 7 日	canlah.ai，39 个问题，ChatGPT 与 Gemini，3 轮	在已部署 llms.txt 的情况下，非品牌提及率为 4.0%	一个站点、两个引擎、没有对照组；一手数据，仅供方向性参考

出处：表中每一行的信源都列在「方法与信源」，各页面均于 2026 年 9 月 23 日核查。第三方结论按发布方的表述转述，未经独立复现。「未发现相关」指该研究在自己的方法下没有检测到可测量的关系，这不证明 llms.txt 永远不会起作用。

这三份厂商研究值得放进来，靠的是样本规模和直接性：SE Ranking 和 Ahrefs 各自覆盖几万到几十万个域名，OtterlyAI 读的是服务器日志，而不是问从业者相信什么。但仍有两点要注意。三家都在卖 SEO 或 AI 可见度工具，所以它们的研究不是中立的市场共识；而且这里每一份证据都是相关性分析，没有一项做过「唯一变量就是加上这份文件」的对照实验。

在七份信源、四种方法之下，没有一份报告 llms.txt 对 AI 引用有正面作用，另有两份各自证明 AI 爬虫几乎不请求这份文件。

不同 AI 引擎对 llms.txt 的重视程度不同

在 2026 年 9 月 23 日核查的信源中，本文讨论的八个答案引擎，没有一个在文档里把 llms.txt 列为选取答案的输入。但它们各自公开的内容差别足够大，会改变工作该往哪里放。

ChatGPT：OpenAI 公开了 GPTBot、OAI-SearchBot 以及 robots.txt 控制方式，也为自家开发者文档发布了 llms.txt。ChatGPT 搜索答案会读取第三方 llms.txt 的说明：所查信源中未发现。
Perplexity：Perplexity 的爬虫文档写明 PerplexityBot 遵守 robots.txt，引用取决于可检索、够新的页面。在答案选取中使用地图文件的说明：所查信源中未发现。
Gemini：它以 Google 搜索做 grounding，所以搜索团队的指引原样适用。Gemini 对 llms.txt 的单独立场：所查信源中未发现。
Google AI Overviews 与 Google AI Mode：Google 搜索明确表示不需要 llms.txt，能否出现取决于收录情况和常规 SEO 要求；面向浏览器智能体的检查由 Chrome 的 Lighthouse 13.3 负责。
DeepSeek、通义千问和豆包：它们优先从中文信源检索，所以一篇中文正文页远比一份英文 llms.txt 重要。把 llms.txt 作为输入的文档：所查信源中未发现。

只确认「文件在不在」的 llms.txt 检查，会漏掉所有真正决定引用的问题。它应该逐个引擎确认：

每个答案引擎的爬虫是否在 robots.txt 中被放行；
该引擎在你的品类里引用的页面中，有没有你的页面；
你的自我描述在网站、结构化数据和 llms.txt 之间是否一致；
编程智能体和浏览器智能体能否加载 llms.txt 里列出的页面。

我的网站需要 llms.txt 吗？

取决于谁在读你的网站，但大多数网站都不该把这份文件当成一项策略。

情况一：你发布开发者文档或 API

需要。发布 llms.txt，并考虑提供 llms-full.txt 和文档页的 Markdown 版本。编程智能体是唯一有文档记录、会常规使用这份文件的受众。如果你的文档平台会自动生成，检查输出是否及时更新，而不是一堆原始链接。

情况二：你运营营销、服务或电商网站

如果一小时就能做完，就发布一份简短的，但不要为它付月费。把时间花在引擎明显会用的地方：robots.txt 里的爬虫放行、答案清晰的可索引页面、一致的实体事实，以及引擎在你品类里已经在引用的第三方信源。Canlah AI 的 AI 引擎如何选择信源讲的就是这些杠杆。

情况三：你不想让 AI 使用你的内容

llms.txt 帮不上忙。请用 robots.txt 针对具名 AI user agent 设规则，并明白其中的取舍：屏蔽某个答案引擎的爬虫，也会让你从它写出的答案里消失。

六步创建 llms.txt

第 1 步：想清楚这份文件写给谁

假设读者是一个对你一无所知、上下文预算又很小的智能体：你是谁、卖什么、在哪里经营、细节在哪些页面。

第 2 步：写 H1 和摘要引用块

H1 用品牌的准确名称。引用块里写两三句事实性陈述，和「关于我们」页及 Organization 结构化数据里的实体描述保持一致，能逐字一致最好。

第 3 步：加入精选的 H2 链接列表

把 10 到 40 个链接归入简单直白的 H2，例如 Key pages、Services、Documentation 或 Company facts。每个链接在冒号后附一行说明，写清这个页面回答什么问题。

第 4 步：把次要链接放进 Optional

智能体可以跳过的内容，例如归档、旧文章或法律页面，都放在名为 Optional 的 H2 下，方便上下文有限的智能体直接舍弃。

第 5 步：发布到根目录并验证响应

把文件放在 /llms.txt，返回文本内容类型和 200 状态码。从外部网络抓取一次，确认它没有被 robots.txt 或防火墙规则拦截，再用 Lighthouse 的 Agentic Browsing 审计检查一遍。

第 6 步：决定要不要做 llms-full.txt，并保持两者更新

如果你有文档或规模可观的文章库，就从生成页面的同一个数据源自动生成 llms-full.txt，而不是手写。每次部署都重新生成，并把两个文件都纳入你用来发现坏页面的检查。

下面是 canlah.ai 结构的精简版，摘要与全站使用的实体描述保持一致：

# Canlah AI

> Canlah AI is a Singapore-based SEO + GEO agency that measures and improves brand visibility inside AI answers, reporting AI visibility as re-verifiable ranges with timestamped evidence.

Contact: admin@canlah.ai · Singapore

## Key pages

- [AI Info](https://canlah.ai/ai-info/): Plain-language facts about Canlah AI, its method and pricing structure.
- [GEO Services](https://canlah.ai/geo/): The four-stage SEO + GEO programme and measurement protocol.
- [Pricing](https://canlah.ai/pricing/): Package structure for SEO + GEO engagements.

## Open data

- [Agent-Readiness of 50 Cross-Border DTC Brands](https://canlah.ai/data/agent-readiness-2026/): CC BY 4.0 dataset, 50 rows x 22 fields.

## Optional

- [Blog](https://canlah.ai/blog/): Essays and data reports on AI visibility.

总结：robots.txt 管访问，llms.txt 管导读，证据决定引用

robots.txt 解决的是 AI 爬虫能不能读你的网站。
llms.txt 解决的是智能体能读之后，多快找到对的页面。

两者都没有回答大多数品牌真正在问的问题：买家请 AI 推荐时，AI 会不会点你的名。这取决于引擎检索到了什么——能回答问题的可索引页面、关于品牌的一致事实，以及引擎已经信任的第三方信源。

Canlah AI 是一家总部位于新加坡的 SEO + GEO 服务商，测量并提升品牌在 ChatGPT、Gemini、Google AI Overviews 和 Google AI Mode 中的可见度，并以带时间戳证据、可复核的区间来汇报 AI 可见度。在 Canlah AI 的服务里，llms.txt 只是站内基础工作中的一小部分；它会测量有没有带来变化，而不是默认有变化。

局限也要直说：截至 2026 年 9 月 23 日，Canlah AI 还没有在客户网站上做过单独隔离 llms.txt 的对照测试，所以无法告诉你这份文件会推动你的数据；本文核查过的其他信源，同样无法告诉你。

在给任何人付钱之前先自己核实，包括 Canlah AI。抓一次你自己的 /llms.txt 和 /robots.txt，确认状态码和内容都符合预期；把买家真实会问的问题交给他们常用的引擎，记录回来的是哪些域名。如果有服务商说 llms.txt 能抬高你的引用，请他拿出文件上线前后的探测数据。

常见问题

llms.txt 用大白话说是什么？

llms.txt 是放在网站根目录的一份 Markdown 文件，用来概括网站并链接到最有用的页面，写给 AI 智能体而不是人看。它由 Jeremy Howard 于 2024 年 9 月在 llmstxt.org 提出。它负责引导阅读，不负责授予或拒绝访问。

llms.txt 和 robots.txt 有什么区别？

robots.txt 是正式标准，告诉爬虫哪些路径可以访问，守规爬虫会遵守。llms.txt 是社区提案，告诉智能体网站是什么、该读哪些页面，里面没有任何需要遵守的规则。放行或屏蔽 AI 爬虫用 robots.txt，给已放行的智能体指路用 llms.txt。

我的网站需要 llms.txt 吗？

如果你发布开发者文档或 API，需要，因为编程智能体会常规使用它。对大多数营销和电商网站来说，一份简短的 llms.txt 无害、做起来也快，但不是优先事项。对 AI 搜索可见度而言，爬虫放行、可索引的答案页和一致的品牌事实更重要。

llms.txt 能提升 AI 引用或排名吗？

不会。在 2026 年 9 月 23 日核查的信源中，没有发现任何主流答案引擎把 llms.txt 列为引用依据的文档；SE Ranking 在约 300,000 个域名中没有发现相关性；Google 搜索也表示其 AI 功能不需要这份文件。llms.txt 或许仍能帮智能体浏览网站，但这和被引用是两回事。

llms-full.txt 是什么，我需要吗？

llms-full.txt 是一个包含网站关键页面全文的单一 Markdown 文件，由 Mintlify 等文档平台带火。它最适合开发者会加载进编程助手的开发者文档。营销网站也可以用文章库生成一份，但必须自动构建，才不会过时。

怎么为我的网站创建 llms.txt？

写一份 Markdown 文件：H1 写品牌名，引用块里写两三句摘要，再用 H2 分区列出关键页面并各附一行说明。次要链接放进名为 Optional 的 H2。发布到 /llms.txt 并返回 200 状态码，再检查它的事实是否和「关于我们」页及结构化数据一致。

Google 会用 llms.txt 吗？

Google 搜索不会把 llms.txt 用于 AI Overviews、AI Mode 或排名，它 2026 年 5 月的指南把这份文件列为站长可以忽略的做法。Chrome 的 Lighthouse 13.3 则会在面向浏览器智能体的实验性 Agentic Browsing 审计中检查 llms.txt。两种立场针对的是不同产品，并不是政策转向。

llms.txt 能阻止 AI 用我的内容做训练吗？

不能。llms.txt 没有指令语法，所以什么都拦不住。要限制 AI 训练，请用 robots.txt 针对 GPTBot、Google-Extended、CCBot、anthropic-ai 等具名 user agent 设规则，并接受一个代价：屏蔽答案引擎的爬虫，也会让你从它的答案里消失。

Canlah AI 会向我推销 llms.txt 文件吗？

Canlah AI 把 llms.txt 纳入站内基础工作，不单独收费，也不把它当作引用杠杆来卖。合作从一组买家问题的基线开始，在多个 AI 引擎上探测，站内文件的效果都以这条基线来判断。如果任何服务商的方案把 llms.txt 放在最前面，问一句：有哪份测量数据支持它？

方法与信源

本文依据 llms.txt 提案、Google 的公开文档、关于 llms.txt 与 AI 引用被引用最多的公开研究，以及 Canlah AI 自己的文件和审计档案写成。公开页面于 2026 年 9 月 23 日核查，线上 llms.txt 文件于同日抓取。第三方研究结论按发布方的表述转述，未经独立复现。Canlah AI 的数据为一手数据，仅供方向性参考。

llmstxt.org，「The /llms.txt file, v2」，Jeremy Howard。来源、格式、推理阶段的预期用途，以及自动生成该文件的平台列表。
Google Search Central，生成式 AI 功能优化指南。关于 Google 搜索可以忽略 llms.txt 的表述。
Chrome for Developers，Lighthouse llms.txt 审计。Agentic Browsing 检查项及其对该文件的描述。
Search Engine Journal，「Google’s llms.txt Guidance Depends On Which Product You Ask」，2026 年 5 月 20 日。搜索与 Lighthouse 的立场分歧，以及 Google 更早的表态。
Search Engine Roundtable，「Google Search Team Does Not Endorse LLMs.txt Files」，2026 年 1 月 20 日。John Mueller 关于 Google 开发者站点上的该文件不代表背书的表态。
SE Ranking，「LLMs.txt: Why Brands Rely On It and Why It Doesn’t Work」，2025 年 11 月 7 日。约 300,000 个域名的采用率与相关性研究。
OtterlyAI，「Llms.txt Experiment」，2026 年 2 月 5 日。为期 90 天的服务器日志实验。
Ahrefs，「What Is llms.txt, and Should You Care About It?」，2026 年 6 月 15 日更新。约 38,000 个域名的请求分析。
Mintlify，llms.txt 文档。自动生成 llms.txt 与 llms-full.txt。
IETF，RFC 9309 Robots Exclusion Protocol。robots.txt 标准。
Canlah AI llms.txt 与 robots.txt。文中示例；2026 年 9 月 23 日为 113 行、15,953 字节。
Canlah AI，Agent-Readiness of 50 Cross-Border DTC Brands。47 家中 26 家部署 llms.txt 的数据。
Canlah AI 对 canlah.ai 的审计档案，2026 年 9 月 7 日。39 个问题，ChatGPT 与 Gemini，3 轮；支撑 7 / 177 的非品牌提及率以及 85 分和 4 分两项维度得分。

看看你的品牌在 AI 答案里处于什么位置。免费运行 AI 可见度诊断 →