llms.txt 是什么？我们在外贸GEO中真的需要关注它吗？

开发者和营销人员不断被建议，要在网站上添加 llms.txt 文件，帮助大语言模型（LLM）“理解” 网站内容。

但 llms.txt 到底是什么？谁在使用它？更关键的是：我们是否真的要重视它？

llms.txt 是什么？

llms.txt 是一份提议的行业规范，用于帮助大语言模型获取、解析网站的结构化内容，完整提案可以在 llmstxt.org 查阅。

简单来说，这是一个文本文件，告诉大模型去哪里查找网站核心内容：API 文档、退货政策、产品分类，以及其他高价值上下文资料。目标是提供一份人工筛选过的重要内容索引，消除信息歧义，让大模型不用自己猜测哪些内容重要。

理论上这个想法很不错。我们早已使用 robots.txt、sitemap.xml，帮助搜索引擎看懂网站结构与内容位置。那为什么不给大语言模型套用同样思路？

但重点是：目前没有任何主流大模型厂商正式支持 llms.txt。OpenAI、Anthropic、Google，全都没有官方支持该文件。

Google 在 2025 年 4 月发布的 Agent2Agent（A2A）协议中提及了 llms.txt，但这只是把一个尚在提案阶段的规范放进另一个提案协议，Google 并未承诺会对 llms.txt 进行爬虫抓取。

正如开篇所说，llms.txt 仅仅是一份提案标准。我也可以凭空提出一个标准，例如 please‑send‑me‑traffic‑robot‑overlords.txt；但只要主流大模型厂商不愿采用，这份文件就几乎没有实际意义。这就是 llms.txt 当前所处的现状：只是一个设想，尚未获得官方落地支持。不要忽视 robots.txt。llms.txt 暂时不会影响网站线上曝光，但 robots.txt 会。 robots.txt 的故障 —— 这类问题会严重降低网站收录，甚至直接阻止爬虫访问你的网站。

llms.txt 文件示例

下面是实际的 llms.txt 文件截图，来自 Anthropic 的真实文件。

本质上 llms.txt 是一份 Markdown 格式文档，使用二级标题来整理各类资源链接。下面是一份可直接套用的参考结构：

# llms.txt
## 文档资料
- /api.md
API接口方法、鉴权规则、速率限制与请求示例汇总
- /quickstart.md
帮助开发者快速上手平台的安装指引

## 政策条款
- /terms.md
平台服务使用法律条款
- /returns.md
退货资格与处理流程说明

## 产品信息
- /catalog.md
产品分类、SKU及元数据结构化索引
- /sizing‑guide.md
全品类产品尺码参考手册

你几分钟就可以完成 llms.txt 的制作：

1. 创建基础 Markdown 文件

2. 使用二级标题，按类型对资源分组

3. 链接到适配 Markdown 的结构化内容

4. 持续更新维护文件

5. 将文件部署在网站根域名下：https://你的域名.com/llms.txt

你可以手动编写，也可以使用免费的 llms.txt 在线生成工具快速生成。

部分开发者还会尝试在 llms.txt 内增加大模型专属元数据，例如 token 预算、优先文件格式；但目前没有证据表明爬虫或大模型会读取遵守这些配置。

到底有谁在使用 llms.txt？

Ahrefs 网站分析工具调研了 137000 个域名，结果显示：28% 的网站已经部署了有效的 llms.txt 文件，也就是超过四分之一的站点。但现状是：没有任何主流 AI 平台承诺读取这份文件。大家部署它，更多只是出于一种猜测：未来 AI 工具或许会读取这份文件，而不是确认已经在生效使用。

社区维护的目录网站 directory.llmstxt.cloud 可以查看一批已经部署 llms.txt 的企业站点：

• Mintlify：开发者文档平台

• Tinybird：实时数据 API 服务商

• Cloudflare：收录性能与安全相关文档

• Anthropic：完整 Markdown 格式的 API 文档索引

但主流大厂的态度如何？ 到目前为止，没有任何头部大模型厂商正式将 llms.txt 纳入爬虫协议：

• OpenAI（GPTBot）：会遵守 robots.txt，但官方并未使用 llms.txt

• Anthropic（Claude）：自身网站部署了 llms.txt，但没有公开说明自家爬虫会读取该标准

• Google（Gemini）：依靠 Google‑Extended 代理遵循 robots.txt 管理 AI 爬虫行为，没有提到支持 llms.txt

• Meta（LLaMA）：没有公开爬虫以及相关指引，没有迹象显示会使用 llms.txt

关键点：创建 llms.txt 文件 ≠ 爬虫会按照文件内容执行。现阶段绝大多数 AI 厂商只把 llms.txt 当作有趣构想，并没有把它列为需要优先执行的规范。

llms.txt 真的有用吗？

没有数据能够证明 llms.txt 可以提升 AI 检索效果、增加流量，或是提高模型输出准确度，各大厂商也没有承诺解析这份文件。

实际上，当我们统计到底谁在访问这些 llms.txt 文件时，结论几乎是：几乎无人访问。 调研中那约 38000 个部署了有效 llms.txt 的域名，在 2026 年 5 月，97% 的文件没有收到任何访问请求，没有机器人、也没有人类访问记录。

当然，这份文件搭建成本极低。如果你网站本身就有产品页面、开发者文档这类结构化内容，整理一份 llms.txt 十分简单。虽然看不到实际收益，但风险整体也很小（当然也存在隐患：会让竞争对手更方便地抓取你的网站内容）。

llms.txt 之所以热度走高，本质是我们都希望可以掌控自己在大模型中的曝光，但是我们缺少真正可用的工具。于是大家抓住了这个看起来 “可以获得控制权” 的方案。

如果你想要真正追踪自己在 AI 系统中的曝光表现，Ahrefs 提供三种可以拿到真实数据的方式，而不是寄希望于一个文本文件：

1. 机器人分析（Bot Analytics）：查看究竟有哪些 AI 机器人访问你的网站。通过 Cloudflare 的服务端采集，无需 JavaScript，覆盖 12 大类机器人，包含 AI 助手、AI 搜索爬虫。可以直接查看 GPTBot、ClaudeBot 是否访问过你的 llms.txt。

2. 网站数据分析：筛选流量来源，统计用户点击 AI 输出内容内引用链接带来的访问。

3. 品牌雷达（Brand Radar）：监控 ChatGPT、Perplexity、Gemini 等 AI 助手对你品牌的描述，追踪大模型在被问及你的企业时输出的内容。

llms.txt 属于 “先造出解决方案，再去寻找要解决的问题”。搜索引擎依靠 robots.txt、sitemap.xml 这套现有标准，就可以抓取理解网页内容；而大语言模型很大程度上复用同一套基础设施。

Google 的态度前后矛盾。2026 年 5 月末，谷歌发布生成式 AI 优化官方指南，在 “破除迷思” 章节明确说明：想要出现在生成式 AI 搜索结果中，并不需要 llms.txt 这类机器可读文件。但没过几天，Chrome 团队又在 Lighthouse 实验审计功能里加入了 llms.txt 检测项。

面对外界对这种矛盾的提问，谷歌搜索倡导者 John Mueller 解释道：llms.txt 不是为网页搜索设计的。它或许只是给 AI 代码工具解析开发文档时，用来节省 token 的临时辅助手段，绝大多数网站完全没必要操心这件事。

他在 Reddit 帖子中做过一个很形象的类比：llms.txt 和早年的 keywords 元标签非常相似。

“据我所知，没有任何 AI 服务商表示会使用 llms.txt；看服务器日志就能发现，它们甚至根本不会去请求这个文件。在我看来，它就像 keywords meta 标签：网站运营者自行宣称网站是什么内容…… 可网站实际内容是不是真的如此？爬虫还得再去核验一遍。既然要核验，那为什么不直接抓取网站本身？”

——John Mueller，Google 搜索倡导者