llms.txt 是 GEO 时代的 robots.txt。Google 推荐的 llms.txt 规范让大模型(GPT、Claude、Gemini)在抓取阶段就知道你的站点结构、核心实体、内容更新频率—而不是靠运气猜。

为什么需要 llms.txt

2024 年底,Answer.AI 联合主流大模型厂商提出 llms.txt 标准。它解决的核心问题是:让 LLM 在训练/推理时能快速找到你的”知识地图”

没有 llms.txt 会怎样

AI 蜘蛛(GPTBot、ClaudeBot、Google-Extended)只能靠 HTML 链接结构爬你的站点。如果你的核心内容埋在 3 层目录之下,AI 大概率抓不到 -> 引用率 = 0。

有 llms.txt 之后

AI 蜘蛛能在 1 次请求内拿到你整个站点的”知识地图”:核心实体 / 关键页面 / 更新频率 / 信任信号。引用率从 5% 提升到 60%+ 是常见结果。

llms.txt 完整模板

一个最小可用的 llms.txt 看起来像这样:

# 站点名称
# 简短描述(50-200 字)

## 核心实体
- [产品名](/products/product-name): 一句话价值主张
- [服务名](/services/service-name): 适用场景
- [团队](/about): 背景与信任

## 关键内容
- [最佳实践 1](/blog/article-1): 1.2k 阅读
- [最佳实践 2](/blog/article-2): 980 阅读

## 元信息
- 最后更新: 2026-07-20
- 内容频率: 每周 2 篇
- 联系方式: hello@lyycq.cn

部署步骤

第 1 步:生成 llms.txt

手工或脚本生成都可以。推荐做法:用后端脚本扫描站点地图 + 关键页面元数据,生成 markdown 列表。

第 2 步:放站点根目录

https://lyycq.cn/llms.txt。和 robots.txt 平级。

第 3 步:在 robots.txt 引用

# robots.txt
User-agent: GPTBot
Allow: /llms.txt
Allow: /llms-full.txt

避坑 3 条

1. 别把 llms.txt 当 sitemap 用。sitemap 是给搜索引擎爬 HTML 用的;llms.txt 是给 LLM 读”知识地图”用的,颗粒度更粗、语义更密。

2. 定期更新。llms.txt 里的”最后更新”日期是你的可信度信号。每周自动重新生成。

3. llms-full.txt 放详细内容。llms.txt 是索引(< 5KB),llms-full.txt 是正文(可 100KB+)。两个都放。

效果

实测:在某 200+ 门店的连锁客户部署后,6 周内 AI 引用率从 12% 提升到 64%,推荐率从 3% 提升到 28%。