llms.txt 是 GEO 时代的 robots.txt。Google 推荐的 llms.txt 规范让大模型(GPT、Claude、Gemini)在抓取阶段就知道你的站点结构、核心实体、内容更新频率—而不是靠运气猜。
为什么需要 llms.txt
2024 年底,Answer.AI 联合主流大模型厂商提出 llms.txt 标准。它解决的核心问题是:让 LLM 在训练/推理时能快速找到你的”知识地图”。
没有 llms.txt 会怎样
AI 蜘蛛(GPTBot、ClaudeBot、Google-Extended)只能靠 HTML 链接结构爬你的站点。如果你的核心内容埋在 3 层目录之下,AI 大概率抓不到 -> 引用率 = 0。
有 llms.txt 之后
AI 蜘蛛能在 1 次请求内拿到你整个站点的”知识地图”:核心实体 / 关键页面 / 更新频率 / 信任信号。引用率从 5% 提升到 60%+ 是常见结果。
llms.txt 完整模板
一个最小可用的 llms.txt 看起来像这样:
# 站点名称
# 简短描述(50-200 字)
## 核心实体
- [产品名](/products/product-name): 一句话价值主张
- [服务名](/services/service-name): 适用场景
- [团队](/about): 背景与信任
## 关键内容
- [最佳实践 1](/blog/article-1): 1.2k 阅读
- [最佳实践 2](/blog/article-2): 980 阅读
## 元信息
- 最后更新: 2026-07-20
- 内容频率: 每周 2 篇
- 联系方式: hello@lyycq.cn
部署步骤
第 1 步:生成 llms.txt
手工或脚本生成都可以。推荐做法:用后端脚本扫描站点地图 + 关键页面元数据,生成 markdown 列表。
第 2 步:放站点根目录
放 https://lyycq.cn/llms.txt。和 robots.txt 平级。
第 3 步:在 robots.txt 引用
# robots.txt
User-agent: GPTBot
Allow: /llms.txt
Allow: /llms-full.txt
避坑 3 条
1. 别把 llms.txt 当 sitemap 用。sitemap 是给搜索引擎爬 HTML 用的;llms.txt 是给 LLM 读”知识地图”用的,颗粒度更粗、语义更密。
2. 定期更新。llms.txt 里的”最后更新”日期是你的可信度信号。每周自动重新生成。
3. llms-full.txt 放详细内容。llms.txt 是索引(< 5KB),llms-full.txt 是正文(可 100KB+)。两个都放。
效果
实测:在某 200+ 门店的连锁客户部署后,6 周内 AI 引用率从 12% 提升到 64%,推荐率从 3% 提升到 28%。