它与 robots.txt、sitemap.xml 有什么不同?
- llms.txt:精选背景信息和重要链接,便于 Agent 按需找到更详细、最好也易于机器读取的页面。
- robots.txt:声明对自动访问的抓取规则。llms.txt 不能代替它,也不能阻止页面被抓取。
- sitemap.xml:列出网站页面供发现和索引。llms.txt 通常更精简,重点是说明哪些内容最值得按主题阅读。
一个实用的文件应包含什么?
提案 v2 允许将文件放在 /llms.txt,也允许放在 /docs/llms.txt 等子路径。文件以一个 H1 网站或项目名称开头;简短摘要、补充说明和按 H2 分组的链接用于帮助读者判断后续该打开哪个页面。例如:Example Store
Official product information, policies, and support resources.
Products
- Product catalog: Current product pages and availability.
Help
- Shipping policy: Regions, costs, and delivery times.
- Contact: How to ask about a product or order.
如何验证,而不是假定它有效?
- 确认目标路径能公开访问,返回的是预期的 Markdown,而不是登录页或错误页。
- 随机打开几个链接,检查页面是否可访问、内容是否仍准确。
- 用实际会使用 llms.txt 的 Agent 测试具体问题:它能否从导览找到正确页面,并引用原文?
- 如需评估业务效果,分别观察服务器日志、站点分析和 GEOly 中各自有定义的数据;不要把爬虫访问、AI 回答中的引用、引荐会话和转化混为一谈。