llms.txt 是由 Jeremy Howard 发起、在 llmstxt.org 维护的开放提案(现已迭代到 v2),目标是让网站主动为 AI 智能体提供「为机器阅读而写」的内容。
要解决的问题
网页为人类设计,信息被导航、广告和 JavaScript 包裹,智能体把 HTML 转回干净文本既困难又不精确;上下文窗口再大也装不下整站内容,每个浪费的词元都增加时延与成本。
格式与用法
在站点根路径或任意子路径放置 llms.txt,Markdown 编写且结构固定——一个 H1 项目名(唯一必需部分)、一个引用块摘要、任意详述段落、若干以 H2 分节且每节为「文件清单」的链接列表。提案同时建议为智能体可能需要的页面在同 URL 提供 Markdown 版本(追加 .md),并用 rel="alternate" type="text/markdown" 与 rel="describedby" 链接关系帮助客户端定位。规范明确它与 robots.txt(管访问许可)、sitemap.xml(给搜索引擎列全页)用途不同:llms.txt 按需服务于推理时的信息获取。
现状与边界
规范页面列举了 OpenAI、Anthropic、Gemini 等官方文档站及 Mintlify、GitBook 等文档平台已发布该文件,Chrome Lighthouse 已把 llms.txt 纳入 agentic browsing 检查项。它不是任何标准组织的正式标准,采纳属自愿行为;对站长而言属于低成本的 AI 可见性优化手段。