那个叫 llms.txt 的提案想统一大模型读取文档的标准
一个简单的文本文件就能让 LLM 瞬间读懂整个网站的结构,这听起来很美好,但现实是 llms.txt 这个提案目前还处于一个很尴尬的状态:它试图定义一种标准,让开发者在根目录下放一个
/llms.txt 文件,专门给 AI 爬虫提供精简的、结构化的上下文,而不是让模型在冗长的 HTML 页面里大海捞针。说白了,这就是想给大模型搞一套类似 robots.txt 的协议,只不过 robots.txt 是告诉爬虫“别来”,而 llms.txt 是告诉模型“看这里,这是重点”。
如果这个标准能推行下去,对于做实战部署的开发者来说简直是福音。现在的痛点是,当你把文档喂给 Claude Code 或其他工具时,模型经常会被导航栏、页脚、广告等噪声干扰,导致 Token 浪费且容易产生幻觉。如果能通过一个标准化的索引文件,直接把核心 API 文档的 Markdown 链接扔给模型,效率会提升一个量级。
目前这个提案建议的文件结构大概是这样的:
# 项目名称
> 简短的项目描述,让 LLM 快速定位
## 核心文档
- [快速开始](/docs/quickstart): 快速部署指南
- [API 参考](/docs/api): 详细的接口定义
## 详细指南
- [高级配置](/docs/advanced): 针对复杂场景的调优虽然逻辑很通顺,但问题在于现在的 AI 巨头们(比如 OpenAI 或 Anthropic)根本不需要这种标准。他们有更强大的预处理能力,或者直接通过自己的爬虫协议来处理数据。而且,现在的趋势是让模型去适应网页,而不是让全世界的网站为了模型去改代码。
我觉得这个东西在小圈子里会有用,比如一些开源项目为了让 AI 更好地阅读自己的文档而主动加上,但想要变成像 HTTP 协议那样被全球公认的标准,除非有某个大厂强制要求。
事件追踪 · 相关报道
AI真的开始管人了,Claude直接建议开掉迟到惯犯
4小时前
Codex桌面端终于能换皮肤了,写代码的氛围感拉满
4小时前
OpenAI 把那个专门评估灾难性风险的团队给解散了
11小时前
给软件开发开挂之后反而觉得没意思了,这就是现在的 AI 现状吗
20小时前
身边的人都在抵制AI,但我却决定跳槽去一家AI创业公司
23小时前
Dario Amodei 觉得现在的 AI 监管方向可能完全跑偏了
1天前
免费 AI 工具箱 · 全部完全免费