如何利用 Llama 3 搭建一个能自动读取本地文档的私有知识库

我的实战方案是 Ollama + AnythingLLM，这套组合是目前最快且最稳的本地闭环方案，不需要写复杂的 LangChain 链条。

部署步骤：

1. 启动 Ollama 并拉取模型：

ollama run llama3

2. 安装 AnythingLLM（桌面版），在设置中将 LLM Provider 选为 Ollama，模型选 llama3。

3. 关键配置： 这里的 Embedding 模型不要用 Llama 3 本身，因为它不是专门为向量检索设计的。在 Embedding 设置里切换到 nomic-embed-text，这能显著提升文档检索的准确率。

提升效率的进阶技巧：

为了防止模型在读取本地 PDF 时出现“断章取义”，我调整了分块（Chunking）策略。默认的 500 token 分块太碎，建议改为 1000 token 且设置 200 token 的重叠（Overlap）。这样在检索到相关片段时，上下文的连贯性更好。

如果你的文档包含大量代码或结构化数据，可以在 Prompt 设定中强制要求它引用原文。我在 Workspace 设置里加入了这段系统指令：

You are a local knowledge assistant. 
When answering based on the uploaded documents, you MUST start your response with "Based on the documents:". 
If the answer is not in the provided context, explicitly state "Information not found in local docs" instead of guessing.

踩过的坑：

最麻烦的是 PDF 的编码问题。很多扫描件或者带复杂表格的 PDF，AnythingLLM 默认解析出来是乱码。后来我发现，先用 Marker 或者 Nougat 把 PDF 转成干净的 Markdown 格式再喂给知识库，回答的精准度直接从 60% 提升到了 90% 以上。

资源占用参考：
16G 内存 + RTX 3060 (12G VRAM) 跑 Llama 3 8B 配合本地向量库，响应速度在 10-20 tokens/s 左右，完全能接受。