如何利用 Llama 3 结合 RAG 搭建一套个人本地知识库系统

本地部署 Llama 3 做知识库，最核心的痛点不在于模型本身，而在于如何让它在不丢失上下文的情况下精准检索。很多人直接用简单的向量检索，结果发现 AI 经常胡言乱语，其实是因为缺失了 Rerank（重排序）环节。

我目前的实战方案是 Ollama + AnythingLLM + BGE-Reranker。这套组合可以完全脱离云端，保证数据不出本地。

环境搭建关键步骤：

1. 启动模型后端
直接用 Ollama 跑 Llama 3，但建议给模型预设一个 System Prompt，强制它在找不到答案时闭嘴，防止幻觉。

ollama run llama3 "你是一个本地知识库助手。请仅根据提供的上下文回答问题。如果上下文中没有相关信息，请直接回答'知识库中未提及'，不要尝试编造。"

2. 配置向量数据库与 Rerank
在 AnythingLLM 的设置中，不要只依赖内置的向量检索。我踩过最大的坑就是直接用默认配置，结果检索回来的片段相关度极低。建议在 Embedding 模型之后接入一个 Reranker（如 BGE-Reranker-v2-m3），它能对初筛出的 Top-K 片段进行二次打分，把最相关的顶到最前面。

3. 数据切片（Chunking）的技巧
不要使用默认的 500 字符切片。对于技术文档，我建议采用 Overlap（重叠）策略：

• Chunk Size: 800 - 1000 字符
• Chunk Overlap: 100 - 200 字符

这样可以保证语义在切分点不会被截断，AI 读到的上下文才是完整的。

一个高效的检索提示词模板：
在 RAG 的 Prompt 配置里，我把指令改成了这样，能显著提升回答的准确率：

Context: 
{context}

Question: 
{question}

Answer Requirements:
1. 必须引用上下文中的原话。
2. 采用[来源文件:页码]的格式标注引用。
3. 如果上下文冲突，以最新日期更新的文件为准。

效率提升点：
为了避免每次启动都要加载巨大的模型，我把 Ollama 的 OLLAMA_KEEP_ALIVE 环境变量设为了 24h，这样模型常驻显存，响应速度从 5 秒延迟降低到了 1 秒以内。

踩坑总结：
最容易被忽略的是 PDF 的解析问题。很多 PDF 是多栏布局，直接读取会导致文本顺序混乱，导致 RAG 检索到的是碎片化的废话。建议先用 Marker 或 Nougat 将 PDF 转成标准的 Markdown 格式，再喂给知识库，检索精度直接提升一个档次。