Ollama 搭配 Open WebUI 实现私有知识库 RAG 部署全流程指南

本地部署 LLM 最大的痛点不再是「能不能跑」，而是「怎么让它懂我的私有数据」。Ollama 解决了模型运行的门槛，但原生的 CLI 界面无法处理文档，这正是 Open WebUI 补齐的关键。通过这套组合，实际上在本地搭建了一套完整的 RAG（检索增强生成）管线，而无需编写复杂的 LangChain 代码。

这次部署的核心逻辑是：Ollama 作为推理后端提供模型能力，Open WebUI 充当前端界面并内置了向量数据库（ChromaDB）。当你上传 PDF 或 TXT 文件时，Open WebUI 会自动调用 Embedding 模型将文档切片并向量化，存储在本地。当你提问时，系统先在向量库中检索相关片段，再将片段作为上下文喂给 LLM。

对于开发者来说，最快地把这套环境跑起来不需要折腾复杂的依赖，直接用 Docker Compose 是最优解。以下是核心部署命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

部署完成后，在 Open WebUI 的设置中配置 OLLAMA_BASE_URL 为 http://host.docker.internal:11434 即可打通链路。

这套方案的实际意义在于将 RAG 的门槛从「代码级」降低到了「配置级」。以往实现私有知识库需要处理文档解析、分块策略、向量库选型和 Prompt 注入，现在只需要在界面上点击上传文件，然后在对话框中使用 # 符号引用文档。

但这里有个技术细节需要注意：RAG 的效果极度依赖于 Embedding 模型的质量。默认情况下，Open WebUI 可能会使用较小的本地模型，如果发现检索不精准，建议在 Ollama 中拉取专门的嵌入模型（如 nomic-embed-text），并在 WebUI 设置中手动指定。

对行业而言，这种「开箱即用」的私有化方案正在消解企业对数据上云的顾虑。它证明了端侧 AI 已经从简单的「聊天机器人」进化到了「个人/企业知识大脑」阶段。开发者不再需要为简单的知识库需求去搭建繁琐的后端，可以将精力更多地放在优化数据的清洗和 Prompt 的精调上。