LM Studio 配合 Local Server 搭建个人知识库 RAG 的踩坑记录

直接把 LM Studio 当成 OpenAI 的 API 替代品，是很多本地 RAG 玩家的初步尝试，但如果不对 Server 配置和 Embedding 模型做精细化处理，检索出来的结果基本都是在胡说八道。

这次我尝试用 LM Studio 跑本地 Llama-3-8B 配合一个简单的 Python RAG 脚本搭建个人文档库，最关键的坑在于：千万不要用同一个模型同时负责 Embedding 和 LLM 生成。很多新手直接用 Llama-3 去做向量化，结果检索精度极低。

正确的姿势是：在 LM Studio 中加载一个专门的 Embedding 模型（如 bge-small-en-v1.5 或 nomic-embed-text），然后在 Local Server 启动界面勾选 "Cross-Origin Resource Sharing (CORS)"，否则前端调用时会直接报跨域错误。

具体到代码实现，如果你用 LangChain，连接本地 Server 的配置得这么写，注意 base_url 必须指向 LM Studio 的 1234 端口：

from langchain_openai import OpenAIEmbeddings, ChatOpenAI

# 配置本地 Embedding 模型（确保 LM Studio 已加载对应的 Embedding 模型）
embeddings = OpenAIEmbeddings(
    model="nomic-embed-text", 
    openai_api_base="http://localhost:1234/v1",
    openai_api_key="lm-studio"
)

# 配置 LLM 生成模型
llm = ChatOpenAI(
    model="meta-llama-3-8b-instruct", 
    openai_api_base="http://localhost:1234/v1",
    openai_api_key="lm-studio",
    temperature=0.2
)

几个实战中的效率提升点：

Context Window 的陷阱：LM Studio 默认的上下文窗口可能设置得很小。在加载模型后的右侧设置栏，手动把 Context Length 拉到 8192 甚至更高，否则 RAG 检索回来的参考文档一旦稍微长一点，模型就会截断，导致回答不完整。

GPU 卸载（GPU Offload）：如果显存不够，不要盲目全量加载。在 GPU Offload 里通过滑块调整层数，确保显存占用在 80% 左右，留一点空间给 Embedding 模型，否则在检索切换到生成时，系统会因为显存溢出而导致 API 响应极慢。

Prompt 注入技巧：本地模型对 RAG 的指令遵循能力弱于 GPT-4。建议在 System Prompt 中强制约束，防止它在找不到答案时开始编造：

You are a helpful assistant. Use ONLY the following context to answer the question. 
If the answer is not in the context, say "I don't know", don't try to make up an answer.
Context: {context}
Question: {question}

最让我崩溃的一个坑是 LM Studio 的版本更新有时会重置 Server 端口，如果突然发现 404，先去检查端口号是不是被自动改回了默认值。