LM Studio 部署本地模型时显存溢出怎么优化？

显存溢出（OOM）是本地跑大模型最头疼的问题，尤其是用 LM Studio 这种图形化工具时，很多新手容易被默认设置坑了。其实只要理解了量化位深和上下文窗口的关系，大多数 8G/12G 显存的卡都能跑起 7B-14B 的模型。

最直接的优化点在右侧面板的 GPU Offload。很多人直接拉满，结果模型加载一半就崩了。我的经验是：先看模型文件的 GGUF 量化版本。如果你只有 8G 显存，千万别碰 Q8_0 或者 FP16，直接上 Q4_K_M 甚至 Q3_K_L。量化等级越低，占用的显存呈线性下降，但逻辑能力下降并不明显。

实测对比（以 Llama-3-8B 为例）：
Q8_0 版本：加载后显存直接占用 8.5G → 只要写长一点，立马 OOM 崩溃。
Q4_K_M 版本：加载占用约 5.2G → 留出 3G 空间给 KV Cache，对话流畅，基本不会崩。

另一个深坑是 Context Length（上下文长度）。很多人把它设置成 32k 甚至更高，但显存占用是随长度增加而激增的。如果你发现模型刚加载没问题，但聊了几轮就报错，那就是上下文把显存撑爆了。建议 12G 显存的用户将 Context Overflow Policy 设为 Rolling Window，并将长度限制在 4096 或 8192。

如果显存实在不够，可以通过以下步骤强行优化：

1. 调整 GPU Offload 层数
不要直接拉到 Max，手动输入数值。比如模型总共 32 层，你试着设为 20 层，剩下的 12 层交给 CPU 跑。虽然速度会掉，但能保证不崩溃。

2. 开启 Flash Attention
在设置里勾选 Use Flash Attention，这能显著降低长文本时的显存压力。

3. 检查后台占用
用以下命令看看是不是被浏览器或其他 AI 工具占了显存：

nvidia-smi

模型选择建议：
追求速度/低显存：选 DeepSeek-Coder-1.3B 或 Qwen2-1.5B，这种小模型在 LM Studio 里几乎秒回。
追求能力/中显存：选 Gemma-2-9B 或 Llama-3-8B 的 Q4 量化版，显存控制在 6-8G 左右最为稳妥。
显存 24G 以上：可以直接尝试 Command R 或 Qwen2-72B 的低量化版本（Q2/Q3），但记得把 GPU Offload 慢慢往上加，直到刚好填满显存。