LM Studio 配置 GPU 卸载导致显存溢出的解决方法分享

很多人的 LM Studio 跑大模型时，明明显存够，但加载到一半突然崩溃或者速度掉到 1token/s，大概率是 GPU Offload（GPU 卸载）的层数设置得太激进，触发了 OOM（显存溢出）。

最核心的坑在于：LM Studio 的 GPU Offload 滑块虽然方便，但它显示的显存占用是静态的。当你加载模型后，KV Cache（键值缓存）会随着上下文长度增加而动态吃掉大量显存。如果你把所有层都卸载到 GPU，留给 KV Cache 的空间不足，系统就会直接崩掉。

我的排查与优化方案：

1. 精确计算卸载层数
不要盲目拉满。先看模型详情里的 Total Layers（总层数）。比如 Llama-3-8B 大约有 32 层，如果你是 8G 显存，建议先尝试卸载 20-25 层，留出 2GB 左右的缓冲空间给上下文。

2. 调整 Context Length（上下文长度）
在右侧配置面板的 Hardware Settings 里，把 Context Length 从默认的 2048 或更高调低。显存占用公式大致是：模型权重 + (层数 * 隐藏层维度 * 上下文长度 * 2)。降低上下文长度能直接给 GPU 释放空间。

3. 强制使用特定量化版本
如果你发现 4-bit (Q4_K_M) 依然溢出，直接换 GGUF 的 3-bit 或 2-bit 版本。虽然精度有损，但能显著降低显存门槛。

具体操作步骤：

配置 GPU 卸载：
在 GPU Settings → GPU Offload 中，手动输入层数而非拖动滑块。

监控显存实时变化（Windows 用户）：
打开 PowerShell，用以下命令实时盯着显存，直到模型加载完成且发送第一条指令：

nvidia-smi -l 1

优化后的配置组合建议（以 8G 显存跑 7B-8B 模型为例）：
GPU Offload → 设置为总层数的 70%
Context Length → 2048 或 4096
Flash Attention → 勾选开启（能显著降低显存压力并提升速度）

如果还是崩溃，尝试在 Advanced Configuration 中将 CPU Threads 设置为物理核心数，确保在部分层回退到 CPU 运行时，计算速度不至于掉得太离谱。