Ollama 本地部署 DeepSeek R1 满血版显存优化指南

跑 DeepSeek R1 满血版（671B）最头疼的就是显存。很多人直接用 Ollama 拉模型，结果发现加载完就 OOM（显存溢出）或者推理速度掉到 0.x token/s，其实关键在于量化版本的选择和 K-V 缓存的调优。

实测下来，如果你只有 2-4 张 3090/4090（共 48G-96G 显存），强行跑 FP16 是不可能的，最稳妥的方案是选 deepseek-r1:671b-q4_K_M。这个量化版本在逻辑推理能力上和原版几乎没区别，但体积直接砍掉了一大半。

不同量化版本的实测对比：

Q4_K_M (推荐)

• 表现：逻辑严密，代码生成基本无误。
• 速度：在 4 张 4090 上能维持在勉强可用的速度。
• 缺点：依然需要极大的内存/显存支撑。

Q2_K (极致压缩)

• 表现：会出现明显的“胡言乱语”或循环输出。
• 速度：飞快，加载压力小。
• 缺点：推理深度严重下降，失去了 R1 满血版的意义。

如果你发现模型加载后运行极慢，大概率是触发了系统内存交换。可以通过修改 Ollama 的环境变量来强制优化显存分配。在 Linux 下，可以尝试通过 systemctl edit ollama.service 添加以下配置：

[Service]
Environment="OLLAMA_GPU_OVERHEAD=512"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

这里 OLLAMA_GPU_OVERHEAD 预留了显存缓冲，防止在长文本推理时因为 KV Cache 瞬间撑爆显存而导致崩溃。

对比 Claude 3.5 Sonnet 和 GPT-4o 的本地体验：
在处理复杂 Python 异步并发逻辑时，本地 R1 满血版（Q4量化）的思考链（Thinking Process）比 GPT-4o 详细得多，它会自我纠错多次才给出结果。但缺点是太慢，如果你追求效率，Claude 3.5 依然是首选；如果你追求的是那种“死磕到底”的逻辑推演，且有硬件基础，本地 R1 带来的私密性和掌控感更强。

一个提升响应速度的 Prompt 技巧：
本地跑 R1 时，如果不想看太长的思考过程，可以在 System Prompt 里限制它，虽然会稍微影响推理质量，但能显著减少首字响应时间：

You are DeepSeek R1. Please provide a concise thought process and get straight to the core solution.

目前的结论是：除非你有 8 张 H100，否则在 Ollama 上跑满血版必须接受量化。Q4 是性能与能力的平衡点，低于 Q3 就没必要折腾满血版了，直接换 DeepSeek-R1-Distill-Llama-70B，速度快十倍，效果在 80% 的场景下差不多。