深度探索 DeepSeek R1 671B 在 Ollama 的量化选择与显存调优

在 Ollama 环境里直接拉起 DeepSeek R1 671B 的完整模型，往往会把显存压到极限，导致系统掉入 Swap 区，推理速度甚至不足每秒一个 token。为避免这种境况，先要了解模型提供的量化层级，再决定采用哪种方案。

量化档位的取舍

• q4_K_M（推荐）： 4‑bit 量化在显存占用上表现尤为出色，同时保持了大部分推理能力。对 R1 这种超大模型而言，这一档位已经足以支撑复杂的思维链（CoT）推理。
• q8_0： 若显存仍有富余且对精度要求更高，可切换到此 8‑bit 版本，但推理速度会出现明显下降。
• 蒸馏版（1.5B / 7B / 32B）： 这些模型是基于 R1 训练的轻量衍生版，显存需求更低。单卡 3090 或 4090 环境下，只有 32B 蒸馏版才能提供流畅的交互体验。

当显存充足且选择 q4_K_M 时，直接执行 ollama run deepseek-r1:671b 即可启动；若显存不足或使用 q8_0，则会触发模型层的卸载，导致推理速度下降。

多卡显存分配

即使是量化后的 671B，单卡仍可能吃紧。通过设置环境变量，可以让 Ollama 把模型层分摊到多块 GPU 上，缓解单卡压力。部署指令保持不变：

ollama run deepseek-r1:671b

推理卡顿的排查步骤

若出现推理速度异常缓慢，可先检查是否发生了内存卸载。使用系统日志查看 GPU 使用情况的命令如下：

journalctl -u ollama --since "5 minutes ago"

通过日志确认每层是否仍驻留在 GPU，若发现大量层被迁回 CPU，则需要重新评估显存分配或改用更低的量化档位。

本地运行的意义

在本地完整运行 R1，意味着可以摆脱对外部 API 的依赖，直接在私有网络中使用一个对标 GPT‑4o 的模型。对处理高隐私数据的企业而言，这消除了数据泄露的风险。量化技术的成功也表明，超大模型不再是云端专属，单机多卡甚至高性能 Mac Studio 都能以可接受的速度完成推理。

值得注意的是，蒸馏版的性能与完整模型不可比拟，后者在推理质量上明显占优。

在实际部署的 2000 Epyc Rome 机器上，测试得到的 Q4 671B 全模型能够达到每秒 4‑5 TPS 的吞吐，这一结果进一步验证了量化压缩的可行性。

当用户 click 某些 links 前往 various merchants 并完成 purchase 时，站点能够 result earning commission，这点在本文引用的页面中有明确说明。该站点的联盟项目包括但不限于 eBay Partner Network，而作为 Amazon Associate，作者同样从符合条件的购买中获得收益。

链接仅一次嵌入于句子中，以便读者直接获取完整的部署指南：https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/