用 llama.cpp 把 DeepSeek-V3 量化到 4-bit 部署在 Mac M2 上的内存占用实测

直接给结论：DeepSeek-V3 这种 671B 的巨无霸，即便量化到 Q4_K_M，在 Mac M2 上跑起来也得有 400GB+ 的统一内存（Ultra 顶配），否则直接触发 Swap 导致速度掉到 0.1 token/s。

为了在本地验证推理链路，我尝试用 llama.cpp 将其量化到 4-bit。这里最核心的坑在于 GGUF 格式的转换，如果你直接去 Hugging Face 随便下个量化版，可能会发现某些算子在 Metal 上跑不起来。

具体的量化部署流程：

先得把原版 BF16 权重转成 GGUF 格式，这一步极度吃内存，建议在 Linux 服务器上操作，然后传回 Mac。

# 安装 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j

# 转换模型 (需要安装 python 依赖)
python3 convert_hf_to_gguf.py models/DeepSeek-V3 --outtype f16 --outfile deepseek-v3-f16.gguf

# 执行 4-bit 量化
./llama-quantize deepseek-v3-f16.gguf deepseek-v3-Q4_K_M.gguf Q4_K_M

内存占用实测数据：

量化后的模型文件大小约为 380GB 左右。在 M2 Ultra 192GB 内存的机器上加载时，由于内存不足以完全承载，macOS 会强制使用虚拟内存。

内存快照：

• 静态加载占用： 约 385GB (含 KV Cache 预分配)
• 激活状态： 内存压力直接爆红，Swap 占用高达 200GB+
• 推理速度： 启动后首字延迟约 15 秒，生成速度 0.2-0.5 token/s

效率提升技巧：

如果你的内存没到 512GB，想流畅运行，建议放弃 Q4，直接上 Q2_K 或者使用更激进的 iq2_xxs 量化。另外，启动命令里必须强制指定 GPU 层数，否则默认走 CPU 慢到怀疑人生。

./llama-cli -m deepseek-v3-Q4_K_M.gguf -n 512 -ngl 99 -p "用 Rust 写一个异步 Web 框架"

这里 -ngl 99 是关键，强制将所有层尽可能推给 Metal 核心。

踩过的坑：

最大的坑是 KV Cache 的内存占用。DeepSeek-V3 的上下文窗口很大，如果你在启动时没限制 ctx-size，llama.cpp 会尝试分配巨大的内存空间给 KV Cache，导致模型还没开始推理就直接 OOM (Out of Memory) 崩溃。建议初次尝试时加上 -c 2048 限制上下文长度。