用 llama.cpp 将 DeepSeek-V3 量化至 4-bit 并在 Mac M2 上部署的实测指南

这次尝试用 llama.cpp 从 HuggingFace 的权重转换到 Q4_K_M 格式。最关键的坑在于转换脚本的内存占用，如果直接在 Mac 上跑 convert_hf_to_gguf.py，很容易因为内存溢出导致系统卡死。建议在 Linux 服务器上完成量化，然后把 .gguf 文件传回 Mac。

量化实操流程：

先拉代码并编译，确保开启 Metal 加速，否则 M2 的 GPU 根本没被利用到。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_METAL=ON
cmake --build build --config Release

执行量化命令（假设已经下载好 BF16 权重）：

./build/bin/llama-quantize ./models/deepseek-v3-bf16.gguf ./models/deepseek-v3-Q4_K_M.gguf Q4_K_M

部署配置技巧：

在 Mac 上启动时，-ngl 参数决定了有多少层模型被加载到 GPU 内存中。DeepSeek-V3 层数极多，如果设为 -ngl 99 导致内存爆掉，系统会频繁触发 Swap，速度掉到 0.5 token/s。

实测 M2 Max (64GB) 的最佳启动参数：

./build/bin/llama-cli -m ./models/deepseek-v3-Q4_K_M.gguf \
    -n 512 \
    -ngl 20 \
    --ctx-size 4096 \
    -p "你是一个精通Rust的架构师，请分析以下代码："

几个避坑经验：

内存预留：即便量化到了 4-bit，模型文件依然巨大。启动前必须关闭 Chrome 和 Docker 等内存大户，否则 macOS 的内存压缩机制会导致推理延迟剧增。

上下文窗口：--ctx-size 不要贪多。在 M2 上，将上下文设为 8k 以上时，KV Cache 占用的内存会迅速攀升，直接导致 OOM。建议实战中控制在 4k 左右。

量化精度：尝试过 Q2_K，虽然速度快了，但逻辑推理能力（尤其是代码生成）出现了明显的断层，经常出现语法错误。对于 V3 这种规模的模型，Q4_K_M 是底线。

目前的实测速度大约在 3-5 token/s，虽然不能比云端 API 快，但对于离线分析私有代码库来说，这个吞吐量足够了。