Llama 3 8B 在本地部署时如何通过量化优化显存占用

显存 8G 的卡想跑 Llama 3 8B，如果直接上 FP16 原版，起码得 16G 显存，普通玩家根本跑不动。目前最稳的方案是通过 llama.cpp 配合 GGUF 格式进行量化，把模型从 16bit 压到 4bit 甚至更低，显存占用能直接掉到 5GB 左右，且推理速度反而因为内存带宽压力减小而提升。

最推荐的量化等级是 Q4_K_M。这个档位在模型精度丢失和显存压缩之间达到了平衡，基本感觉不出逻辑能力的下降。

具体部署操作流程：

1. 环境搭建与编译
先克隆 llama.cpp 并编译，确保开启 CUDA 支持，否则默认走 CPU 慢得像蜗牛。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

2. 模型转换与量化
如果你手里是 HuggingFace 的原版权重，需要先转成 GGUF 格式，再进行量化。这里演示量化为 4-bit 的命令：

# 1. 转换为 GGUF 格式
./build/bin/llama-quantize ./models/llama-3-8b-f16.gguf ./models/llama-3-8b-q4_k_m.gguf Q4_K_M

3. 运行与显存卸载设置
运行的时候最关键的参数是 -ngl (number of gpu layers)。Llama 3 8B 有 32 层，如果你想全量加载到显存里，必须设为 32。

./build/bin/llama-cli -m ./models/llama-3-8b-q4_k_m.gguf -n 512 -ngl 32 -p "Write a Python script to scrape news"

避坑指南与配置技巧：

量化精度陷阱： 别盲目追求 Q2 或 Q3。我试过 Q2_K，在处理复杂逻辑代码时，模型开始胡言乱语，出现严重的幻觉。对于 8B 这种小参数模型，低于 4-bit 的量化对智力的损耗非常明显。

KV Cache 占用： 很多同学发现量化后显存还是满了，那是被 Context Window（上下文窗口）给吃掉了。如果显存告急，可以通过 -c 参数限制上下文长度，比如限制到 2048：

./build/bin/llama-cli -m ... -c 2048 -ngl 32

性能调优： 如果你用的是 NVIDIA 30 系列或 40 系列卡，记得检查 flash-attention 是否开启，能显著降低长文本输入时的显存峰值。

显存占用实测对比：
FP16 原版： 约 16GB+ (直接 OOM)
Q8_0 量化： 约 8.5GB (勉强跑，但没空间留给 KV Cache)
Q4_K_M 量化： 约 5.2GB (流畅运行，剩余显存足够支撑 8k 上下文)