Llama 3 8B 在本地端侧部署时如何有效降低显存占用

跑 Llama 3 8B 这种量级的模型，如果直接怼 FP16 全精度，16GB 显存的卡基本就顶满了，完全没空间留给 KV Cache，稍微写长点上下文就 OOM。想在端侧流畅跑起来，量化是唯一的出路，但量化方案选不对，智力掉得飞快。

实测对比了 GGUF (llama.cpp) 和 EXL2 (ExLlamaV2) 两种主流路径。如果你是用 Mac 或只有 CPU/集成显卡，GGUF 是唯一选择，通过 q4_k_m 这种 4-bit 量化，显存占用能压到 5GB 左右，速度尚可，但推理时的逻辑连贯性在复杂指令下会有轻微下滑。

如果你有 NVIDIA 显卡，强烈建议上 EXL2。我试过 4.0bpw 和 3.0bpw 的版本，4.0bpw 几乎能无损替代 FP16 的能力，且显存占用控制在 6GB 左右。而一旦压到 3.0bpw，在处理代码生成任务时，缩进和闭合括号开始出现随机错误，明显感知到了量化损失。

对于显存极度吃紧（比如 8G 显存还要兼顾显示输出）的场景，建议尝试 NF4 量化，通过 bitsandbytes 加载。

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype="float16",
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3-8B",
    quantization_config=bnb_config
)

这里的 bnb_4bit_use_double_quant=True 是个关键，它会对量化常数再次量化，能再省下几百 MB 显存，虽然微小但能决定你是否能多跑 512 个 token。

不同方案实测对比：

FP16 原版：显存 16GB+，能力 100%，速度慢，端侧基本不可用。
GGUF Q4_K_M：显存 ~5.5GB，能力 95%，兼容性最强，适合 CPU/Mac。
EXL2 4.0bpw：显存 ~6GB，能力 98%，速度极快，适合 NVIDIA 显卡。
NF4 (Double Quant)：显存 ~5GB，能力 96%，部署最简单，但推理速度慢于 EXL2。

结论就是：追求速度和极致显存比选 EXL2，追求部署简单选 NF4，没独显选 GGUF。千万别为了省那 1GB 显存强行压到 3-bit 以下，Llama 3 8B 在低比特下的“幻觉”增加非常明显。