Llama 3 8B 量化后在 16G 显存设备上的推理速度优化实测

把 Llama 3 8B 塞进 16G 显存的卡里其实并不难，但想让 Token 输出速度跑满，单纯靠 ollama run 这种开箱即用的方式往往浪费了性能。我最近在 4080 上实测，通过更换量化格式和调整推理后端，速度提升了将近 40%。

最关键的坑在量化格式。很多人习惯用 4-bit 的 GGUF，但在有 NVIDIA 显卡的情况下，EXL2 格式的推理效率远高于 GGUF。GGUF 强在 CPU/GPU 混合内存，而 EXL2 是为 GPU 优化的。我尝试了 4.0bpw 和 6.0bpw 两个版本，发现 4.0bpw 在 16G 显存上能留出足够的 KV Cache 空间，避免了因显存触顶导致的剧烈掉速。

具体的部署链路是使用 TabbyAPI 作为后端，配合 ExLlamaV2 引擎。配置时重点调整了 max_seq_len，不要盲目设为 8k，建议设为 4096，这样能给推理预留更多显存 buffer。

启动时的关键参数配置如下：

# 启动 TabbyAPI 载入 EXL2 模型
python -m tabbyapi.main \
  --model_path /path/to/llama-3-8b-exl2-4bpw \
  --max_seq_len 4096 \
  --gpu_split 1.0

在 Prompt 端的优化也很有意思。Llama 3 对模板极其敏感，如果用错了 Chat Template，模型会产生大量冗余的重复 Token，直接拉低体感速度。我实测发现，在 API 调用时严格遵循以下格式，能减少无效生成：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are a helpful assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

另一个效率提升点是开启 Flash Attention 2。在安装 transformers 时，确保环境里有 flash-attn。开启后，长文本的推理延迟明显降低，不再随着上下文增加而线性掉速。

实测数据对比：
Ollama (4-bit GGUF): 约 35-45 tokens/s，长文本时有明显卡顿。
ExLlamaV2 (4.0bpw EXL2): 稳定在 65-80 tokens/s，响应几乎瞬时。

避坑指南：千万不要在 16G 卡上尝试 8-bit 量化，虽然精度高一点，但 KV Cache 一旦占满，推理速度会直接掉到 5 tokens/s 甚至 OOM 崩溃。对于 8B 模型，4-bit 或 6-bit 是 16G 显存设备的甜点区。