使用 AutoGPTQ 将 Llama-3 4bit 量化部署到单张 3090 的避坑指南

我实测最稳的路径是先通过 AutoGPTQ 配合 transformers 的最新预览版。如果你想把模型量化并部署到单卡 3090，千万别直接用旧版脚本，建议直接走这个流程：

1. 环境对齐（避坑关键）
不要直接安装 transformers，建议安装从源码编译的版本，否则 Llama-3 的某些 Tokenizer 可能会在量化过程中导致权重偏移。

pip install git+https://github.com/huggingface/transformers.git
pip install optimum auto-gptq

2. 量化核心配置
量化时最容易踩的坑是 dampening 参数和 act_order。如果 act_order=True，推理速度会快一点，但量化过程极其吃显存，3090 在量化 8B 模型时可能会在计算 Hessian 矩阵时瞬间爆显存。

建议使用以下配置脚本：

from transformers import AutoModelForCausalLM, AutoTokenizer
from auto_gptq import AutoGPTQQuantizer

model_id = "meta-llama/Meta-Llama-3-8B"
quantize_config = {
    "bits": 4, 
    "group_size": 128, 
    "desc_act": False, # 关掉这个能显著降低量化时的显存压力
    "act_order": False # 3090量化时建议先设为False，避免OOM
}

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")

quantizer = AutoGPTQQuantizer.from_options(quantize_config)
# 这里的 examples 必须是真实的对话数据集，否则量化后的模型会胡言乱语
quantizer.quantize_model(model, examples)

3. 效率提升技巧
量化完成后，加载模型时记得加上 device_map="cuda:0" 和 low_cpu_mem_usage=True。

一个实操细节：3090 的 24G 显存虽然够，但如果开启了 KV Cache 且上下文长度设得太高，很容易在推理阶段崩掉。建议在加载量化模型后，显式设置 torch.cuda.empty_cache()，并在推理脚本中限制 max_new_tokens。

4. 踩坑总结
显存碎片化：量化过程中如果频繁切换 device_map，显存不会立即释放。建议量化过程单独起一个 Python 进程，量化完保存 .safetensors 后彻底杀死进程，再重新加载推理。
权重精度丢失：如果发现量化后模型逻辑能力下降严重，检查一下 group_size。128 是平衡点，如果设成 32 精度更高但速度掉得厉害，不建议在 3090 上尝试 32。
依赖冲突：AutoGPTQ 对 CUDA 版本要求极高，如果安装后 import 报错，大概率是你的 nvcc -V 版本和 PyTorch 的 CUDA 版本不一致。