RTX 3090/4090 显存 24G 环境下 7B 以上模型 LoRA 微调的显存优化方案

针对 24G 显存的 RTX 3090/4090 显卡，在对 7B 级别以上模型进行 LoRA 训练初期常会出现 OOM 显存溢出。通过对比 Llama-3 与 DeepSeek-V2-Lite 的实验发现，默认配置会导致显存浪费。

启用 Gradient Checkpointing 能通过在反向传播时重新计算激活值来降低内存占用，虽然会损失约 20% 的速度，但能有效减轻显存压力。结合 Lit-GPT 的实验经验，针对不同需求提供三种配置：

轻量级模式：适用于样本量少或规模较小的模型。使用 AdamW 优化器，精度设为 bf16，批量大小为 4，梯度累积步数为 1。

中等效果模式：适合 24G 显存运行 7B-13B 模型。采用 paged_adamw_8bit 优化器，批量大小设为 1，梯度累积步数设为 4。LoRA Rank 建议选择 8 或 16，因为 Rank 超过 64 后显存增长快且收益递减。在使用 peft 库的 LoraConfig 时，仅对 v_proj 和 q_proj 等关键层微调可进一步省钱。

极限压缩模式：若前两项仍 OOM，可使用 QLoRA 的 4-bit 量化（NF4 格式），搭配 paged_adamw_32bit 优化器，并将最大序列长度限制在 512 或 1024。这种权衡在显存受限时较为有效，能节省 33% 的内存，但运行时间会增加 39%。

实验数据显示，在相同数据集下，paged_adamw_8bit 仅占用 14GB 显存且损失曲线与占用 22GB 的 AdamW（fp16 精度）几乎一致；Rank 8 在部分垂直任务中能达到 Rank 64 的 90% 以上效果，且显存减少约 2GB。将 max_seq_length 从 4096 降至 512 能迅速释放显存。此外，优化器的选择对结果影响较小，无论是 AdamW、SGD 及其配合调度器的版本，最终产出差异不大。