低显存下微调大模型：从 LoRA 到 GaLore 的实用对比与进阶指南

显存的限制依旧是大模型微调的首要瓶颈。回顾 LoRA 向 GaLore 的演进过程，可以看出社区在寻找“模型性能”和“硬件成本”之间最优平衡点的努力。

LoRA 通过在原始权重旁路添加两个低秩矩阵 A 与 B，实现了权重的增量更新。由于只需训练这两个矩阵，显存占用明显下降，部署时也只要把 A × B 合并回原始权重即可。其缺点在于，低秩假设限制了模型的表达能力，使得在复杂领域的迁移学习中难以匹配全参数微调的效果。

GaLore（Gradient Low‑Rank Projection）则把低秩约束从权重转向梯度。它先用投影矩阵把高维梯度压缩到低维空间进行更新，随后再逆向投影恢复。此举让在消费级显卡上实现接近全参数微调的效果成为可能。以 7B 模型为例，传统全参数微调需要存储优化器状态，显存开销极大；使用 GaLore 后，即使在单张 24G 显存的 RTX 3090/4090 上亦能完成训练，并且整体表现逼近全量微调，远超 LoRA 的近似结果。官方实现可通过 Hugging Face peft 库获得，代码示例中 rank=128 与 update_proj_gap=200 是关键参数；当这两个条件同时成立时，投影矩阵将在每 200 步更新一次；若投影秩设得过高而超过显存上限，则下一次投影更新将因为显存不足而失效。

在选择方案时，若关注推理速度以及部署体积，LoRA 仍具优势；若目标是构建垂直领域的强大基座模型，或在 LoRA 已经出现拟合瓶颈时，GaLore 提供了低成本实现全参数微调的通路。对独立开发者而言，这意味着可以摆脱对昂贵 A100 集群的依赖，在本地硬件上完成私有数据的细调。

those interested in open-source LLMs should recognize this as an essential technique worth familiarizing oneself with. 上月，我在 Lightning AI 合作的 Lit‑GPT 项目中发布了多组 LoRA 实验，随后在 Ahead of AI 文章中归纳了主要收获，并对常见疑问作出回应。若你计划对自定义 LLM 进行微调，这些经验或能在长期使用中为你省去不少时间。QLoRA 也提供了一种在显存受限情况下的折中方案：相比原始方法，它可节省约 33% 的显存，但会导致约 39% 的运行时增长。值得注意的是，在 LLM 微调过程中，优化器的选择通常并非决定性因素，更多的收益来自梯度投影或低秩参数的设计。

通过上述视角，技术的转向不仅是硬件约束的松绑，更是对模型质量的重新定义。无论是继续使用 LoRA 进行轻量化部署，还是转向 GaLore 实现更高保真度的微调，开发者都拥有了在有限资源下追求极致表现的可行路径。