LoRA vs DoRA：实测结果出乎意料

这次对比是在没有数据中心资源、纯靠个人设备跑微调的情况下做的。原本预期 DoRA 能够通过解耦幅度和方向来提升模型的表达能力，但实际跑出来的 Loss 下降速度明显慢于 LoRA，而且在验证集上的表现也没有预想中那么强。

分析了一下原因，大概率是 DoRA 引入的额外计算开销在小规模数据集或特定硬件环境下没能转化为实际的精度增益。对于追求效率的开发者来说，如果不是在极其复杂的任务场景下，没必要为了所谓的“先进”而强行切换到 DoRA。

这次踩坑给我的经验是：微调大模型时，不要盲目追新算法，基础的 LoRA 依然是目前最稳、性价比最高且最不容易在部署时出问题的选择。