SDXL 适配 LoRA 训练参数调优：如何解决过拟合导致的画面崩坏

很多在跑 SDXL LoRA 的朋友可能都踩过这个坑：训练前几个 Epoch 效果惊艳，但只要稍微多跑几轮，画面就开始出现诡异的色块、线条僵硬，甚至直接崩成一团马赛克。这本质上是模型在“死记硬背”训练集，把噪声和特定的图片缺陷当成了特征给学进去了。

SDXL 的参数空间比 1.5 大得多，惯性地沿用旧参数基本都会导致过拟合。解决这个问题的核心不在于盲目降低学习率，而是在于学习率调度（Scheduler）与秩（Rank/Alpha）的平衡。

如果你的画面出现了严重的过拟合，建议优先检查 Network Rank (Dim) 和 Network Alpha。很多人习惯把 Rank 设为 64 甚至 128，但在 SDXL 中，过高的 Rank 极易导致权重分布过于集中，从而引发崩坏。尝试将 Rank 压到 16 或 32，并将 Alpha 设为 Rank 的一半（比如 Rank 32, Alpha 16），这能起到一个天然的正则化作用，让模型在学习特征时更“克制”。

在学习率的选择上，不要死磕 1e-4。针对 SDXL，尝试使用 Cosine 调度器配合一个较小的起始学习率，比如 5e-5 或 1e-5。如果发现 Loss 值掉得太快且画面迅速僵硬，可以尝试开启 Weight Decay（权重衰减），建议设置在 0.01 到 0.1 之间，强制让模型不要过分依赖个别权重。

对于数据集的质量控制，SDXL 对打标（Captioning）的敏感度很高。如果你的触发词后面跟着过于冗长的描述，模型可能会把描述中的细节与触发词强绑定，导致生成时只要出现触发词，画面就强制复现训练集的构图。建议精简标签，去掉那些重复的、无关的环境描述，给模型留出泛化空间。

一个比较稳健的参数组合参考：

学习率配置
UNet LR: 1e-4 (或更低)
Text Encoder LR: 5e-5 (建议比 UNet 低一个数量级，防止语义崩坏)
Scheduler: cosine_with_restarts
Optimizer: Adafactor 或 AdamW8bit

网络配置
Network Rank: 32
Network Alpha: 16
Max Train Epochs: 根据数据集大小，建议在 10-20 轮之间观察，不要追求 Loss 趋近于 0。

最有效的验证方法是每隔 1-2 个 Epoch 保存一个快照，然后用同一组 Prompt 在不同权重下对比。一旦发现对比度异常升高或出现伪影，立刻回溯到前一个版本。LoRA 训练不是追求“学得像”，而是追求“像且能变”。