Llama 3 8B 结合 LoRA 在医疗数据集上的微调参数调优实战

用 Llama-3-8B 做医疗问答微调，最容易翻车的地方就是学习率（Learning Rate）和 Rank 值的权衡。医疗文本对专业术语的敏感度极高，如果参数给太高，模型会迅速产生“知识漂移”，导致它开始用口语化的方式胡编乱造医学建议；参数太低，它又只会死板地复读训练集。

我这次实战用的是 unsloth 框架，因为它的内存优化比原生 PEFT 快得多。核心的配置技巧在于：不要盲目追求大 Rank。很多人习惯把 r 设为 64 甚至 128，但在医疗这种领域知识密集的场景下，过大的 Rank 极易导致过拟合。

我的最终稳定参数组合：

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.get_peft_model(
    model,
    r = 16, # 关键点：医疗微调建议在 8-16 之间，防止过拟合
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", 
                      "gate_proj", "up_proj", "down_proj"], 
    lora_alpha = 32, # 习惯性设为 r 的 2 倍
    lora_dropout = 0.05, 
    bias = "none",
)

在训练过程中踩的一个大坑是 Learning Rate 的选择。我起初试了 2e-4，结果 Loss 曲线在第 50 个 step 左右就开始剧烈波动，模型开始出现严重的幻觉。后来将学习率压低到 5e-5，并配合 cosine 学习率衰减策略，Loss 走势才变得平滑。

具体调优路径记录：
数据集清洗：医疗数据必须统一格式。我使用了 {"instruction": "...", "input": "...", "output": "..."} 结构，但关键是在 output 前强制加入 [MEDICAL_ANSWER] 标签，这样在推理时可以通过这个锚点引导模型进入“专业模式”。
权重衰减 (Weight Decay)：设置在 0.01 左右，有效缓解了模型对个别罕见病案例的过度记忆。
Epoch 数：医疗数据集建议 3 个 Epoch 封顶。超过这个数，模型在通用对话能力上的退化非常明显。

如果你在微调后发现模型回答太简短，不要急着增加 Epoch，尝试在 Prompt 中加入 Please provide a detailed medical analysis，或者调整推理时的 repetition_penalty 到 1.1 左右，效果比死磕训练参数要明显得多。