如何在不破坏模型通用能力的前提下，通过 LoRA 微调提升代码生成精度？

要保住通用能力，核心在于数据配比（Data Mixing）和秩（Rank）的精细控制。

我的实战经验是：在训练集中强制加入 15%-20% 的通用指令数据集（比如 Alpaca 或 ShareGPT 的精选子集）。如果只喂代码，模型会迅速产生“灾难性遗忘”。

具体的训练配置技巧：

不要盲目追求高 Rank。代码微调建议 r=16 或 r=32 足够，alpha 设置为 r 的两倍。Rank 过高会导致模型过拟合到特定代码风格，失去灵活性。

# 关键参数配置参考
--lora_rank 16 \
--lora_alpha 32 \
--lora_dropout 0.05 \
--learning_rate 2e-4 \
--weight_decay 0.01 \
--lr_scheduler_type cosine

数据构造的坑：

千万不要直接把整个 .py 文件扔进去。AI 学习代码最有效的方式是「需求 → 实现」的 Pair 模式。我目前采用的模版是：

### Instruction: 
使用 FastAPI 实现一个带 JWT 校验的登录接口，要求密码使用 bcrypt 加密。

### Response:
(这里是高质量的、经过 lint 检查的代码)

提升精度的操作步骤：

1. 建立负样本集：故意加入一些有 Bug 的代码，并让模型在 Response 中指出错误并修正，这比单纯让它写正确代码更能提升精度。
2. 针对性对齐：如果你是为了让模型学习公司内部私有库，不要只给函数定义，要给「调用示例 + 函数定义 + 单元测试」的组合包。
3. 验证集监控：在训练过程中，每 100 步跑一次通用代码 Benchmark（如 HumanEval），一旦发现通用得分下降超过 2%，立刻调低学习率或增加通用数据占比。

最有效的效率提升点在于使用 unsloth 库，它在 Llama 3 等模型上的微调速度快了 2 倍且显存占用极低，能让你在单张 3090 上快速迭代不同 Rank 的实验。

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/llama-3-8b-bnb-4bit",
    max_seq_length = 4096,
    load_in_4bit = True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 16, 
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_alpha = 32,
    lora_dropout = 0, 
)