如何通过知识蒸馏让 1B 参数的小模型跑出 70B 的效果
最近我在实操过程中发现，想要让 1B 甚至更小的学生模型（Student LLM）真正继承老师模型（Teacher LLM）的精髓，最核心的变量不在于训练时长，而在于对合成数据的“清洗精度”。
很多人的误区是直接把 GPT-4o 或 Claude 3.5 生成的 Raw Data 全盘喂给小模型。这样做极易导致学生模型不仅继承了知识，还继承了老师的“幻觉”。由于小模型参数量级低，它对噪声的容忍度远低于大模型，一旦训练集中混入低质量样本，很容易出现严重的过拟合，导致模型在测试集上表现尚可，但在实际业务场景中胡言乱语。
一个经过验证的、可落地的蒸馏工作流应该分为三个阶段，其中第二步是决定成败的关键。
第一阶段是合成数据的生成。我们需要利用顶级模型针对特定垂直任务，构建大量的指令-回答对。这里的技巧是不要让老师模型一次性生成一万条，而是通过多样化的 Prompt 引导，确保数据集的分布覆盖到各种边缘 case。
第二阶段是质量过滤。这是最容易被忽略的环节。建议引入一个打分模型（Reward Model），或者利用老师模型执行“自我反思”机制，对生成的答案进行打分。只有得分在 80 分以上的样本才能进入最终训练集。通过这种方式剔除低分样本，可以确保学生模型学习到的是纯净的逻辑路径，而不是随机的词汇组合。
第三阶段则是监督微调（SFT）。在具体执行时，我推荐使用 LLaMA-Factory 这种集成度较高的框架。以 Llama3-1B 为学生模型为例，在配置 SFT 时，学习率的设定至关重要。通常建议将 --learning_rate 设在 5e-5 左右，并配合 LoRA 这种轻量化微调方案，防止小模型在短时间内被强行拉向某个局部最优解而丧失泛化能力。
具体的启动配置可以参考以下命令：
bash src/train_bash.sh \
--stage sft \
--model_name_or_path path/to/student_model \
--dataset distillation_dataset \
--template llama3 \
--finetuning_type lora \
--output_dir saved_models/distilled_llm \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--learning_rate 5e-5 \
--num_train_epochs 3.0在实际运行中，建议将 --gradient_accumulation_steps 适当调高（如 4 或 8），以在显存有限的情况下模拟较大的 Batch Size，从而稳定梯度下降。
这种方案相比于从零开始的预训练（Pre-training）能节省 90% 以上的算力成本。在特定垂直领域（如法律文档解析、代码片段补全），经过精细化蒸馏的小模型在推理速度上具有压倒性优势，且部署成本极低，是目前构建端侧 AI Agent 最切实可行的技术路径。
