消费级显卡用 LoRA 适配器实现多任务模型秒级切换

在 RTX 3090 这类消费级显卡上，若为每个任务单独起进程加载完整微调模型，显存会迅速耗尽。把基座模型只加载一次并跨任务共享，再把各任务的 LoRA 权重作为极小增量矩阵按需挂载，就能在不重启模型、不重复占用基座显存的前提下完成秒级切换。这种做法把原本需要五张 A100 才能承载的五个垂直领域能力，压缩到单张 3090 上通过适配器动态调度即可模拟“多模型并发”。

实现路径上，先用 AutoModelForCausalLM 把基座模型 base-model-path 以 device_map="auto" 加载进显存，再配合 PEFT 库的 PeftModel.from_pretrained 挂载第一个适配器 path/to/lora-code 命名为 code_gen，随后再用 load_adapter 把第二个适配器 path/to/lora-summary 记为 summarize。推理时只需调用 model.set_adapter("code_gen") 或 model.set_adapter("summarize") 即可在代码生成与文本摘要间切换，基座权重始终不动。

高并发下频繁调用 set_adapter 虽快，仍存在上下文切换开销。LoRAX 这类推理服务器引入权重分片管理，让成百上千个 LoRA 适配器共享同一显存池，进一步摊薄单任务成本。

在 Lightning AI 维护的开源仓库 Lit-GPT 做过的实验里，QLoRA 能带来 33% 的显存节省，代价是运行时间增加 39%。微调大模型时优化器的选择影响有限：单独用 SGD 效果较差，但 AdamW、带调度器的 SGD 以及带调度器的 AdamW 之间差异极小。