低显存环境下如何通过 LoRA 适配器实现多任务模型高效切换

显存只有 12G 甚至更低，想在单卡上跑好几个微调后的模型，最蠢的办法就是给每个任务加载一个全量权重，那分分钟 OOM。最优雅的方案是只保留一个 Base Model，然后动态挂载 LoRA 适配器（Adapter）。

我最近在折腾一个多任务对话系统，一个模型要兼顾“代码审计”和“文案润色”两个完全不同的风格。如果用 peft 库直接 load 两个模型，显存直接炸了。正确姿势是利用 PeftModel 的 set_adapter 机制，在推理时实时切换权重偏移量。

具体实现逻辑：
首先，你要把不同任务的 LoRA 权重分别保存到不同的文件夹里。加载时，先加载基础模型，然后把所有适配器全部 add 进去。

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")

# 挂载第一个适配器（代码审计）
model = PeftModel.from_pretrained(base_model, "./lora-code-audit", adapter_name="audit")

# 动态添加第二个适配器（文案润色）
model.load_adapter("./lora-copywriting", adapter_name="copy")

切换时的关键操作：
不要重新初始化模型，直接调用 set_adapter。这个操作几乎不耗时，因为它只是在计算图里切换了权重矩阵的索引。

# 切换到审计模式
model.set_adapter("audit")
output1 = model.generate(**inputs1)

# 瞬间切换到润色模式
model.set_adapter("copy")
output2 = model.generate(**inputs2)

几个实战踩坑点和配置技巧：

1. 显存碎片化问题：
频繁切换适配器虽然不增加显存占用，但如果你的输入长度剧烈波动，容易产生内存碎片。建议在 set_adapter 之后，配合 torch.cuda.empty_cache() 强行清理，或者在推理时锁定 max_new_tokens。

2. 权重合并（Merge）的陷阱：
很多人为了速度会用 model.merge_and_unload()。注意，一旦 Merge，你就失去了动态切换的能力，因为权重已经永久地加到 Base Model 去了。在多任务环境下，绝对不要在运行时执行 Merge。

3. 效率提升：
如果你的任务是并发请求，不要在每个 Request 里 set_adapter，这样会导致 GPU 频繁同步。建议在服务端实现一个简单的“任务队列”，将相同 Adapter 的请求聚类处理，一次性处理完一批再切换，这样吞吐量能提升 30% 以上。

配置建议：
量化策略： 使用 bitsandbytes 加载 4-bit Base Model，LoRA 适配器本身很小（通常几十MB），这样即便挂载 10 个适配器，显存增量也几乎可以忽略不计。
存储路径： 适配器文件夹结构要清晰，建议用 task_name/adapter_model.bin 这种形式，方便在代码里通过映射表快速索引。