用 15 亿参数的 GPT-2 XL 对标 0.6B 的 Qwen3，本地部署后的推理速度差了 11 倍

最近在笔记本上做了一次很有意思的“模型考古”实验。我把 2019 年发布的 GPT-2 XL（1.5B 参数）和 2025 年最新的 Qwen3-0.6B 放在同一套环境下跑对比。本以为参数量大一倍多的老模型在基础常识上能撑住场面，结果实测下来，这种跨越六年的架构演进带来的代差，比我想象中要残酷得多。

这次部署我选择了 AMD 的本地 AI 服务 Lemonade。说实话，安装过程并不顺畅，几乎踩满了所有坑。最开始遇到了严重的 Python 版本冲突，导致依赖库安装到一半直接崩溃；随后在配置环境变量时出了差错，导致程序找不到 GPU 驱动。最头疼的是 GPU 后端文件锁死的问题，必须重启服务才能释放资源。但对于喜欢折腾本地部署的人来说，这种通过排查 Bug 最终跑通流程的快感，才是部署的精髓所在。

在性能测试环节，我发现了一个非常关键的细节：关于推理速度的误判。刚开始运行 GPT-2 XL 时，我感觉它的响应慢得离谱，甚至一度怀疑速度慢了几百倍。但为了严谨，我专门写了一个 Python 脚本进行复测，通过记录 time.time() 的时间戳差值来计算 Token 输出速度。

实验结果显示，实际的推理速度差距大约在 11 倍左右。这个发现给了我一个很大的提醒：在做本地模型对比实战时，绝对不能在模型刚加载完就记录数据。因为模型在冷启动阶段会有明显的加载延迟，必须在模型完全加载且状态稳定后再进行多次采样，得出的平均值才是真实的性能指标。

至于模型能力的差距，简直是两个时代的产物。我尝试问了一个最基础的问题：“法国的首都是哪里？”，Qwen3-0.6B 不仅迅速给出了正确答案，甚至还附带了简单的推理过程。而那个 15 亿参数的 GPT-2 XL 竟然完全没有理解指令，直接吐出了一堆随机的 Python import 语句。这种对比非常讽刺：一个参数量不到它一半的新模型，在指令遵循能力和知识准确度上，已经把当年的“巨头”甩在了身后。

这次实验让我意识到，大模型的发展不仅仅是参数量的堆砌，更多的是训练数据质量和架构优化带来的质变。现在的轻量级模型在效率和实用性上，已经完全可以替代早期的巨型模型。

如果你也想尝试本地部署，我建议在测试速度时参考以下逻辑，不要只凭体感判断：

import time

def measure_speed(model_func, prompt):
    # 必须在模型预热完成后启动计时
    start_time = time.time()
    output = model_func(prompt)
    end_time = time.time()
    
    # 使用分词数计算真实速度，避免被加载延迟误导
    tokens = len(output.split()) 
    duration = end_time - start_time
    return tokens / duration

总的来说，这次“考古”让我对本地 AI 的演进有了更直观的认识。不要被部署时的报错吓跑，多读文档、多试几次，当看到新旧模型在同一台机器上跑出截然不同的结果时，那种成就感确实无敌。