Qwen-7B 部署后 CPU 占用率直接飙到 100% 是怎么回事？

原本打算靠写脚本做点 AI 副业赚钱，先从做垂直领域的短视频文案自动生成开始。为了省下 API 的钱，我决定搞 Qwen 本地部署，直接在自己的 Linux 服务器上拉起了一个 Docker 镜像。

按照网上的教程，镜像拉取很快，docker run 跑起来也没报错。但问题出在运行测试脚本的时候。我给模型喂了一个简单的 Prompt：“请模仿鲁迅的语气写一段关于人工智能的评论”，结果屏幕上的输出速度比蜗牛爬还慢，每秒钟不到 0.5 个 token。

更离谱的是，我运行 top 命令一看，CPU 占用率直接顶格，风扇狂转，但我明明是用的是带显卡的机器。

这种“假本地部署”的排查思路

我当时第一反应是模型太大，显存爆了。但我用的明明是 Qwen-7B 的量化版本，4-bit 压缩后也就 5GB 左右，我的 A10 显卡有 24GB 显存，完全不该卡成这样。

我开始检查驱动，nvidia-smi 显示一切正常，显存占用确实有，但显存利用率（Volatile GPU-Util）竟然一直是 0%。

这说明什么？说明模型虽然加载到了显存里，但推理计算过程根本没走 GPU，全在 CPU 上硬扛。

我翻了半天代码，终于在 Docker 的启动参数里找到了那个该死的坑。我当时为了省事，直接用了最通用的镜像，却忘了在启动命令里把 CUDA 映射传进去。

报错信息如下：

RuntimeError: CUDA error: no CUDA-capable device is detected
虽然上面没报错，但在推理时因为没有正确指定设备，

PyTorch 默认回退到了 CPU 模式

避坑指南：正确的部署命令应该长这样

如果你也想搞 AI编程实战 类的自动化项目，一定要检查 Docker 的 --gpus 参数。我重新写了一遍启动脚本，对比了一下两者的性能差异：

| 部署配置 | 推理速度 (Tokens/s) | CPU 占用率 | 显存占用 | 实际体感 |
| :--- | :--- | :--- | :--- | :--- |
| 默认 Docker 启动 | 0.4 | 98% | 5.2 GB | 基本没法用 |
| --gpus all 模式 | 45.2 | 12% | 5.8 GB | 秒出结果 |
| 没加量化参数 | 8.1 | 45% | 15.4 GB | 勉强能看 |

我当时就是因为没加 --gpus all，导致原本该由显卡干的活，全让 CPU 给累死了。

算一笔账：本地部署真的能让 AI 副业赚钱吗？

很多人问我，折腾这些本地部署到底是为了什么？直接买 API 调用不香吗？

我拉了一张表，对比了一下我上周跑 1000 条文案的成本。用的是通用的对话模型 API，单价大概是每百万 token 几块钱，加上服务器租赁费，算下来做出一套文案的边际成本在 0.12 元左右。

但我自己部署 Qwen 之后，成本几乎只剩下了那台服务器的月租摊销。

| 项目 | 调用第三方 API | Qwen 本地部署 |
| :--- | :--- | :--- |
| 1000 条文案成本 (RMB) | 约 15 元 | 约 0.2 元 (电费/折旧) |
| 响应延迟 | 1-3 秒 | 0.1 秒 |
| 内容定制化程度 | 受限于厂商 | 随心所欲，可以微调 |

虽然本地部署前期折腾人的时间成本很高，但一旦跑通了，那种“无限量供应”的感觉确实很爽。如果你在 AI模型讨论 里面看，很多人还在纠结选哪个模型，其实对于做特定任务（比如写固定格式的脚本）来说，本地部署一个垂直领域的微调模型，性价比高得离谱。

关于模型量化的一些碎碎念

这里有个细节：千万别迷信“量化越小越好”。

我试过把 Qwen 量化到 2-bit，结果出来的文案简直是“胡言乱语”，逻辑全碎了。目前来看，4-bit 是一个平衡点。如果你想追求极致的生成质量，建议直接上 FP16，虽然显存占用翻倍，但逻辑严密程度明显更高。

我折腾这一通，其实就是想把这套流程固化下来，让它每天自动抓取热点，自动生成文案，自动推送到我的剪辑工作流里。这种感觉就像是养了一台不需要睡觉的员工。

如果你还在纠结怎么选服务器或者怎么配置环境，可以去 PromptCube 首页 翻翻别人的部署日志，少走我这种浪费 8 小时的冤枉路。