用笔记本强跑本地大模型其实就是一场内存与功耗的极限拉扯

很多跑本地模型的人总觉得得搞台 4090 显卡才行，但我这次用自己的笔记本实测了几款量化版模型，发现只要对量化位数（Quantization）有认知，其实在笔记本上也能跑出能用的速度。这次我主要测试的是 Llama 3.1 8B 和 Mistral NeMo 12B，环境是简单的 Ollama 部署，重点看看在内存受限的情况下，Token 输出速度到底能到多少。

实测下来，性能损耗比我想象中要明显，但结论很有意思：

• Llama 3.1 8B (4-bit): 速度最快，基本上能维持在每秒 10-15 个 token，这种速度读起来没压力，基本能满足简单的代码补全或文本润色。
• Mistral NeMo 12B (4-bit): 稍微慢一点，掉到了 5-8 token/s，但在逻辑推理和长文本理解上明显比 8B 稳，尤其是处理稍微复杂点的 JSON 格式输出时，不容易崩。
• 内存占用： 跑 8B 模型时内存基本在 5GB 左右，但一旦切换到 12B 或更高，系统开始调用虚拟内存（Swap），速度瞬间暴跌到 1 token/s，这时候基本就没法用了。

如果你也想在本地部署，建议直接上 Ollama，一行命令搞定，不用去折腾复杂的 Python 环境。

# 安装完 Ollama 后直接跑 Llama 3.1 8B
ollama run llama3.1:8b

我想提醒个坑，笔记本跑本地模型最头疼的是发热导致的降频。跑前五分钟速度飞快，一旦风扇狂转触发温控，Token 速度会直接砍半。建议大家实操时把笔记本垫高，或者直接开强冷模式。另外，千万别尝试在 16G 内存的机器上跑 30B 以上的模型，除非你愿意盯着屏幕看它一分钟出一个字。

综合来看，目前笔记本本地实操的甜点区依然是 8B 到 12B 的 4-bit 量化模型，再往上走除非你换成 Mac M 系列的大统一内存。