WatchMachineGo：可视化理解大模型推理硬件开销

内存带宽决定推理速度，这句话很多人听过但没真见过是怎么回事。WatchMachineGo 这个工具把 LLM 加载、Prefill（预填充）到推理生成的整个过程给可视化了，能直接看到硬件参数是怎么影响速度的。

最直观的地方在于它支持模拟不同的硬件配置，比如你对比一下“无 GPU”和“双 GPU”在处理同一个模型时的资源流动，或者调整内存带宽数值，能立马感觉到为什么显存带宽是本地部署的死穴。

上手非常简单，直接在浏览器里跑模拟就行：

• 加载阶段： 模拟模型权重如何搬运到内存/显存。
• 预填充阶段： 观察 Prompt 处理时的计算压力。
• 推理阶段： 看着 Token 一个个蹦出来，同时观察硬件的实时状态。

对于想搞清楚本地部署、研究大模型底层运行逻辑的人来说，这个比看纯文字教程快得多。目前这玩意儿还是 Beta 状态，作者说以后会开源，但现在直接用就行，没广告且免费。

如果你在纠结升级显卡还是加内存，或者单纯想知道本地 LLM 运行时硬件在干嘛，建议去实操一下。