本地跑大模型总是显存溢出？试试这个 Hardware-aware 的匹配工具
大家在本地折腾 Stable Diffusion 或者 Llama 3 的时候，是不是经常遇到这种窘境：兴冲冲下完权重文件，结果跑起来跟幻灯片一样，或者直接 Out of Memory？这种无效的下载和调试过程，真的很影响开发体验（DX）。
下一篇
ContextNest 解决 Agent 上下文冲突的逻辑 →
我发现了一个叫 Tokenstead 的项目，它的逻辑其实挺硬核的：通过建立模型能力与硬件算力的对齐关系，帮你做自动化的模型匹配。你只需要把当前的 GPU 型号和 VRAM 大小输入进去，它就会告诉你哪些模型在你的设备上是 actually runnable 的。
这种工具对我们这种不想动不动就换 H100、只想用消费级显卡搞点 Side Project 的开发者来说太实用了。它本质上是把“盲目试错”变成了“精准部署”。虽然目前功能还在迭代，但这种能有效缓解显存焦虑的思路非常值得关注。
具体的匹配逻辑和查询地址在这里：https://tokenstead.com
