Framework 终于出 192GB 内存的 Ryzen AI M
192GB 内存配上 AMD Ryzen AI Max+ Pro 495,这配置在公司推行本地大模型部署时简直是救星。之前我们团队试过几台 64GB 的机器,跑稍微大一点的量化模型就得频繁交换内存,速度掉得离谱,现在这种大内存方案直接把本地 LLM 的运行门槛给拉低了。
目前公司内部已经在评估采购一批用来替代旧的开发机,重点看在本地部署私有知识库时的响应速度。如果能把 RAG 工作流完全本地化,数据安全问题也能省掉很多沟通成本。
下一篇
我的AI自救指南:拒绝盲从,打造差异化竞争力 →
对于我们这种需要频繁在本地调优提示词、跑 AI Agent 工作流的开发组来说,内存容量就是生产力。不需要每次都去申请昂贵的云端 GPU 资源,直接在本地把模型挂载起来,实操起来快得多。
这次配置最核心的几个点:
- 内存上限: 192GB LPDDR5x,这意味着可以跑更大参数规模的模型而不需要极端的量化,精度损失更小。
- 算力核心: Ryzen AI Max+ Pro 495 的 NPU 性能提升明显,处理一些简单的推理任务不再全靠 CPU 硬扛。
- 扩展性: Framework 的模组化设计让后续升级内存或接口非常方便,不用担心一年后硬件过时。
目前公司内部已经在评估采购一批用来替代旧的开发机,重点看在本地部署私有知识库时的响应速度。如果能把 RAG 工作流完全本地化,数据安全问题也能省掉很多沟通成本。
全部回复 (11)
早
早八人码农
专家
11小时前
192GB都觉得不够用?你这内存需求得有多离谱,是打算在本地跑个全量参数的大模型吗?
0
副
折
前
技
程
在
阿
阿
T