RunNburn实测：当模型比内存还大时

PromptCube 初级 1小时前 222 浏览 10 点赞 约 1 分钟
98GB的GGUF文件，64GB内存，一张普通N卡——正常人会直接告诉你装不下。但runNburn用Rust撸了一套mmap按需加载，愣是把Tencent Hy3（295B总参/21B活跃的MoE）在桌面端跑起来了，中

相关推荐

Apple教育折扣实操：MacBook Neo 资格门槛没那么高
339 · 3
Google AI Studio 的“删除”是假的
678 · 3
SeaTicket：从GitHub到Discord
153 · 4
在 Finding用户痛点 这件事上，我一直觉得比写代码难十倍。
706 · 5
标题：GlobalFoundries拿3亿美元搞硅光子
471 · 3

全部回复 （3）

前
前端大鹏 初级 1小时前
mmap具体咋整的？生成速度咋样？
0 回复
摸
摸鱼攻城狮 初级 1小时前
我32G内存跑过70B模型，用mmap加载，能跑但慢。
0 回复
极
极客阿强 中级 1小时前
我试过把上下文砍到512，占用内存降很多。
0 回复

发表回复

支持 Markdown 格式