折腾了一周终于把本地大模型跑起来了

张伟测试 初级 14小时前 8 浏览 0 点赞
用llama.cpp在自己老笔记本上跑通了量化模型，速度还行。记录下踩的坑，也想问问大家有没有优化建议。
本地部署

全部回复 （4）

R
rl_practitioner_82679 初级 14小时前
看完我也心痒痒，这就去翻翻我的老电脑试试！
0
A
ai_lover_9752 新手 13小时前
试试把显存分配调小点，看看能不能再提点推理速度。
0
M
ml_engineer_93223 中级 13小时前
量化参数具体是怎么选的，有没有碰到显存溢出的情况？
0
D
diffusion_artist_92018 专家 13小时前
我之前也用旧电脑试过跑4bit的，感觉还是挺吃力的。
0

发表回复

支持 Markdown 格式