Mac Mini M4 Pro 24G内存跑本地模型
我最近在给用户端开发本地运行的应用，核心需求是模型得能稳定执行 Tool Calling（工具调用），同时逻辑推理不能太拉胯。实测下来，目前的几个主流选型都有明显的短板。
先说 Gemma-2-9B。这模型的推理能力在同尺寸里确实顶尖，逻辑非常硬，但指令遵循（Instruction Following）极其不稳定。在复杂的 JSON 格式输出要求下，它经常会自作聪明地加上一些解释性文字，导致解析端直接报错。
接着试了 Qwen2.5-7B-Instruct 的 MLX 版本。指令遵循和工具调用的精准度比 Gemma 高出一个档次，基本能死磕在要求的格式里，但一旦涉及到多步推理的复杂场景，它的结论偶尔会出现幻觉，没法完全替代 Gemma 那种深层的推理感。
目前在 24GB 内存环境下，我建议尝试 Llama-3.1-8B 的 4-bit 或 8-bit 量化版。虽然它在某些特定中文语境下不如 Qwen，但在“指令遵循”与“通用推理”的平衡点上，目前看是最稳的。
关于 Reranking 模型的坑，这是我最近最头疼的地方。在 Ollama 里部署 bge-reranker-v2-m3 的 Q4_K_M 版本时，只要并发请求稍微高一点，或者上下文窗口拉长，Ollama 进程直接 Crash，没有任何具体的 Error Log，直接退出。
排查后发现大概率是内存碎片化或者特定量化版本与 Ollama 运行时不兼容导致的。如果大家也遇到这个崩溃问题，建议放弃 Ollama 跑 Reranker，改用专门的推理框架。
一个比较稳的替代方案是使用 sentence-transformers 库直接在 Python 环境加载，或者通过 HuggingFace 的本地路径调用。配置参考如下：
from sentence_transformers import CrossEncoder
# 使用 bge-reranker-v2-m3 替代 Ollama 部署版本，避免崩溃
model = CrossEncoder(
'BAAI/bge-reranker-v2-m3',
device='mps' # 必须指定 mps 以利用 M4 Pro 的 GPU 加速
)
# 模拟 RAG 场景的重排序
pairs = [['查询语句', '文档片段1'], ['查询语句', '文档片段2']]
scores = model.predict(pairs)
print(scores)在 M4 Pro 上，使用 device='mps' 加速后，单次推理延迟大约在 150ms-300ms 之间，比在 Ollama 里强行跑要稳定得多。
总结一下目前的本地实操经验：
- 通用任务/工具调用： 优先选 Llama-3.1-8B 或 Qwen2.5-7B，不要对 10B 以下模型的逻辑推理抱有过高期望。
- 内存分配： 24GB 内存建议模型量化等级控制在 Q4_K_M 左右，留出 4-6GB 给系统和上下文缓存，否则极易触发内存交换。
- Reranker 部署： 避坑 Ollama 的部分 Reranker 镜像，直接走 Python
sentence-transformers+mps方案。
