01 / 模型卡片
模型卡片
这款由 Unsloth 团队优化的 Gemma-4-E2B-it-qat-GGUF 模型，是专为追求极致推理效率的开发者打造的轻量化版本。它采用了 QAT（量化感知训练）技术，在大幅压缩模型体积、降低显存占用需求的同时，最大限度地保留了原生模型的逻辑推理能力。得益于 GGUF 格式的支持，这款模型对硬件非常友好，无论是普通的消费级显卡，还是通过 llama.cpp 在 CPU/Mac 环境下运行，都能实现极快的响应速度。它非常适合作为个人本地 AI 助手、智能终端插件或轻量级对话机器人，上手难度极低，是目前在有限算力下实现高性能“全能型（Any-to-Any）”交互的理想选择。
模型类型any to any
提供方unsloth
许可状态apache-2.0
02 / 文件与版本
模型文件与版本
模型卡片当前详情页记录的模型说明与元数据
已收录来源仓库https://huggingface.co/unsloth/gemma-4-E2B-it-qat-GGUF
查看模型来源版本信息请以来源仓库的最新版本为准
—03 / 模型下载
下载模型
推荐使用 ModelScope 命令行或 SDK 下载。下载前请先安装 ModelScope，并根据需要选择完整模型、单个文件、SDK 或 Git LFS 方式。
当前条目来源为 Hugging Face；以下命令使用同名 ModelScope 仓库格式，请先确认该仓库在 ModelScope 中可用。 模型仓库:
unsloth/gemma-4-E2B-it-qat-GGUF安装 ModelScope
下载前先安装命令行和 SDK 依赖。
pip install modelscope命令行下载完整模型库
下载完整模型权重、配置和模型卡片。
modelscope download --model unsloth/gemma-4-E2B-it-qat-GGUF下载单个文件到指定目录
这里以 README.md 为例，也可以替换为仓库内的其他文件。
modelscope download --model unsloth/gemma-4-E2B-it-qat-GGUF README.md --local_dir ./dirSDK 下载
适合在 Python 项目或自动化脚本中使用。
from modelscope import snapshot_download
model_dir = snapshot_download('unsloth/gemma-4-E2B-it-qat-GGUF')Git 下载
请确保 Git LFS 已正确安装。
git lfs install
git clone https://www.modelscope.cn/unsloth/gemma-4-E2B-it-qat-GGUF.git跳过 LFS 大文件下载
先获取仓库结构，之后再按需拉取大文件。
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/unsloth/gemma-4-E2B-it-qat-GGUF.git04 / 使用方法
如何使用
- 01步骤 1
阅读模型卡片和来源信息。
- 02步骤 2
从小型、非敏感任务开始评估。
- 03步骤 3
核对输出质量、许可和使用限制。
- 04步骤 4
验证通过后再纳入工作流。
05 / 讨论
讨论与反馈
这里保留讨论入口，方便继续核对来源、使用体验和维护状态。
前往来源页面