全球 AI 聊天室 · 现在 17 人在线 进去聊聊
T
模型 已收录

Ternary-Bonsai-27B-gguf

Ternary-Bonsai-27B-gguf 是 prism-ml 团队发布的一款面向文本生成任务的大语言模型，采用 GGUF 格式量化，方便在本地或边缘设备上部署推理。该模型通过三元权值压缩技术，在降低存储体积和计算开销的前提下，尽可能保留原始模型的性能表现。对于普通开发者而言，它无需依赖昂贵的 GPU 即可在消费级硬件上运行，特别适合用于离线问答、文本摘要、代码补全等场景。需要注意的是，由于量化和三元化处理，生成文本的细节丰富度可能略有下降，更适合对速度与资源优先考虑的应用。上手门槛较低，只需下载 GGUF 文件并结合常见的 llama.cpp 等推理工具即可开始使用，社区和文档支持也较为完善。

prism-mltext generation
查看模型来源
01 / 模型卡片

模型卡片

Ternary-Bonsai-27B-gguf 是 prism-ml 团队发布的一款面向文本生成任务的大语言模型，采用 GGUF 格式量化，方便在本地或边缘设备上部署推理。该模型通过三元权值压缩技术，在降低存储体积和计算开销的前提下，尽可能保留原始模型的性能表现。对于普通开发者而言，它无需依赖昂贵的 GPU 即可在消费级硬件上运行，特别适合用于离线问答、文本摘要、代码补全等场景。需要注意的是，由于量化和三元化处理，生成文本的细节丰富度可能略有下降，更适合对速度与资源优先考虑的应用。上手门槛较低，只需下载 GGUF 文件并结合常见的 llama.cpp 等推理工具即可开始使用，社区和文档支持也较为完善。

模型类型text generation
提供方prism-ml
许可状态apache-2.0
02 / 文件与版本

模型文件与版本

模型卡片当前详情页记录的模型说明与元数据
已收录
来源仓库https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf
查看模型来源
版本信息请以来源仓库的最新版本为准
—
03 / 模型下载

下载模型

推荐使用 ModelScope 命令行或 SDK 下载。下载前请先安装 ModelScope，并根据需要选择完整模型、单个文件、SDK 或 Git LFS 方式。

当前条目来源为 Hugging Face；以下命令使用同名 ModelScope 仓库格式，请先确认该仓库在 ModelScope 中可用。 模型仓库: prism-ml/Ternary-Bonsai-27B-gguf
安装 ModelScope

下载前先安装命令行和 SDK 依赖。

pip install modelscope
命令行下载完整模型库

下载完整模型权重、配置和模型卡片。

modelscope download --model prism-ml/Ternary-Bonsai-27B-gguf
下载单个文件到指定目录

这里以 README.md 为例，也可以替换为仓库内的其他文件。

modelscope download --model prism-ml/Ternary-Bonsai-27B-gguf README.md --local_dir ./dir
SDK 下载

适合在 Python 项目或自动化脚本中使用。

from modelscope import snapshot_download
model_dir = snapshot_download('prism-ml/Ternary-Bonsai-27B-gguf')
Git 下载

请确保 Git LFS 已正确安装。

git lfs install
git clone https://www.modelscope.cn/prism-ml/Ternary-Bonsai-27B-gguf.git
跳过 LFS 大文件下载

先获取仓库结构，之后再按需拉取大文件。

GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/prism-ml/Ternary-Bonsai-27B-gguf.git
04 / 使用方法

如何使用

  1. 01
    步骤 1

    阅读模型卡片和来源信息。

  2. 02
    步骤 2

    从小型、非敏感任务开始评估。

  3. 03
    步骤 3

    核对输出质量、许可和使用限制。

  4. 04
    步骤 4

    验证通过后再纳入工作流。

05 / 讨论

讨论与反馈

这里保留讨论入口，方便继续核对来源、使用体验和维护状态。

前往来源页面