clipseg rd64 refined

提供商CIDAS
分类image-segmentation
许可证apache-2.0
下载量203
星标0

简介

CLIPSeg RD64 Refined 是一款基于 CLIP 视觉语言预训练模型的图像分割工具。与传统的需要预定义类别的分割模型不同，它支持“零样本（Zero-shot）”分割，这意味着用户可以直接输入自然语言描述（如“红色的杯子”）来提取图像中的目标区域。该版本经过精调，在保持轻量化的同时提升了边缘识别的精准度。对于开发者而言，它非常适合集成到自动化图像处理管线或作为 AI 绘画（如 Stable Diffusion）的精准遮罩（Mask）生成工具，上手门槛低，无需重新训练即可适配多样化的分割需求。

核心亮点

  • 支持自然语言驱动的零样本目标分割
  • 无需标注数据即可识别任意自定义物体
  • 边缘精细度提升，适配高精度遮罩需求
  • 轻量化架构，推理速度快且部署便捷

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("CIDAS/clipseg-rd64-refined")
tokenizer = AutoTokenizer.from_pretrained("CIDAS/clipseg-rd64-refined")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download CIDAS/clipseg-rd64-refined

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download CIDAS/clipseg-rd64-refined config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('CIDAS/clipseg-rd64-refined')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/CIDAS/clipseg-rd64-refined

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/CIDAS/clipseg-rd64-refined

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('CIDAS/clipseg-rd64-refined')
tokenizer = AutoTokenizer.from_pretrained('CIDAS/clipseg-rd64-refined')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 ModelScope：

操作指引 
pip install modelscope

命令行下载

下载完整模型库

下载完整模型库 
modelscope download --model CIDAS/clipseg-rd64-refined

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例）

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例） 
modelscope download --model CIDAS/clipseg-rd64-refined README.md --local_dir ./dir

更多更丰富的命令行下载选项，可参见具体文档

SDK 下载

SDK 下载 
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('CIDAS/clipseg-rd64-refined')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://www.modelscope.cn/CIDAS/clipseg-rd64-refined.git

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/CIDAS/clipseg-rd64-refined.git

ModelScope 模型页直接下载模型文件；无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

下载并安装 ModelScope library 
pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

模型加载和推理 
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'CIDAS/clipseg-rd64-refined')

完整文档

来源: HuggingFace

---
license: apache-2.0
tags:

  • vision

  • image-segmentation

inference: false
---

CLIPSeg model

CLIPSeg model with reduce dimension 64, refined (using a more complex convolution). It was introduced in the paper Image Segmentation Using Text and Image Prompts by Lüddecke et al. and first released in this repository.

Intended use cases

This model is intended for zero-shot and one-shot image segmentation.

Usage

Refer to the documentation.

查看官方来源