sat 3l sm

提供商segment-any-text
分类token-classification
许可证mit
下载量567.2K
星标0

简介

Sat 3l sm 是一款专注于文本分词与标记分类（Token Classification）的轻量级 AI 模型。不同于通用的大语言模型，它专注于对文本中的特定元素进行精准识别和标注，类似于一个高效的“文本扫描仪”。由于其参数规模较小且采用 MIT 许可，开发者可以非常轻松地将其集成到本地工作流中，无需昂贵的算力支持。它非常适合用于命名实体识别（NER）、关键词提取或文本结构化分析等预处理场景，是构建复杂 NLP 管道时一个理想的轻量级前置组件。

核心亮点

  • 专注于 Token 分类，实现精准的文本元素标注
  • 轻量化设计，低资源占用，本地部署门槛极低
  • 采用 MIT 协议，商业使用与二次开发灵活便捷
  • 适用于 NER 和关键词提取等文本预处理任务

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("segment-any-text/sat-3l-sm")
tokenizer = AutoTokenizer.from_pretrained("segment-any-text/sat-3l-sm")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download segment-any-text/sat-3l-sm

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download segment-any-text/sat-3l-sm config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('segment-any-text/sat-3l-sm')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/segment-any-text/sat-3l-sm

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/segment-any-text/sat-3l-sm

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('segment-any-text/sat-3l-sm')
tokenizer = AutoTokenizer.from_pretrained('segment-any-text/sat-3l-sm')

完整文档

来源: HuggingFace

---
license: mit
language:

  • multilingual

  • am

  • ar

  • az

  • be

  • bg

  • bn

  • ca

  • ceb

  • cs

  • cy

  • da

  • de

  • el

  • en

  • eo

  • es

  • et

  • eu

  • fa

  • fi

  • fr

  • fy

  • ga

  • gd

  • gl

  • gu

  • ha

  • he

  • hi

  • hu

  • hy

  • id

  • ig

  • is

  • it

  • ja

  • jv

  • ka

  • kk

  • km

  • kn

  • ko

  • ku

  • ky

  • la

  • lt

  • lv

  • mg

  • mk

  • ml

  • mn

  • mr

  • ms

  • mt

  • my

  • ne

  • nl

  • no

  • pa

  • pl

  • ps

  • pt

  • ro

  • ru

  • si

  • sk

  • sl

  • sq

  • sr

  • sv

  • ta

  • te

  • tg

  • th

  • tr

  • uk

  • ur

  • uz

  • vi

  • xh

  • yi

  • yo

  • zh

  • zu

library:
  • wtpsplit

---

sat-3l-sm

Model for wtpsplit.

State-of-the-art sentence segmentation with 3 Transfomer layers.

For details, see our Segment any Text paper

查看官方来源