opus mt zh en

提供商Helsinki-NLP
分类translation
许可证cc-by-4.0
下载量3.3K
星标5

简介

Opus-MT-ZH-EN 是一款由 Helsinki-NLP 团队推出的轻量级中英翻译模型。与依赖云端 API 的大型 LLM 不同，它采用专门的机器翻译架构，旨在提供快速、低延迟的文本转换。该模型非常适合需要本地部署、对隐私要求较高，或在资源受限环境下实现基础翻译功能的开发者。虽然在处理复杂文学创作或极长文本的语义理解上不如 GPT-4 等大模型，但在处理日常文档、技术词条等结构化翻译任务时，其运行效率和确定性具有明显优势。

核心亮点

  • 轻量化架构，支持低成本本地私有化部署
  • 专注中英双向翻译，响应速度极快
  • 开源 CC-BY-4.0 协议，商业使用灵活
  • 理想的翻译预处理工具，可与 LLM 结合使用

使用方法

安装依赖
# 安装 Hugging Face transformers
pip install transformers torch
SDK 使用
# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("Helsinki-NLP/opus-mt-zh-en")
tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-zh-en")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引 
pip install -U huggingface_hub

命令行下载

下载完整模型库

下载完整模型库 
huggingface-cli download Helsinki-NLP/opus-mt-zh-en

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例） 
huggingface-cli download Helsinki-NLP/opus-mt-zh-en config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

SDK 下载 
# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('Helsinki-NLP/opus-mt-zh-en')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://huggingface.co/Helsinki-NLP/opus-mt-zh-en

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Helsinki-NLP/opus-mt-zh-en

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

安装 Transformers 
pip install -U transformers torch

模型加载和推理

模型加载和推理 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('Helsinki-NLP/opus-mt-zh-en')
tokenizer = AutoTokenizer.from_pretrained('Helsinki-NLP/opus-mt-zh-en')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 ModelScope：

操作指引 
pip install modelscope

命令行下载

下载完整模型库

下载完整模型库 
modelscope download --model Helsinki-NLP/opus-mt-zh-en

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例）

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例） 
modelscope download --model Helsinki-NLP/opus-mt-zh-en README.md --local_dir ./dir

更多更丰富的命令行下载选项，可参见具体文档

SDK 下载

SDK 下载 
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Helsinki-NLP/opus-mt-zh-en')

Git 下载

请确保 lfs 已经被正确安装

Git 下载 
git lfs install
git clone https://www.modelscope.cn/Helsinki-NLP/opus-mt-zh-en.git

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS 
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Helsinki-NLP/opus-mt-zh-en.git

ModelScope 模型页直接下载模型文件；无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

下载并安装 ModelScope library 
pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

模型加载和推理 
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'Helsinki-NLP/opus-mt-zh-en')

完整文档

来源: HuggingFace

---
language:

  • zh

  • en

tags:

  • translation

license: cc-by-4.0
---

zho-eng

Table of Contents

Model Details

  • Model Description:
  • Developed by: Language Technology Research Group at the University of Helsinki
  • Model Type: Translation
  • Language(s):
- Source Language: Chinese - Target Language: English
  • License: CC-BY-4.0
  • Resources for more information:
- GitHub Repo

Uses

#### Direct Use

This model can be used for translation and text-to-text generation.

Risks, Limitations and Biases

CONTENT WARNING: Readers should be aware this section contains content that is disturbing, offensive, and can propagate historical and current stereotypes.

Significant research has explored bias and fairness issues with language models (see, e.g., Sheng et al. (2021) and Bender et al. (2021)).

Further details about the dataset for this model can be found in the OPUS readme: zho-eng

Training

#### System Information

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

  • src_multilingual: False

  • tgt_multilingual: False

#### Training Data
##### Preprocessing

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • ref_len: 82826.0


Evaluation

#### Results

  • brevity_penalty: 0.948

Benchmarks

| testset | BLEU | chr-F |
|-----------------------|-------|-------|
| Tatoeba-test.zho.eng | 36.1 | 0.548 |

Citation Information

bibtex
@InProceedings{TiedemannThottingal:EAMT2020,
  author = {J{\"o}rg Tiedemann and Santhosh Thottingal},
  title = {{OPUS-MT} — {B}uilding open translation services for the {W}orld},
  booktitle = {Proceedings of the 22nd Annual Conferenec of the European Association for Machine Translation (EAMT)},
  year = {2020},
  address = {Lisbon, Portugal}
 }

How to Get Started With the Model

python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-zh-en")


model = AutoModelForSeq2SeqLM.from_pretrained("Helsinki-NLP/opus-mt-zh-en")

查看官方来源