Name: opus mt en de
Author: Helsinki-NLP

简介

Opus-MT-en-de 是由 Helsinki-NLP 团队推出的轻量级翻译模型，专门用于英文到德文的机器翻译。与动辄百亿参数的大模型不同，它专注于单一翻译任务，因此在本地部署时对硬件要求极低，推理速度极快。对于不需要复杂对话、仅需高效处理翻译流水线的开发者来说，它是替代昂贵 API 的理想选择。你可以将其集成到自动化工作流或本地文档处理工具中，在保证翻译质量的同时实现完全的私有化部署。

核心亮点

专注于英德互译，翻译质量稳定且专业
模型轻量，支持低功耗设备本地化部署
推理延迟极低，适合高频自动化翻译场景
采用 CC-BY-4.0 协议，商业集成门槛低

使用方法

安装依赖

# 安装 Hugging Face transformers
pip install transformers torch

SDK 使用

# 使用 transformers 加载模型
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("Helsinki-NLP/opus-mt-en-de")
tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-de")

Hugging Face 下载

我们推荐使用命令行或者 Hugging Face Hub SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 huggingface_hub：

操作指引

pip install -U huggingface_hub

命令行下载

下载完整模型库

huggingface-cli download Helsinki-NLP/opus-mt-en-de

下载单个文件到指定本地文件夹（以下载 config.json 到当前路径下 ./dir 目录为例）

huggingface-cli download Helsinki-NLP/opus-mt-en-de config.json --local-dir ./dir

更多命令行下载选项，可参见官方文档

SDK 下载

# 模型下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('Helsinki-NLP/opus-mt-en-de')

Git 下载

请确保 lfs 已经被正确安装

Git 下载

git lfs install
git clone https://huggingface.co/Helsinki-NLP/opus-mt-en-de

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Helsinki-NLP/opus-mt-en-de

模型文件托管在 Hugging Face Hub，使用 HF CLI / SDK / Git 直接下载，不经过本站。

PyTorch / Transformers 使用

安装 Transformers

pip install -U transformers torch

模型加载和推理

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('Helsinki-NLP/opus-mt-en-de')
tokenizer = AutoTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-de')

模型下载

我们推荐使用命令行或者 ModelScope SDK 来进行模型的下载。

操作指引：在下载前，请先通过如下命令安装 ModelScope：

操作指引

pip install modelscope

命令行下载

下载完整模型库

modelscope download --model Helsinki-NLP/opus-mt-en-de

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下 dir 目录为例）

modelscope download --model Helsinki-NLP/opus-mt-en-de README.md --local_dir ./dir

更多更丰富的命令行下载选项，可参见具体文档

SDK 下载

# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Helsinki-NLP/opus-mt-en-de')

Git 下载

请确保 lfs 已经被正确安装

Git 下载

git lfs install
git clone https://www.modelscope.cn/Helsinki-NLP/opus-mt-en-de.git

如果您希望跳过 lfs 大文件下载，可以使用如下命令

跳过 LFS

GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Helsinki-NLP/opus-mt-en-de.git

ModelScope 模型页直接下载模型文件；无需将模型文件放在本站服务器。

Notebook 快速开发

下载并安装 ModelScope library

pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

模型加载和推理

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline('text-generation', 'Helsinki-NLP/opus-mt-en-de')

完整文档

来源: HuggingFace

---
tags:

translation

license: cc-by-4.0
---

opus-mt-en-de

Model Details

Model Description:

Developed by: Language Technology Research Group at the University of Helsinki

Model Type: Translation

Language(s):

- Source Language: English - Target Language: German

License: CC-BY-4.0

Resources for more information:

- GitHub Repo

Uses

#### Direct Use

This model can be used for translation and text-to-text generation.

Risks, Limitations and Biases

CONTENT WARNING: Readers should be aware this section contains content that is disturbing, offensive, and can propagate historical and current stereotypes.

Significant research has explored bias and fairness issues with language models (see, e.g., Sheng et al. (2021) and Bender et al. (2021)).

Further details about the dataset for this model can be found in the OPUS readme: en-de

#### Training Data
##### Preprocessing

pre-processing: normalization + SentencePiece

dataset: opus

download original weights: opus-2020-02-26.zip

test set translations: opus-2020-02-26.test.txt

Evaluation

#### Results

test set scores: opus-2020-02-26.eval.txt

#### Benchmarks

| testset | BLEU | chr-F |
|-----------------------|-------|-------|
| newssyscomb2009.en.de | 23.5 | 0.540 |
| news-test2008.en.de | 23.5 | 0.529 |
| newstest2009.en.de | 22.3 | 0.530 |
| newstest2010.en.de | 24.9 | 0.544 |
| newstest2011.en.de | 22.5 | 0.524 |
| newstest2012.en.de | 23.0 | 0.525 |
| newstest2013.en.de | 26.9 | 0.553 |
| newstest2015-ende.en.de | 31.1 | 0.594 |
| newstest2016-ende.en.de | 37.0 | 0.636 |
| newstest2017-ende.en.de | 29.9 | 0.586 |
| newstest2018-ende.en.de | 45.2 | 0.690 |
| newstest2019-ende.en.de | 40.9 | 0.654 |
| Tatoeba.en.de | 47.3 | 0.664 |

Citation Information

bibtex

@InProceedings{TiedemannThottingal:EAMT2020,
  author = {J{\"o}rg Tiedemann and Santhosh Thottingal},
  title = {{OPUS-MT} — {B}uilding open translation services for the {W}orld},
  booktitle = {Proceedings of the 22nd Annual Conferenec of the European Association for Machine Translation (EAMT)},
  year = {2020},
  address = {Lisbon, Portugal}
 }

How to Get Started With the Model

python

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-de")
model = AutoModelForSeq2SeqLM.from_pretrained("Helsinki-NLP/opus-mt-en-de")

opus mt en de

简介

核心亮点

使用方法

Hugging Face 下载

命令行下载

SDK 下载

Git 下载

PyTorch / Transformers 使用

模型下载

命令行下载

SDK 下载

Git 下载

Notebook 快速开发

完整文档

opus-mt-en-de

Table of Contents

Model Details

Uses

Risks, Limitations and Biases

Evaluation

Citation Information

How to Get Started With the Model

扫码进交流群