Opus Mt Tc Big Gmq En
这是一个用于从北日耳曼语支(gmq)翻译到英语(en)的神经机器翻译模型,属于OPUS-MT项目的一部分。
下载量 552
发布时间 : 4/13/2022
模型简介
该模型支持从丹麦语、法罗语、冰岛语、新挪威语、书面挪威语和瑞典语到英语的翻译任务,基于transformer-big架构训练。
模型特点
多语言支持
支持多种北日耳曼语支语言到英语的翻译
高性能翻译
在多个测试集上表现出色,如丹麦语-英语BLEU达到65.9
基于OPUS数据
训练数据来自OPUS语料库,覆盖广泛的语言对
模型能力
丹麦语到英语翻译
法罗语到英语翻译
冰岛语到英语翻译
新挪威语到英语翻译
书面挪威语到英语翻译
瑞典语到英语翻译
使用案例
文本翻译
北欧语言内容翻译
将丹麦语、瑞典语等北欧语言的内容翻译成英语
在tatoeba测试集上丹麦语-英语BLEU达到65.9
多语言应用集成
集成到需要北欧语言翻译的应用或服务中
支持多种北日耳曼语支语言的翻译
🚀 opus-mt-tc-big-gmq-en
这是一个用于将北日耳曼语系(gmq)翻译成英语(en)的神经机器翻译模型。它是 [OPUS - MT 项目](https://github.com/Helsinki - NLP/Opus - MT) 的一部分,该项目致力于让神经机器翻译模型在全球多种语言中广泛可用。所有模型最初都使用 [Marian NMT](https://marian - nmt.github.io/) 这一出色的框架进行训练,这是一个用纯 C++ 编写的高效 NMT 实现。这些模型通过 huggingface 的 transformers 库转换为 PyTorch 格式。训练数据来自 OPUS,训练流程采用 [OPUS - MT - train](https://github.com/Helsinki - NLP/Opus - MT - train) 的方法。
- 相关出版物:[OPUS - MT – Building open translation services for the World](https://aclanthology.org/2020.eamt - 1.61/) 和 [The Tatoeba Translation Challenge – Realistic Data Sets for Low Resource and Multilingual MT](https://aclanthology.org/2020.wmt - 1.139/)(如果使用此模型,请引用)
@inproceedings{tiedemann - thottingal - 2020 - opus,
title = "{OPUS}-{MT} {--} Building open translation services for the World",
author = {Tiedemann, J{\"o}rg and Thottingal, Santhosh},
booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
month = nov,
year = "2020",
address = "Lisboa, Portugal",
publisher = "European Association for Machine Translation",
url = "https://aclanthology.org/2020.eamt - 1.61",
pages = "479--480",
}
@inproceedings{tiedemann - 2020 - tatoeba,
title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
author = {Tiedemann, J{\"o}rg},
booktitle = "Proceedings of the Fifth Conference on Machine Translation",
month = nov,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2020.wmt - 1.139",
pages = "1174--1182",
}
✨ 主要特性
- 支持多种北日耳曼语系语言到英语的翻译。
- 基于高效的 Marian NMT 框架训练,并转换为 PyTorch 格式。
- 训练数据丰富,采用 OPUS 数据集和 OPUS - MT - train 的训练流程。
📦 安装指南
文档未提及安装步骤,此部分跳过。
💻 使用示例
基础用法
from transformers import MarianMTModel, MarianTokenizer
src_text = [
"Han var synligt nervøs.",
"Inte ens Tom själv var övertygad."
]
model_name = "pytorch - models/opus - mt - tc - big - gmq - en"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
for t in translated:
print( tokenizer.decode(t, skip_special_tokens=True) )
# expected output:
# He was visibly nervous.
# Even Tom was not convinced.
高级用法
from transformers import pipeline
pipe = pipeline("translation", model="Helsinki - NLP/opus - mt - tc - big - gmq - en")
print(pipe("Han var synligt nervøs."))
# expected output: He was visibly nervous.
📚 详细文档
模型信息
属性 | 详情 |
---|---|
发布时间 | 2022 - 03 - 09 |
源语言 | dan, fao, isl, nno, nob, nor, swe |
目标语言 | eng |
模型类型 | transformer - big |
训练数据 | opusTCv20210807+bt ([源数据](https://github.com/Helsinki - NLP/Tatoeba - Challenge)) |
分词方式 | SentencePiece (spm32k,spm32k) |
原始模型 | [opusTCv20210807+bt_transformer - big_2022 - 03 - 09.zip](https://object.pouta.csc.fi/Tatoeba - MT - models/gmq - eng/opusTCv20210807+bt_transformer - big_2022 - 03 - 09.zip) |
更多模型信息 | [OPUS - MT gmq - eng README](https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/gmq - eng/README.md) |
基准测试
语言对 | 测试集 | 字符 F 值 | BLEU 值 | 句子数量 | 单词数量 |
---|---|---|---|---|---|
dan - eng | tatoeba - test - v2021 - 08 - 07 | 0.78292 | 65.9 | 10795 | 79684 |
fao - eng | tatoeba - test - v2021 - 08 - 07 | 0.47467 | 30.1 | 294 | 1984 |
isl - eng | tatoeba - test - v2021 - 08 - 07 | 0.68346 | 53.3 | 2503 | 19788 |
nno - eng | tatoeba - test - v2021 - 08 - 07 | 0.69788 | 56.1 | 460 | 3524 |
nob - eng | tatoeba - test - v2021 - 08 - 07 | 0.73524 | 60.2 | 4539 | 36823 |
swe - eng | tatoeba - test - v2021 - 08 - 07 | 0.77665 | 66.4 | 10362 | 68513 |
dan - eng | flores101 - devtest | 0.72322 | 49.3 | 1012 | 24721 |
isl - eng | flores101 - devtest | 0.59616 | 34.2 | 1012 | 24721 |
nob - eng | flores101 - devtest | 0.68224 | 44.2 | 1012 | 24721 |
swe - eng | flores101 - devtest | 0.72042 | 49.8 | 1012 | 24721 |
isl - eng | newsdev2021.is - en | 0.56709 | 30.4 | 2004 | 46383 |
isl - eng | newstest2021.is - en | 0.57756 | 34.4 | 1000 | 22529 |
- 测试集翻译结果:[opusTCv20210807+bt_transformer - big_2022 - 03 - 09.test.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/gmq - eng/opusTCv20210807+bt_transformer - big_2022 - 03 - 09.test.txt)
- 测试集得分:[opusTCv20210807+bt_transformer - big_2022 - 03 - 09.eval.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/gmq - eng/opusTCv20210807+bt_transformer - big_2022 - 03 - 09.eval.txt)
- 基准测试结果:benchmark_results.txt
- 基准测试输出:benchmark_translations.zip
致谢
这项工作得到了以下项目的支持:
- [欧洲语言网格](https://www.european - language - grid.eu/) 的 [试点项目 2866](https://live.european - language - grid.eu/catalogue/#/resource/projects/2866)。
- [FoTran 项目](https://www.helsinki.fi/en/researchgroups/natural - language - understanding - with - cross - lingual - grounding),由欧洲研究理事会(ERC)在欧盟的“地平线 2020”研究与创新计划(资助协议编号 771113)下资助。
- MeMAD 项目,由欧盟的“地平线 2020”研究与创新计划(资助协议编号 780069)资助。
我们也感谢 芬兰 CSC - 科学信息技术中心 提供的慷慨计算资源和 IT 基础设施。
模型转换信息
属性 | 详情 |
---|---|
transformers 版本 | 4.16.2 |
OPUS - MT git 哈希值 | 3405783 |
转换时间 | Wed Apr 13 19:13:11 EEST 2022 |
转换机器 | LM0 - 400 - 22516.local |
📄 许可证
本模型使用 cc - by - 4.0 许可证。
M2m100 418M
MIT
M2M100是一个多语言编码器-解码器模型,支持100种语言的9900个翻译方向
机器翻译 支持多种语言
M
facebook
1.6M
299
Opus Mt Fr En
Apache-2.0
基于Transformer的法语到英语神经机器翻译模型,由Helsinki-NLP团队开发,采用OPUS多语数据集训练。
机器翻译 支持多种语言
O
Helsinki-NLP
1.2M
44
Opus Mt Ar En
Apache-2.0
基于OPUS数据训练的阿拉伯语到英语的机器翻译模型,采用transformer-align架构
机器翻译 支持多种语言
O
Helsinki-NLP
579.41k
42
M2m100 1.2B
MIT
M2M100是一个支持100种语言的多语言机器翻译模型,可直接在9900个翻译方向之间进行翻译。
机器翻译 支持多种语言
M
facebook
501.82k
167
Indictrans2 Indic En 1B
MIT
支持25种印度语言与英语互译的1.1B参数规模机器翻译模型,由AI4Bharat项目开发
机器翻译
Transformers 支持多种语言

I
ai4bharat
473.63k
14
Opus Mt En Zh
Apache-2.0
基于Transformer架构的英汉多方言翻译模型,支持英语到13种汉语变体的翻译任务
机器翻译 支持多种语言
O
Helsinki-NLP
442.08k
367
Opus Mt Zh En
由赫尔辛基大学开发的基于OPUS语料库的中文到英语机器翻译模型
机器翻译 支持多种语言
O
Helsinki-NLP
441.24k
505
Mbart Large 50 Many To Many Mmt
基于mBART-large-50微调的多语言机器翻译模型,支持50种语言间的互译
机器翻译 支持多种语言
M
facebook
404.66k
357
Opus Mt De En
Apache-2.0
opus-mt-de-en 是一个基于 transformer-align 架构的德语到英语的机器翻译模型,由 Helsinki-NLP 团队开发。
机器翻译 支持多种语言
O
Helsinki-NLP
404.33k
44
Opus Mt Es En
Apache-2.0
这是一个基于Transformer架构的西班牙语到英语的机器翻译模型,由Helsinki-NLP团队开发。
机器翻译
Transformers 支持多种语言

O
Helsinki-NLP
385.40k
71
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98