🚀 opus-mt-tc-big-it-en
这是一个用于从意大利语(it)翻译成英语(en)的神经机器翻译模型。
该模型是 [OPUS - MT 项目](https://github.com/Helsinki - NLP/Opus - MT) 的一部分,该项目致力于让神经机器翻译模型广泛可用,惠及世界上多种语言。所有模型最初都使用 [Marian NMT](https://marian - nmt.github.io/) 这一出色的框架进行训练,它是一个用纯 C++ 编写的高效 NMT 实现。这些模型已通过 huggingface 的 transformers 库转换为 PyTorch 格式。训练数据来自 OPUS,训练流程采用 [OPUS - MT - train](https://github.com/Helsinki - NLP/Opus - MT - train) 的程序。
- 相关出版物:[OPUS - MT – Building open translation services for the World](https://aclanthology.org/2020.eamt - 1.61/) 和 [The Tatoeba Translation Challenge – Realistic Data Sets for Low Resource and Multilingual MT](https://aclanthology.org/2020.wmt - 1.139/)(如果使用此模型,请引用)
@inproceedings{tiedemann-thottingal-2020-opus,
title = "{OPUS}-{MT} {--} Building open translation services for the World",
author = {Tiedemann, J{\"o}rg and Thottingal, Santhosh},
booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
month = nov,
year = "2020",
address = "Lisboa, Portugal",
publisher = "European Association for Machine Translation",
url = "https://aclanthology.org/2020.eamt-1.61",
pages = "479--480",
}
@inproceedings{tiedemann-2020-tatoeba,
title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
author = {Tiedemann, J{\"o}rg},
booktitle = "Proceedings of the Fifth Conference on Machine Translation",
month = nov,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2020.wmt-1.139",
pages = "1174--1182",
}
📚 详细文档
模型信息
属性 |
详情 |
发布时间 |
2022 - 02 - 25 |
源语言 |
意大利语(ita) |
目标语言 |
英语(eng) |
模型类型 |
transformer - big |
训练数据 |
opusTCv20210807+bt ([来源](https://github.com/Helsinki - NLP/Tatoeba - Challenge)) |
分词方式 |
SentencePiece (spm32k,spm32k) |
原始模型 |
[opusTCv20210807+bt_transformer - big_2022 - 02 - 25.zip](https://object.pouta.csc.fi/Tatoeba - MT - models/ita - eng/opusTCv20210807+bt_transformer - big_2022 - 02 - 25.zip) |
更多已发布模型信息 |
[OPUS - MT ita - eng README](https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/ita - eng/README.md) |
模型转换信息
属性 |
详情 |
transformers 版本 |
4.16.2 |
OPUS - MT git 哈希值 |
3405783 |
转换时间 |
Wed Apr 13 19:40:08 EEST 2022 |
转换机器 |
LM0 - 400 - 22516.local |
💻 使用示例
基础用法
from transformers import MarianMTModel, MarianTokenizer
src_text = [
"So chi è il mio nemico.",
"Tom è illetterato; non capisce assolutamente nulla."
]
model_name = "pytorch-models/opus-mt-tc-big-it-en"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
for t in translated:
print( tokenizer.decode(t, skip_special_tokens=True) )
高级用法
from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-it-en")
print(pipe("So chi è il mio nemico."))
🔍 基准测试
- 测试集翻译结果:[opusTCv20210807+bt_transformer - big_2022 - 02 - 25.test.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/ita - eng/opusTCv20210807+bt_transformer - big_2022 - 02 - 25.test.txt)
- 测试集得分:[opusTCv20210807+bt_transformer - big_2022 - 02 - 25.eval.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/ita - eng/opusTCv20210807+bt_transformer - big_2022 - 02 - 25.eval.txt)
- 基准测试结果:benchmark_results.txt
- 基准测试输出:benchmark_translations.zip
语言对 |
测试集 |
chr - F |
BLEU |
句子数量 |
单词数量 |
意大利语 - 英语 |
tatoeba - test - v2021 - 08 - 07 |
0.82288 |
72.1 |
17320 |
119214 |
意大利语 - 英语 |
flores101 - devtest |
0.62115 |
32.8 |
1012 |
24721 |
意大利语 - 英语 |
newssyscomb2009 |
0.59822 |
34.4 |
502 |
11818 |
意大利语 - 英语 |
newstest2009 |
0.59646 |
34.3 |
2525 |
65399 |
🙏 致谢
这项工作得到了以下项目的支持:
- [欧洲语言网格](https://www.european - language - grid.eu/) 的 [试点项目 2866](https://live.european - language - grid.eu/catalogue/#/resource/projects/2866)。
- [FoTran 项目](https://www.helsinki.fi/en/researchgroups/natural - language - understanding - with - cross - lingual - grounding),由欧盟的“地平线 2020”研究与创新计划(资助协议编号 771113)下的欧洲研究理事会(ERC)资助。
- MeMAD 项目,由欧盟的“地平线 2020”研究与创新计划(资助协议编号 780069)资助。
我们也感谢 芬兰科学信息技术中心(CSC) 提供的慷慨计算资源和 IT 基础设施。
📄 许可证
本模型使用 CC - BY - 4.0 许可证。