Opus Mt Tc Big Cat Oci Spa En
这是一个用于从加泰罗尼亚语、奥克语和西班牙语翻译到英语的神经机器翻译模型,属于OPUS-MT项目的一部分。
下载量 24
发布时间 : 4/13/2022
模型简介
该模型专注于将加泰罗尼亚语、奥克语和西班牙语文本翻译成英语,采用transformer-big架构,训练数据来自OPUS语料库。
模型特点
多语言支持
支持加泰罗尼亚语、奥克语和西班牙语到英语的翻译
高性能翻译
在多个测试集上表现出色,如Tatoeba测试集的BLEU得分高达62.3
开源许可证
采用cc-by-4.0许可证,允许商业和研究使用
模型能力
加泰罗尼亚语到英语翻译
奥克语到英语翻译
西班牙语到英语翻译
多语言机器翻译
使用案例
文本翻译
文档翻译
将加泰罗尼亚语、奥克语或西班牙语文档翻译成英语
高质量翻译结果,BLEU得分达62.3(西班牙语-英语)
内容本地化
帮助将网站或应用程序内容本地化为英语
支持多种罗曼语系语言到英语的转换
学术研究
机器翻译研究
用于比较不同语言对翻译性能的研究
提供多个测试集的基准性能数据
🚀 opus-mt-tc-big-cat_oci_spa-en
这是一个用于从加泰罗尼亚语、奥克语和西班牙语(cat+oci+spa)翻译成英语(en)的神经机器翻译模型。本模型是[OPUS - MT项目](https://github.com/Helsinki - NLP/Opus - MT)的一部分,该项目致力于让神经机器翻译模型在全球多种语言中广泛可用且易于获取。所有模型最初都使用[Marian NMT](https://marian - nmt.github.io/)这一出色的框架进行训练,它是一个用纯C++编写的高效NMT实现。这些模型通过huggingface的transformers库转换为pyTorch格式。训练数据来自OPUS,训练流程采用了[OPUS - MT - train](https://github.com/Helsinki - NLP/Opus - MT - train)的方法。
- 相关出版物:[OPUS - MT – Building open translation services for the World](https://aclanthology.org/2020.eamt - 1.61/) 和 [The Tatoeba Translation Challenge – Realistic Data Sets for Low Resource and Multilingual MT](https://aclanthology.org/2020.wmt - 1.139/)(如果使用此模型,请引用这些文献)
@inproceedings{tiedemann-thottingal-2020-opus,
title = "{OPUS}-{MT} {--} Building open translation services for the World",
author = {Tiedemann, J{\"o}rg and Thottingal, Santhosh},
booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
month = nov,
year = "2020",
address = "Lisboa, Portugal",
publisher = "European Association for Machine Translation",
url = "https://aclanthology.org/2020.eamt-1.61",
pages = "479--480",
}
@inproceedings{tiedemann-2020-tatoeba,
title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
author = {Tiedemann, J{\"o}rg},
booktitle = "Proceedings of the Fifth Conference on Machine Translation",
month = nov,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2020.wmt-1.139",
pages = "1174--1182",
}
🚀 快速开始
本模型可用于将加泰罗尼亚语、奥克语和西班牙语翻译成英语。以下是使用示例:
基础用法
from transformers import MarianMTModel, MarianTokenizer
src_text = [
"¿Puedo hacerte una pregunta?",
"Toca algo de música."
]
model_name = "pytorch-models/opus-mt-tc-big-cat_oci_spa-en"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
for t in translated:
print( tokenizer.decode(t, skip_special_tokens=True) )
# 预期输出:
# Can I ask you a question?
# He plays some music.
高级用法
from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-cat_oci_spa-en")
print(pipe("¿Puedo hacerte una pregunta?"))
# 预期输出: Can I ask you a question?
✨ 主要特性
- 支持加泰罗尼亚语、奥克语和西班牙语到英语的翻译。
- 基于OPUS - MT项目,利用了Marian NMT框架进行训练,并转换为pyTorch格式。
- 训练数据来自OPUS,采用了OPUS - MT - train的训练流程。
📦 安装指南
文档未提供安装步骤,可参考OPUS - MT项目相关文档进行安装。
📚 详细文档
模型信息
属性 | 详情 |
---|---|
发布日期 | 2022 - 03 - 13 |
源语言 | 加泰罗尼亚语(cat)、西班牙语(spa) |
目标语言 | 英语(eng) |
模型类型 | 大型Transformer(transformer - big) |
训练数据 | opusTCv20210807 + bt ([来源](https://github.com/Helsinki - NLP/Tatoeba - Challenge)) |
分词方式 | SentencePiece(spm32k,spm32k) |
原始模型 | [opusTCv20210807 + bt_transformer - big_2022 - 03 - 13.zip](https://object.pouta.csc.fi/Tatoeba - MT - models/cat + oci + spa - eng/opusTCv20210807 + bt_transformer - big_2022 - 03 - 13.zip) |
更多模型信息 | [OPUS - MT cat + oci + spa - eng README](https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/cat + oci + spa - eng/README.md) |
基准测试
- 测试集翻译结果:[opusTCv20210807 + bt_transformer - big_2022 - 03 - 13.test.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/cat + oci + spa - eng/opusTCv20210807 + bt_transformer - big_2022 - 03 - 13.test.txt)
- 测试集得分:[opusTCv20210807 + bt_transformer - big_2022 - 03 - 13.eval.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/cat + oci + spa - eng/opusTCv20210807 + bt_transformer - big_2022 - 03 - 13.eval.txt)
- 基准测试结果:benchmark_results.txt
- 基准测试输出:benchmark_translations.zip
语言对 | 测试集 | chr - F | BLEU | 句子数量 | 单词数量 |
---|---|---|---|---|---|
cat - eng | tatoeba - test - v2021 - 08 - 07 | 0.72019 | 57.3 | 1631 | 12627 |
spa - eng | tatoeba - test - v2021 - 08 - 07 | 0.76017 | 62.3 | 16583 | 138123 |
cat - eng | flores101 - devtest | 0.69572 | 45.4 | 1012 | 24721 |
oci - eng | flores101 - devtest | 0.63347 | 37.5 | 1012 | 24721 |
spa - eng | flores101 - devtest | 0.59696 | 29.9 | 1012 | 24721 |
spa - eng | newssyscomb2009 | 0.57104 | 30.8 | 502 | 11818 |
spa - eng | news - test2008 | 0.55440 | 27.9 | 2051 | 49380 |
spa - eng | newstest2009 | 0.57153 | 30.2 | 2525 | 65399 |
spa - eng | newstest2010 | 0.61890 | 36.8 | 2489 | 61711 |
spa - eng | newstest2011 | 0.60278 | 34.7 | 3003 | 74681 |
spa - eng | newstest2012 | 0.62760 | 38.6 | 3003 | 72812 |
spa - eng | newstest2013 | 0.60994 | 35.3 | 3000 | 64505 |
spa - eng | tico19 - test | 0.74033 | 51.8 | 2100 | 56315 |
🔧 技术细节
文档未提供具体技术实现细节。
📄 许可证
本模型使用CC - BY - 4.0许可证。
致谢
本工作得到了以下项目的支持:
- [欧洲语言网格](https://www.european - language - grid.eu/)的[试点项目2866](https://live.european - language - grid.eu/catalogue/#/resource/projects/2866)。
- [FoTran项目](https://www.helsinki.fi/en/researchgroups/natural - language - understanding - with - cross - lingual - grounding),由欧盟“地平线2020”研究与创新计划(资助协议编号771113)下的欧洲研究理事会(ERC)资助。
- MeMAD项目,由欧盟“地平线2020”研究与创新计划(资助协议编号780069)资助。
同时,感谢芬兰科学信息技术中心(CSC)提供的慷慨计算资源和IT基础设施。
模型转换信息
属性 | 详情 |
---|---|
transformers版本 | 4.16.2 |
OPUS - MT git哈希值 | 3405783 |
转换时间 | 2022年4月13日星期三18:30:38(东欧夏令时) |
转换机器 | LM0 - 400 - 22516.local |
M2m100 418M
MIT
M2M100是一个多语言编码器-解码器模型,支持100种语言的9900个翻译方向
机器翻译 支持多种语言
M
facebook
1.6M
299
Opus Mt Fr En
Apache-2.0
基于Transformer的法语到英语神经机器翻译模型,由Helsinki-NLP团队开发,采用OPUS多语数据集训练。
机器翻译 支持多种语言
O
Helsinki-NLP
1.2M
44
Opus Mt Ar En
Apache-2.0
基于OPUS数据训练的阿拉伯语到英语的机器翻译模型,采用transformer-align架构
机器翻译 支持多种语言
O
Helsinki-NLP
579.41k
42
M2m100 1.2B
MIT
M2M100是一个支持100种语言的多语言机器翻译模型,可直接在9900个翻译方向之间进行翻译。
机器翻译 支持多种语言
M
facebook
501.82k
167
Indictrans2 Indic En 1B
MIT
支持25种印度语言与英语互译的1.1B参数规模机器翻译模型,由AI4Bharat项目开发
机器翻译
Transformers 支持多种语言

I
ai4bharat
473.63k
14
Opus Mt En Zh
Apache-2.0
基于Transformer架构的英汉多方言翻译模型,支持英语到13种汉语变体的翻译任务
机器翻译 支持多种语言
O
Helsinki-NLP
442.08k
367
Opus Mt Zh En
由赫尔辛基大学开发的基于OPUS语料库的中文到英语机器翻译模型
机器翻译 支持多种语言
O
Helsinki-NLP
441.24k
505
Mbart Large 50 Many To Many Mmt
基于mBART-large-50微调的多语言机器翻译模型,支持50种语言间的互译
机器翻译 支持多种语言
M
facebook
404.66k
357
Opus Mt De En
Apache-2.0
opus-mt-de-en 是一个基于 transformer-align 架构的德语到英语的机器翻译模型,由 Helsinki-NLP 团队开发。
机器翻译 支持多种语言
O
Helsinki-NLP
404.33k
44
Opus Mt Es En
Apache-2.0
这是一个基于Transformer架构的西班牙语到英语的机器翻译模型,由Helsinki-NLP团队开发。
机器翻译
Transformers 支持多种语言

O
Helsinki-NLP
385.40k
71
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98