opus-mt-en-nic开源翻译模型 - 支持英语到20种尼日尔-科尔多凡语系语言互译

首页

Opus Mt En Nic

由 Helsinki-NLP 开发

这是一个基于Transformer架构的多语言翻译模型，支持从英语到20种尼日尔-科尔多凡语系语言的翻译任务。

机器翻译

Transformers

支持多种语言开源协议:Apache-2.0 #非洲多语言翻译 #低资源语言支持 #SentencePiece预处理

下载量 39

发布时间 : 3/2/2022

模型简介

该模型专注于英语与非洲多种语言的互译，采用SentencePiece预处理和语言标识符技术实现多语言目标输出。

模型特点

多语言支持

支持20种尼日尔-科尔多凡语系语言的目标输出

语言标识符技术

通过在句子起始添加语言标识符(>>id<<)实现多语言目标控制

标准化预处理

采用标准化+SentencePiece(spm32k)预处理技术提升翻译质量

模型能力

英语到非洲语言翻译

多语言并行翻译

跨语言文本转换

使用案例

语言服务

非洲语言内容本地化

将英语内容翻译为多种非洲本地语言

在Tatoeba测试集上BLEU得分11.1(chrF2 0.427)

多语言教育材料生成

为非洲多语言地区生成教育内容的本地化版本

部分语言如祖鲁语BLEU达35.9

🚀 英语到尼日尔 - 科尔多凡语系翻译模型

本项目是一个用于英语到尼日尔 - 科尔多凡语系翻译的模型，它基于Transformer架构，能实现多种语言的翻译功能，为跨语言交流提供了有力支持。

✨ 主要特性

支持多种语言：涵盖英语到尼日尔 - 科尔多凡语系中的多种语言翻译，如班巴拉语（bam_Latn）、埃维语（ewe）等。
特定预处理：采用归一化和SentencePiece（spm32k,spm32k）进行预处理。
需语言标记：句子开头需要 >>id<< 形式的语言标记（id 为有效的目标语言 ID）。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

英语到尼日尔 - 科尔多凡语系（eng - nic）

源语言组：英语
目标语言组：尼日尔 - 科尔多凡语系
OPUS 说明文档：eng - nic
模型类型：Transformer
源语言：英语（eng）
目标语言：班巴拉语（bam_Latn）、埃维语（ewe）、富拉语（fuc）、富尔贝语（fuv）、伊博语（ibo）、基尼亚卢旺达语（kin）、林加拉语（lin）、卢干达语（lug）、尼扬贾语（nya）、基隆迪语（run）、桑戈语（sag）、绍纳语（sna）、斯瓦希里语（swh）、托皮语（toi_Latn）、茨瓦纳语（tso）、翁布undu语（umb）、沃洛夫语（wol）、科萨语（xho）、约鲁巴语（yor）、祖鲁语（zul）
预处理：归一化 + SentencePiece（spm32k,spm32k）
语言标记要求：句子开头需要 >>id<< 形式的语言标记（id 为有效的目标语言 ID）
原始权重下载：opus - 2020 - 07 - 27.zip
测试集翻译：opus - 2020 - 07 - 27.test.txt
测试集得分：opus - 2020 - 07 - 27.eval.txt

基准测试

测试集	BLEU	chr - F
Tatoeba - test.eng - bam.eng.bam	6.2	0.029
Tatoeba - test.eng - ewe.eng.ewe	4.5	0.258
Tatoeba - test.eng - ful.eng.ful	0.5	0.073
Tatoeba - test.eng - ibo.eng.ibo	3.9	0.267
Tatoeba - test.eng - kin.eng.kin	6.4	0.475
Tatoeba - test.eng - lin.eng.lin	1.2	0.308
Tatoeba - test.eng - lug.eng.lug	3.9	0.405
Tatoeba - test.eng.multi	11.1	0.427
Tatoeba - test.eng - nya.eng.nya	14.0	0.622
Tatoeba - test.eng - run.eng.run	13.6	0.477
Tatoeba - test.eng - sag.eng.sag	5.5	0.199
Tatoeba - test.eng - sna.eng.sna	19.6	0.557
Tatoeba - test.eng - swa.eng.swa	1.8	0.163
Tatoeba - test.eng - toi.eng.toi	8.3	0.231
Tatoeba - test.eng - tso.eng.tso	50.0	0.789
Tatoeba - test.eng - umb.eng.umb	7.8	0.342
Tatoeba - test.eng - wol.eng.wol	6.7	0.143
Tatoeba - test.eng - xho.eng.xho	26.4	0.620
Tatoeba - test.eng - yor.eng.yor	15.5	0.342
Tatoeba - test.eng - zul.eng.zul	35.9	0.750

系统信息

属性	详情
模型名称	eng - nic
源语言	英语（eng）
目标语言	尼日尔 - 科尔多凡语系（nic）
OPUS 说明文档链接	https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-nic/README.md
原始仓库	Tatoeba - Challenge
标签	翻译
支持语言	英语（en）、绍纳语（sn）、卢旺达语（rw）、沃洛夫语（wo）、伊博语（ig）、桑戈语（sg）、埃维语（ee）、祖鲁语（zu）、卢干达语（lg）、茨瓦纳语（ts）、林加拉语（ln）、尼扬贾语（ny）、约鲁巴语（yo）、基隆迪语（rn）、科萨语（xh）、尼日尔 - 科尔多凡语系（nic）
源语言组成	{'eng'}
目标语言组成	{'bam_Latn', 'sna', 'kin', 'wol', 'ibo', 'swh', 'sag', 'ewe', 'zul', 'fuc', 'lug', 'tso', 'lin', 'nya', 'yor', 'run', 'xho', 'fuv', 'toi_Latn', 'umb'}
源语言多语言性	否
目标语言多语言性	是
预处理	归一化 + SentencePiece（spm32k,spm32k）
模型链接	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-nic/opus-2020-07-27.zip
测试集链接	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-nic/opus-2020-07-27.test.txt
源语言三字母代码	eng
目标语言三字母代码	nic
短语言对	en - nic
chrF2 得分	0.42700000000000005
BLEU 得分	11.1
简洁惩罚系数	1.0
参考长度	10625.0
源语言名称	英语
目标语言名称	尼日尔 - 科尔多凡语系
训练日期	2020 - 07 - 27
源语言两字母代码	en
目标语言两字母代码	nic
是否偏好旧版本	否
长语言对	eng - nic
赫尔辛基 Git SHA 值	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
Transformers Git SHA 值	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植机器	brutasse
移植时间	2020 - 08 - 21 - 14:41