opus-mt-en-nic開源翻譯模型 - 支持英語到20種尼日爾-科爾多凡語系語言互譯

首頁

Opus Mt En Nic

由Helsinki-NLP開發

這是一個基於Transformer架構的多語言翻譯模型，支持從英語到20種尼日爾-科爾多凡語系語言的翻譯任務。

機器翻譯

Transformers

支持多種語言開源協議:Apache-2.0 #非洲多語言翻譯 #低資源語言支持 #SentencePiece預處理

下載量 39

發布時間 : 3/2/2022

模型概述

該模型專注於英語與非洲多種語言的互譯，採用SentencePiece預處理和語言標識符技術實現多語言目標輸出。

模型特點

多語言支持

支持20種尼日爾-科爾多凡語系語言的目標輸出

語言標識符技術

通過在句子起始添加語言標識符(>>id<<)實現多語言目標控制

標準化預處理

採用標準化+SentencePiece(spm32k)預處理技術提升翻譯質量

模型能力

英語到非洲語言翻譯

多語言並行翻譯

跨語言文本轉換

使用案例

語言服務

非洲語言內容本地化

將英語內容翻譯為多種非洲本地語言

在Tatoeba測試集上BLEU得分11.1(chrF2 0.427)

多語言教育材料生成

為非洲多語言地區生成教育內容的本地化版本

部分語言如祖魯語BLEU達35.9

🚀 英語到尼日爾 - 科爾多凡語系翻譯模型

本項目是一個用於英語到尼日爾 - 科爾多凡語系翻譯的模型，它基於Transformer架構，能實現多種語言的翻譯功能，為跨語言交流提供了有力支持。

✨ 主要特性

支持多種語言：涵蓋英語到尼日爾 - 科爾多凡語系中的多種語言翻譯，如班巴拉語（bam_Latn）、埃維語（ewe）等。
特定預處理：採用歸一化和SentencePiece（spm32k,spm32k）進行預處理。
需語言標記：句子開頭需要 >>id<< 形式的語言標記（id 為有效的目標語言 ID）。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

英語到尼日爾 - 科爾多凡語系（eng - nic）

源語言組：英語
目標語言組：尼日爾 - 科爾多凡語系
OPUS 說明文檔：eng - nic
模型類型：Transformer
源語言：英語（eng）
目標語言：班巴拉語（bam_Latn）、埃維語（ewe）、富拉語（fuc）、富爾貝語（fuv）、伊博語（ibo）、基尼亞盧旺達語（kin）、林加拉語（lin）、盧幹達語（lug）、尼揚賈語（nya）、基隆迪語（run）、桑戈語（sag）、紹納語（sna）、斯瓦希里語（swh）、託皮語（toi_Latn）、茨瓦納語（tso）、翁布undu語（umb）、沃洛夫語（wol）、科薩語（xho）、約魯巴語（yor）、祖魯語（zul）
預處理：歸一化 + SentencePiece（spm32k,spm32k）
語言標記要求：句子開頭需要 >>id<< 形式的語言標記（id 為有效的目標語言 ID）
原始權重下載：opus - 2020 - 07 - 27.zip
測試集翻譯：opus - 2020 - 07 - 27.test.txt
測試集得分：opus - 2020 - 07 - 27.eval.txt

基準測試

測試集	BLEU	chr - F
Tatoeba - test.eng - bam.eng.bam	6.2	0.029
Tatoeba - test.eng - ewe.eng.ewe	4.5	0.258
Tatoeba - test.eng - ful.eng.ful	0.5	0.073
Tatoeba - test.eng - ibo.eng.ibo	3.9	0.267
Tatoeba - test.eng - kin.eng.kin	6.4	0.475
Tatoeba - test.eng - lin.eng.lin	1.2	0.308
Tatoeba - test.eng - lug.eng.lug	3.9	0.405
Tatoeba - test.eng.multi	11.1	0.427
Tatoeba - test.eng - nya.eng.nya	14.0	0.622
Tatoeba - test.eng - run.eng.run	13.6	0.477
Tatoeba - test.eng - sag.eng.sag	5.5	0.199
Tatoeba - test.eng - sna.eng.sna	19.6	0.557
Tatoeba - test.eng - swa.eng.swa	1.8	0.163
Tatoeba - test.eng - toi.eng.toi	8.3	0.231
Tatoeba - test.eng - tso.eng.tso	50.0	0.789
Tatoeba - test.eng - umb.eng.umb	7.8	0.342
Tatoeba - test.eng - wol.eng.wol	6.7	0.143
Tatoeba - test.eng - xho.eng.xho	26.4	0.620
Tatoeba - test.eng - yor.eng.yor	15.5	0.342
Tatoeba - test.eng - zul.eng.zul	35.9	0.750

系統信息

屬性	詳情
模型名稱	eng - nic
源語言	英語（eng）
目標語言	尼日爾 - 科爾多凡語系（nic）
OPUS 說明文檔鏈接	https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-nic/README.md
原始倉庫	Tatoeba - Challenge
標籤	翻譯
支持語言	英語（en）、紹納語（sn）、盧旺達語（rw）、沃洛夫語（wo）、伊博語（ig）、桑戈語（sg）、埃維語（ee）、祖魯語（zu）、盧幹達語（lg）、茨瓦納語（ts）、林加拉語（ln）、尼揚賈語（ny）、約魯巴語（yo）、基隆迪語（rn）、科薩語（xh）、尼日爾 - 科爾多凡語系（nic）
源語言組成	{'eng'}
目標語言組成	{'bam_Latn', 'sna', 'kin', 'wol', 'ibo', 'swh', 'sag', 'ewe', 'zul', 'fuc', 'lug', 'tso', 'lin', 'nya', 'yor', 'run', 'xho', 'fuv', 'toi_Latn', 'umb'}
源語言多語言性	否
目標語言多語言性	是
預處理	歸一化 + SentencePiece（spm32k,spm32k）
模型鏈接	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-nic/opus-2020-07-27.zip
測試集鏈接	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-nic/opus-2020-07-27.test.txt
源語言三字母代碼	eng
目標語言三字母代碼	nic
短語言對	en - nic
chrF2 得分	0.42700000000000005
BLEU 得分	11.1
簡潔懲罰係數	1.0
參考長度	10625.0
源語言名稱	英語
目標語言名稱	尼日爾 - 科爾多凡語系
訓練日期	2020 - 07 - 27
源語言兩字母代碼	en
目標語言兩字母代碼	nic
是否偏好舊版本	否
長語言對	eng - nic
赫爾辛基 Git SHA 值	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
Transformers Git SHA 值	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植機器	brutasse
移植時間	2020 - 08 - 21 - 14:41