opus-mt-en-urj開源多語言翻譯模型 - 免費實現英語到15種烏拉爾語系語言翻譯

首頁

Opus Mt En Urj

由Helsinki-NLP開發

這是一個基於Transformer架構的多語言機器翻譯模型，支持從英語到15種烏拉爾語系語言的翻譯任務。

機器翻譯

Transformers

支持多種語言開源協議:Apache-2.0 #多烏拉爾語支持 #新聞翻譯優化 #低資源語言處理

下載量 118

發布時間 : 3/2/2022

模型概述

該模型專門用於英語到烏拉爾語系語言的翻譯任務，涵蓋愛沙尼亞語、芬蘭語、匈牙利語等多種語言。採用標準化預處理和SentencePiece分詞技術。

模型特點

多語言支持

支持15種烏拉爾語系語言的翻譯，包括芬蘭語、匈牙利語等主要語言和多種少數民族語言

標準化預處理

採用標準化預處理和SentencePiece分詞技術，提高翻譯質量

語言標識符

需在句首添加目標語言標識符(如>>fin<<)，便於模型識別目標語言

模型能力

英語到烏拉爾語系語言翻譯

多語言並行翻譯

支持少數民族語言處理

使用案例

多語言翻譯服務

新聞翻譯

將英語新聞翻譯成多種烏拉爾語系語言

在newstest2017-enfi測試集上達到23.6 BLEU分數

少數民族語言支持

為北薩米語等少數民族語言提供翻譯支持

在Tatoeba-test.eng-sme測試集上達到6.8 BLEU分數

語言學研究

烏拉爾語系比較研究

通過模型輸出比較不同烏拉爾語系語言的翻譯特徵

🚀 英語到烏拉爾語系翻譯模型

本項目是一個用於英語到烏拉爾語系翻譯的模型，提供了模型的相關信息、基準測試結果以及系統配置詳情，能幫助開發者瞭解和使用該翻譯模型。

🚀 快速開始

本模型用於將英語翻譯成烏拉爾語系的多種語言。以下是使用該模型的一些關鍵信息：

源語言組：英語
目標語言組：烏拉爾語系
OPUS 說明文檔：eng - urj
模型類型：Transformer
源語言：英語（eng）
目標語言：愛沙尼亞語（est）、芬蘭語（fin）、卡累利阿語（fkv_Latn）、匈牙利語（hun）、伊若爾語（izh）、科米語（kpv）、卡累利阿語（krl）、利沃尼亞語（liv_Latn）、莫克沙語（mdf）、馬里語（mhr）、埃爾齊亞語（myv）、南薩米語（sma）、北薩米語（sme）、烏德穆爾特語（udm）、沃羅語（vro）
預處理：歸一化 + SentencePiece（spm32k, spm32k）
需要以 >>id<<（id 為有效的目標語言 ID）形式的句子初始語言標記
下載原始權重：opus2m - 2020 - 08 - 02.zip
測試集翻譯：opus2m - 2020 - 08 - 02.test.txt
測試集評分：opus2m - 2020 - 08 - 02.eval.txt

📊 基準測試

測試集	BLEU	chr - F
newsdev2015 - enfi - engfin.eng.fin	18.3	0.519
newsdev2018 - enet - engest.eng.est	19.3	0.520
newssyscomb2009 - enghun.eng.hun	15.4	0.471
newstest2009 - enghun.eng.hun	15.7	0.468
newstest2015 - enfi - engfin.eng.fin	20.2	0.534
newstest2016 - enfi - engfin.eng.fin	20.7	0.541
newstest2017 - enfi - engfin.eng.fin	23.6	0.566
newstest2018 - enet - engest.eng.est	20.8	0.535
newstest2018 - enfi - engfin.eng.fin	15.8	0.499
newstest2019 - enfi - engfin.eng.fin	19.9	0.518
newstestB2016 - enfi - engfin.eng.fin	16.6	0.509
newstestB2017 - enfi - engfin.eng.fin	19.4	0.529
Tatoeba - test.eng - chm.eng.chm	1.3	0.127
Tatoeba - test.eng - est.eng.est	51.0	0.692
Tatoeba - test.eng - fin.eng.fin	34.6	0.597
Tatoeba - test.eng - fkv.eng.fkv	2.2	0.302
Tatoeba - test.eng - hun.eng.hun	35.6	0.591
Tatoeba - test.eng - izh.eng.izh	5.7	0.211
Tatoeba - test.eng - kom.eng.kom	3.0	0.012
Tatoeba - test.eng - krl.eng.krl	8.5	0.230
Tatoeba - test.eng - liv.eng.liv	2.7	0.077
Tatoeba - test.eng - mdf.eng.mdf	2.8	0.007
Tatoeba - test.eng.multi	35.1	0.588
Tatoeba - test.eng - myv.eng.myv	1.3	0.014
Tatoeba - test.eng - sma.eng.sma	1.8	0.095
Tatoeba - test.eng - sme.eng.sme	6.8	0.204
Tatoeba - test.eng - udm.eng.udm	1.1	0.121

📄 系統信息

屬性	詳情
模型名稱	eng - urj
源語言	英語（eng）
目標語言	烏拉爾語系（urj）
OPUS 說明文檔鏈接	https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/eng - urj/README.md
原始倉庫	Tatoeba - Challenge
標籤	翻譯
支持語言	英語（en）、瑞典語（se）、芬蘭語（fi）、匈牙利語（hu）、愛沙尼亞語（et）、烏拉爾語系（urj）
源語言組成	英語（eng）
目標語言組成	伊若爾語（izh）、莫克沙語（mdf）、維普斯語（vep）、沃羅語（vro）、北薩米語（sme）、埃爾齊亞語（myv）、卡累利阿語（fkv_Latn）、卡累利阿語（krl）、芬蘭語（fin）、匈牙利語（hun）、科米語（kpv）、烏德穆爾特語（udm）、利沃尼亞語（liv_Latn）、愛沙尼亞語（est）、馬里語（mhr）、南薩米語（sma）
源語言是否多語言	否
目標語言是否多語言	是
預處理方式	歸一化 + SentencePiece（spm32k, spm32k）
模型下載鏈接	https://object.pouta.csc.fi/Tatoeba - MT - models/eng - urj/opus2m - 2020 - 08 - 02.zip
測試集鏈接	https://object.pouta.csc.fi/Tatoeba - MT - models/eng - urj/opus2m - 2020 - 08 - 02.test.txt
源語言 ISO 639 - 3 代碼	eng
目標語言 ISO 639 - 3 代碼	urj
短語言對	en - urj
chrF2 得分	0.588
BLEU 得分	35.1
簡潔懲罰係數	0.943
參考長度	59664.0
源語言名稱	英語
目標語言名稱	烏拉爾語系
訓練日期	2020 - 08 - 02
源語言 ISO 639 - 2 代碼	en
目標語言 ISO 639 - 2 代碼	urj
是否優先使用舊版本	否
長語言對	eng - urj
赫爾辛基代碼庫 SHA 值	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
Transformers 代碼庫 SHA 值	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植機器	brutasse
移植時間	2020 - 08 - 21 - 14:41