opus-mt-en-urjオープンソース多言語翻訳モデル - 英語からウラル語族の15の言語への翻訳を無料で実現

Opus Mt En Urj

Helsinki-NLPによって開発

これはTransformerアーキテクチャに基づく多言語機械翻訳モデルで、英語から15種類のウラル語族言語への翻訳タスクをサポートしています。

ダウンロード数 118

リリース時間 : 3/2/2022

モデル概要

このモデルは、英語からウラル語族言語への翻訳タスクに特化しており、エストニア語、フィンランド語、ハンガリー語などの多くの言語をカバーしています。標準化された前処理とSentencePiece分詞技術を採用しています。

多言語対応

フィンランド語、ハンガリー語などの主要言語や多くの少数民族言語を含む、15種類のウラル語族言語の翻訳をサポートします。

標準化前処理

標準化された前処理とSentencePiece分詞技術を採用し、翻訳品質を向上させます。

言語識別子

文頭に目標言語の識別子(例: >>fin<<)を追加する必要があり、モデルが目標言語を識別しやすくなります。

英語からウラル語族言語への翻訳

多言語並列翻訳

少数民族言語処理のサポート

多言語翻訳サービス

ニュース翻訳

英語のニュースを複数のウラル語族言語に翻訳します。

newstest2017 - enfiテストセットで23.6のBLEUスコアを達成しました。

少数民族言語サポート

北サーミ語などの少数民族言語に翻訳サポートを提供します。

Tatoeba - test.eng - smeテストセットで6.8のBLEUスコアを達成しました。

言語学研究

ウラル語族比較研究

モデルの出力を通じて、異なるウラル語族言語の翻訳特徴を比較します。

ソース言語は英語（eng）で、ターゲット言語はウラル語族の複数言語（est, fin, fkv_Latn, hun, izh, kpv, krl, liv_Latn, mdf, mhr, myv, sma, sme, udm, vro）です。
前処理として、正規化とSentencePiece（spm32k,spm32k）が行われます。
文頭には >>id<< （id = 有効なターゲット言語ID）の形式で言語トークンが必要です。

テストセット	BLEU	chr-F
newsdev2015-enfi-engfin.eng.fin	18.3	0.519
newsdev2018-enet-engest.eng.est	19.3	0.520
newssyscomb2009-enghun.eng.hun	15.4	0.471
newstest2009-enghun.eng.hun	15.7	0.468
newstest2015-enfi-engfin.eng.fin	20.2	0.534
newstest2016-enfi-engfin.eng.fin	20.7	0.541
newstest2017-enfi-engfin.eng.fin	23.6	0.566
newstest2018-enet-engest.eng.est	20.8	0.535
newstest2018-enfi-engfin.eng.fin	15.8	0.499
newstest2019-enfi-engfin.eng.fin	19.9	0.518
newstestB2016-enfi-engfin.eng.fin	16.6	0.509
newstestB2017-enfi-engfin.eng.fin	19.4	0.529
Tatoeba-test.eng-chm.eng.chm	1.3	0.127
Tatoeba-test.eng-est.eng.est	51.0	0.692
Tatoeba-test.eng-fin.eng.fin	34.6	0.597
Tatoeba-test.eng-fkv.eng.fkv	2.2	0.302
Tatoeba-test.eng-hun.eng.hun	35.6	0.591
Tatoeba-test.eng-izh.eng.izh	5.7	0.211
Tatoeba-test.eng-kom.eng.kom	3.0	0.012
Tatoeba-test.eng-krl.eng.krl	8.5	0.230
Tatoeba-test.eng-liv.eng.liv	2.7	0.077
Tatoeba-test.eng-mdf.eng.mdf	2.8	0.007
Tatoeba-test.eng.multi	35.1	0.588
Tatoeba-test.eng-myv.eng.myv	1.3	0.014
Tatoeba-test.eng-sma.eng.sma	1.8	0.095
Tatoeba-test.eng-sme.eng.sme	6.8	0.204
Tatoeba-test.eng-udm.eng.udm	1.1	0.121

属性	詳情
モデル名	eng-urj
ソース言語	eng
ターゲット言語	urj
OPUSのREADME URL	https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-urj/README.md
オリジナルリポジトリ	Tatoeba-Challenge
タグ	['translation']
言語	['en', 'se', 'fi', 'hu', 'et', 'urj']
ソース言語構成要素	{'eng'}
ターゲット言語構成要素	{'izh', 'mdf', 'vep', 'vro', 'sme', 'myv', 'fkv_Latn', 'krl', 'fin', 'hun', 'kpv', 'udm', 'liv_Latn', 'est', 'mhr', 'sma'}
ソース言語の多言語性	False
ターゲット言語の多言語性	True
前処理	正規化 + SentencePiece (spm32k,spm32k)
モデルのURL	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-urj/opus2m-2020-08-02.zip
テストセットのURL	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-urj/opus2m-2020-08-02.test.txt
ソース言語のISO 639-3コード	eng
ターゲット言語のISO 639-3コード	urj
短い言語ペア	en-urj
chrF2スコア	0.588
BLEUスコア	35.1
簡略化ペナルティ	0.943
参照文の長さ	59664.0
ソース言語名	English
ターゲット言語名	Uralic languages
学習日	2020-08-02
ソース言語のISO 639-2コード	en
ターゲット言語のISO 639-2コード	urj
古いバージョンを優先するか	False
長い言語ペア	eng-urj
HelsinkiのGit SHA	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
TransformersのGit SHA	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植先マシン	brutasse
移植日時	2020-08-21-14:41