opus-mt-en-roaオープンソース翻訳モデル - 無料でデプロイして英語からロマンス語族への翻訳を実現

Opus Mt En Roa

Helsinki-NLPによって開発

これはTransformerアーキテクチャに基づく多言語翻訳モデルで、英語から複数のロマンス語族言語への翻訳タスクをサポートします。

機械翻訳複数言語対応オープンソースライセンス:Apache-2.0 #多言語翻訳 #ロマンス語族対応 #SentencePiece分詞

ダウンロード数 1,238

リリース時間 : 3/2/2022

モデル概要

このモデルは、英語のテキストをフランス語、スペイン語、イタリア語、ポルトガル語など、複数のロマンス語族言語に翻訳するために特別に設計されています。モデルは標準化前処理とSentencePiece分詞技術を採用し、複数の目標言語識別子をサポートします。

モデル特徴

多言語サポート

英語から35種類のロマンス語族言語への翻訳をサポートし、フランス語、スペイン語、イタリア語などの主要言語を含みます。

標準化前処理

標準化とSentencePiece分詞技術を採用し、入力テキストの一貫性とモデル処理効率を確保します。

高性能翻訳

複数のテストセットで優れた性能を発揮し、BLEUとchr - Fスコアが高く、特にスペイン語とフランス語の翻訳タスクで優れた性能を示します。

モデル能力

英語からロマンス語族へのテキスト翻訳

多言語翻訳サポート

標準化テキスト処理

使用事例

多言語翻訳

ニュース翻訳

英語のニュースをフランス語、スペイン語などのロマンス語族言語に翻訳します。

newsdev2016などのテストセットでBLEUスコアが27.6に達します。

ソーシャルメディアコンテンツ翻訳

英語のソーシャルメディアコンテンツを複数のロマンス語族言語に翻訳します。

Tatoeba - testテストセットでスペイン語翻訳のBLEUスコアが50.1に達します。

🚀 eng - roa

このプロジェクトは英語からロマンス諸語への翻訳を目的としています。
トランスフォーマーモデルを使用し、前処理として正規化とSentencePieceが行われます。
モデルの重みやテストセットの翻訳、スコアなどの詳細情報が提供されています。

✨ 主な機能

英語から複数のロマンス諸語への翻訳を行うことができます。
前処理で正規化とSentencePieceを使用し、翻訳の精度向上を図っています。

📚 ドキュメント

eng - roa

ソース言語グループ：英語
ターゲット言語グループ：ロマンス諸語
OPUSのREADME：[eng - roa](https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/eng - roa/README.md)
モデル：トランスフォーマー
ソース言語：eng
ターゲット言語：arg ast cat cos egl ext fra frm_Latn gcf_Latn glg hat ind ita lad lad_Latn lij lld_Latn lmo max_Latn mfe min mwl oci pap pms por roh ron scn spa tmw_Latn vec wln zlm_Latn zsm_Latn
前処理：正規化 + SentencePiece (spm32k, spm32k)
文頭に >>id<< （id = 有効なターゲット言語ID）の形式で言語トークンが必要です。
元の重みのダウンロード：[opus2m - 2020 - 08 - 01.zip](https://object.pouta.csc.fi/Tatoeba - MT - models/eng - roa/opus2m - 2020 - 08 - 01.zip)
テストセットの翻訳：[opus2m - 2020 - 08 - 01.test.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/eng - roa/opus2m - 2020 - 08 - 01.test.txt)
テストセットのスコア：[opus2m - 2020 - 08 - 01.eval.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/eng - roa/opus2m - 2020 - 08 - 01.eval.txt)

ベンチマーク

テストセット	BLEU	chr - F
newsdev2016 - enro - engron.eng.ron	27.6	0.567
newsdiscussdev2015 - enfr - engfra.eng.fra	30.2	0.575
newsdiscusstest2015 - enfr - engfra.eng.fra	35.5	0.612
newssyscomb2009 - engfra.eng.fra	27.9	0.570
newssyscomb2009 - engita.eng.ita	29.3	0.590
newssyscomb2009 - engspa.eng.spa	29.6	0.570
news - test2008 - engfra.eng.fra	25.2	0.538
news - test2008 - engspa.eng.spa	27.3	0.548
newstest2009 - engfra.eng.fra	26.9	0.560
newstest2009 - engita.eng.ita	28.7	0.583
newstest2009 - engspa.eng.spa	29.0	0.568
newstest2010 - engfra.eng.fra	29.3	0.574
newstest2010 - engspa.eng.spa	34.2	0.601
newstest2011 - engfra.eng.fra	31.4	0.592
newstest2011 - engspa.eng.spa	35.0	0.599
newstest2012 - engfra.eng.fra	29.5	0.576
newstest2012 - engspa.eng.spa	35.5	0.603
newstest2013 - engfra.eng.fra	29.9	0.567
newstest2013 - engspa.eng.spa	32.1	0.578
newstest2016 - enro - engron.eng.ron	26.1	0.551
Tatoeba - test.eng - arg.eng.arg	1.4	0.125
Tatoeba - test.eng - ast.eng.ast	17.8	0.406
Tatoeba - test.eng - cat.eng.cat	48.3	0.676
Tatoeba - test.eng - cos.eng.cos	3.2	0.275
Tatoeba - test.eng - egl.eng.egl	0.2	0.084
Tatoeba - test.eng - ext.eng.ext	11.2	0.344
Tatoeba - test.eng - fra.eng.fra	45.3	0.637
Tatoeba - test.eng - frm.eng.frm	1.1	0.221
Tatoeba - test.eng - gcf.eng.gcf	0.6	0.118
Tatoeba - test.eng - glg.eng.glg	44.2	0.645
Tatoeba - test.eng - hat.eng.hat	28.0	0.502
Tatoeba - test.eng - ita.eng.ita	45.6	0.674
Tatoeba - test.eng - lad.eng.lad	8.2	0.322
Tatoeba - test.eng - lij.eng.lij	1.4	0.182
Tatoeba - test.eng - lld.eng.lld	0.8	0.217
Tatoeba - test.eng - lmo.eng.lmo	0.7	0.190
Tatoeba - test.eng - mfe.eng.mfe	91.9	0.956
Tatoeba - test.eng - msa.eng.msa	31.1	0.548
Tatoeba - test.eng.multi	42.9	0.636
Tatoeba - test.eng - mwl.eng.mwl	2.1	0.234
Tatoeba - test.eng - oci.eng.oci	7.9	0.297
Tatoeba - test.eng - pap.eng.pap	44.1	0.648
Tatoeba - test.eng - pms.eng.pms	2.1	0.190
Tatoeba - test.eng - por.eng.por	41.8	0.639
Tatoeba - test.eng - roh.eng.roh	3.5	0.261
Tatoeba - test.eng - ron.eng.ron	41.0	0.635
Tatoeba - test.eng - scn.eng.scn	1.7	0.184
Tatoeba - test.eng - spa.eng.spa	50.1	0.689
Tatoeba - test.eng - vec.eng.vec	3.2	0.248
Tatoeba - test.eng - wln.eng.wln	7.2	0.220

システム情報

属性	詳情
hf_name	eng - roa
ソース言語	eng
ターゲット言語	roa
OPUSのREADMEのURL	https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/eng - roa/README.md
オリジナルのリポジトリ	Tatoeba - Challenge
タグ	['translation']
言語	['en', 'it', 'ca', 'rm', 'es', 'ro', 'gl', 'co', 'wa', 'pt', 'oc', 'an', 'id', 'fr', 'ht', 'roa']
ソース構成要素	{'eng'}
ターゲット構成要素	{'ita', 'cat', 'roh', 'spa', 'pap', 'lmo', 'mwl', 'lij', 'lad_Latn', 'ext', 'ron', 'ast', 'glg', 'pms', 'zsm_Latn', 'gcf_Latn', 'lld_Latn', 'min', 'tmw_Latn', 'cos', 'wln', 'zlm_Latn', 'por', 'egl', 'oci', 'vec', 'arg', 'ind', 'fra', 'hat', 'lad', 'max_Latn', 'frm_Latn', 'scn', 'mfe'}
ソースの多言語性	False
ターゲットの多言語性	True
前処理	正規化 + SentencePiece (spm32k, spm32k)
モデルのURL	https://object.pouta.csc.fi/Tatoeba - MT - models/eng - roa/opus2m - 2020 - 08 - 01.zip
テストセットのURL	https://object.pouta.csc.fi/Tatoeba - MT - models/eng - roa/opus2m - 2020 - 08 - 01.test.txt
ソースのISO 639 - 3コード	eng
ターゲットのISO 639 - 3コード	roa
短い言語ペア	en - roa
chrF2スコア	0.636
BLEU	42.9
簡略化ペナルティ	0.978
参照文の長さ	72751.0
ソース言語名	English
ターゲット言語名	Romance languages
学習日	2020 - 08 - 01
ソースのISO 639 - 2コード	en
ターゲットのISO 639 - 2コード	roa
古いバージョンの優先度	False
長い言語ペア	eng - roa
HelsinkiのGit SHA	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
TransformersのGit SHA	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植先のマシン	brutasse
移植時間	2020 - 08 - 21 - 14:41