opus-mt-iir-enオープンソース多言語翻訳モデル - 印イラン語族の複数言語から英語への無料翻訳をサポート

ホーム

Opus Mt Iir En

Helsinki-NLPによって開発

これは多言語翻訳モデルで、インド・イラン語族の複数の言語から英語への翻訳タスクをサポートします。

機械翻訳

Transformers

複数言語対応オープンソースライセンス:Apache-2.0 #多言語翻訳 #低資源言語サポート #ニュース分野適合

ダウンロード数 218

リリース時間 : 3/2/2022

モデル概要

このモデルはTransformerアーキテクチャに基づいており、インド・イラン語族の複数の言語を英語に翻訳するために特別に設計されており、ベンガル語、ヒンディー語、ウルドゥー語などを含む28種類の源言語をカバーしています。

モデル特徴

多言語サポート

28種類のインド・イラン語族の言語から英語への翻訳をサポート

標準化前処理

標準化とSentencePiece形態素解析技術を用いて前処理を行う

公開評価結果

詳細なテストセットの翻訳結果と評点を提供

モデル能力

テキスト翻訳

多言語処理

使用事例

言語サービス

多言語文書翻訳

インド・イラン語族の様々な言語の文書を英語に翻訳する

テストセットの結果によると、異なる言語のBLEUスコアは0.6から65.4まで様々です

異言語交流

異なるインド・イラン語族の言語を話す人が英語を通じて交流するのを支援する

ニュースメディア

ニュース翻訳

インド・イラン語族のニュース内容を英語に翻訳する

newsdev2014ヒンディー語 - 英語のテストセットではBLEUスコアが8.1です

🚀 iir-eng

このモデルはインド・イラン語族の言語から英語への翻訳を目的としています。
モデルの詳細やテストセットの結果など、多くの情報を提供しています。

✨ 主な機能

インド・イラン語族の複数の言語から英語への翻訳が可能です。
前処理として正規化とSentencePieceを使用しています。

📦 インストール

原文書にインストール手順は記載されていません。

💻 使用例

原文書に使用例のコードは記載されていません。

📚 詳細ドキュメント

iir-eng

ソース言語グループ: インド・イラン語族
ターゲット言語グループ: 英語
OPUSのREADME: iir-eng
モデル: transformer
ソース言語: asm awa ben bho gom guj hif_Latn hin jdt_Cyrl kur_Arab kur_Latn mai mar npi ori oss pan_Guru pes pes_Latn pes_Thaa pnb pus rom san_Deva sin snd_Arab tgk_Cyrl tly_Latn urd zza
ターゲット言語: eng
モデル: transformer
前処理: 正規化 + SentencePiece (spm32k,spm32k)
元の重みのダウンロード: opus2m-2020-08-01.zip
テストセットの翻訳: opus2m-2020-08-01.test.txt
テストセットのスコア: opus2m-2020-08-01.eval.txt

ベンチマーク

テストセット	BLEU	chr-F
newsdev2014-hineng.hin.eng	8.1	0.324
newsdev2019-engu-gujeng.guj.eng	8.1	0.309
newstest2014-hien-hineng.hin.eng	12.1	0.380
newstest2019-guen-gujeng.guj.eng	6.0	0.280
Tatoeba-test.asm-eng.asm.eng	13.9	0.327
Tatoeba-test.awa-eng.awa.eng	7.0	0.219
Tatoeba-test.ben-eng.ben.eng	42.5	0.576
Tatoeba-test.bho-eng.bho.eng	27.3	0.452
Tatoeba-test.fas-eng.fas.eng	5.6	0.262
Tatoeba-test.guj-eng.guj.eng	15.9	0.350
Tatoeba-test.hif-eng.hif.eng	10.1	0.247
Tatoeba-test.hin-eng.hin.eng	36.5	0.544
Tatoeba-test.jdt-eng.jdt.eng	11.4	0.094
Tatoeba-test.kok-eng.kok.eng	6.6	0.256
Tatoeba-test.kur-eng.kur.eng	3.4	0.149
Tatoeba-test.lah-eng.lah.eng	17.4	0.301
Tatoeba-test.mai-eng.mai.eng	65.4	0.703
Tatoeba-test.mar-eng.mar.eng	22.5	0.468
Tatoeba-test.multi.eng	21.3	0.424
Tatoeba-test.nep-eng.nep.eng	3.4	0.185
Tatoeba-test.ori-eng.ori.eng	4.8	0.244
Tatoeba-test.oss-eng.oss.eng	1.6	0.173
Tatoeba-test.pan-eng.pan.eng	14.8	0.348
Tatoeba-test.pus-eng.pus.eng	1.1	0.182
Tatoeba-test.rom-eng.rom.eng	2.8	0.185
Tatoeba-test.san-eng.san.eng	2.8	0.185
Tatoeba-test.sin-eng.sin.eng	22.8	0.474
Tatoeba-test.snd-eng.snd.eng	8.2	0.287
Tatoeba-test.tgk-eng.tgk.eng	11.9	0.321
Tatoeba-test.tly-eng.tly.eng	0.9	0.076
Tatoeba-test.urd-eng.urd.eng	23.9	0.438
Tatoeba-test.zza-eng.zza.eng	0.6	0.098

システム情報

属性	詳情
hf_name	iir-eng
ソース言語	iir
ターゲット言語	eng
opus_readme_url	https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/iir-eng/README.md
元のリポジトリ	Tatoeba-Challenge
タグ	['translation']
言語	['bn', 'or', 'gu', 'mr', 'ur', 'hi', 'ps', 'os', 'as', 'si', 'iir', 'en']
ソース構成要素	{'pnb', 'gom', 'ben', 'hif_Latn', 'ori', 'guj', 'pan_Guru', 'snd_Arab', 'npi', 'mar', 'urd', 'pes', 'bho', 'kur_Arab', 'tgk_Cyrl', 'hin', 'kur_Latn', 'pes_Thaa', 'pus', 'san_Deva', 'oss', 'tly_Latn', 'jdt_Cyrl', 'asm', 'zza', 'rom', 'mai', 'pes_Latn', 'awa', 'sin'}
ターゲット構成要素	{'eng'}
ソース多言語	True
ターゲット多言語	False
前処理	正規化 + SentencePiece (spm32k,spm32k)
モデルのURL	https://object.pouta.csc.fi/Tatoeba-MT-models/iir-eng/opus2m-2020-08-01.zip
テストセットのURL	https://object.pouta.csc.fi/Tatoeba-MT-models/iir-eng/opus2m-2020-08-01.test.txt
ソース言語のISO 639-3コード	iir
ターゲット言語のISO 639-3コード	eng
短い言語ペア	iir-en
chrF2スコア	0.424
BLEU	21.3
簡略化ペナルティ	1.0
参照文の長さ	67026.0
ソース言語名	インド・イラン語族
ターゲット言語名	英語
学習日	2020-08-01
ソース言語のISO 639-2コード	iir
ターゲット言語のISO 639-2コード	en
古いモデルの優先度	False
長い言語ペア	iir-eng
HelsinkiのGit SHA	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
transformersのGit SHA	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植先マシン	brutasse
移植時間	2020-08-21-14:41