opus-mt-en-pqwオープンソース多言語翻訳モデル - 英語から複数のウェストマレーシアン・ポリネシア語への無料翻訳を実現

Opus Mt En Pqw

Helsinki-NLPによって開発

これはTransformerアーキテクチャに基づく多言語翻訳モデルで、英語から西マレー・ポリネシア語族の複数言語への翻訳タスクをサポートします。

ダウンロード数 40

リリース時間 : 3/2/2022

モデル概要

このモデルは英語から西マレー・ポリネシア語族言語への翻訳タスクに特化しており、インドネシア語、マレー語、ジャワ語などを含む複数言語をサポートします。

多言語サポート

英語から西マレー・ポリネシア語族の18言語への翻訳タスクをサポートします。

ターゲット言語識別

文頭にターゲット言語識別子（例：>>ilo<<はイロカノ語を表す）を追加することで多言語翻訳を実現します。

前処理標準化

標準化とSentencePieceトークン化（spm32k）を用いたテキスト前処理を採用しています。

英語から複数の西マレー・ポリネシア語族言語への翻訳

多言語ターゲット翻訳

標準化テキスト処理

言語翻訳

英語からインドネシア語翻訳

英語テキストをインドネシア語に翻訳

BLEUスコア31.1，chr-Fスコア0.561

英語からイロカノ語翻訳

英語テキストをイロカノ語に翻訳

BLEUスコア34.0，chr-Fスコア0.590

異言語間コミュニケーション

英語からマレー語翻訳

英語話者とマレー語話者のコミュニケーションを支援

このプロジェクトは、英語（English）を西マレー・ポリネシア諸言語（Western Malayo - Polynesian languages）に翻訳するためのものです。
OPUSのREADMEはeng-pqwから参照できます。

属性	詳情
モデルタイプ	transformer
ソース言語	eng
ターゲット言語	akl_Latn, ceb, cha, dtp, hil, iba, ilo, ind, jav, jav_Java, mad, max_Latn, min, mlg, pag, pau, sun, tmw_Latn, war, zlm_Latn, zsm_Latn
前処理	正規化 + SentencePiece (spm32k,spm32k)
文頭の言語トークン	`>>id<<` の形式で必要（id = 有効なターゲット言語ID）

属性	詳情
hf_name	eng - pqw
ソース言語	eng
ターゲット言語	pqw
opus_readme_url	https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-pqw/README.md
オリジナルリポジトリ	Tatoeba - Challenge
タグ	['translation']
言語	['en', 'pqw']
ソース構成要素	{'eng'}
ターゲット構成要素	set()
ソース多言語	False
ターゲット多言語	True
前処理	正規化 + SentencePiece (spm32k,spm32k)
モデルURL	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-pqw/opus2m-2020-08-01.zip
テストセットURL	https://object.pouta.csc.fi/Tatoeba-MT-models/eng-pqw/opus2m-2020-08-01.test.txt
ソース言語ISO 639 - 3コード	eng
ターゲット言語ISO 639 - 3コード	pqw
短い言語ペア	en - pqw
chrF2スコア	0.42200000000000004
BLEU	17.5
簡潔ペナルティ	1.0
参照長	66758.0
ソース言語名	English
ターゲット言語名	Western Malayo - Polynesian languages
学習日	2020 - 08 - 01
ソース言語ISO 639 - 2コード	en
ターゲット言語ISO 639 - 2コード	pqw
古いバージョンを優先	False
長い言語ペア	eng - pqw
helsinki_git_sha	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
transformers_git_sha	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植マシン	brutasse
移植時間	2020 - 08 - 21 - 14:41