opus-mt-en-iir開源多語言翻譯模型 - 免費部署，支持英翻印度-伊朗語族語言

首頁

Opus Mt En Iir

由Helsinki-NLP開發

這是一個基於Transformer架構的多語言機器翻譯模型，支持從英語到多種印度-伊朗語族語言的翻譯任務。

機器翻譯

Transformers

支持多種語言開源協議:Apache-2.0 #多語言印度語族翻譯 #低資源語言支持 #SentencePiece分詞

下載量 135

發布時間 : 3/2/2022

模型概述

該模型專門用於英語到印度-伊朗語族語言的翻譯，支持包括印地語、孟加拉語、烏爾都語等在內的多種語言。

模型特點

多語言支持

支持從英語到28種印度-伊朗語族語言的翻譯

標準化預處理

採用標準化和SentencePiece分詞(spm32k)進行文本預處理

目標語言標識

通過在句首添加目標語言標識符實現多語言翻譯

模型能力

英語到多種印度-伊朗語族語言的翻譯

多語言並行翻譯

標準化文本處理

使用案例

跨語言交流

英語到印地語翻譯

將英語內容翻譯為印地語

BLEU 17.0, chr-F 0.461

英語到孟加拉語翻譯

將英語內容翻譯為孟加拉語

BLEU 15.3, chr-F 0.459

內容本地化

英語到烏爾都語內容本地化

將英語內容本地化為烏爾都語

BLEU 12.3, chr-F 0.409

🚀 英文到印歐語系翻譯模型

本項目是一個英文到印歐語系的翻譯模型，支持多種印歐語系語言的翻譯。它採用了Transformer架構，經過特定的預處理，能為英文到印歐語系的翻譯任務提供支持。

✨ 主要特性

支持多種語言：涵蓋了多種印歐語系語言，如阿薩姆語、孟加拉語、古吉拉特語等。
特定預處理：採用歸一化和SentencePiece（spm32k,spm32k）進行預處理。
需語言標識：句子開頭需要以>>id<<（id 為有效的目標語言 ID）的形式添加語言標識。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

eng - iir 模型詳情

源語言組：英語
目標語言組：印歐語系語言
OPUS 說明文檔：[eng - iir](https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/eng - iir/README.md)
模型類型：Transformer
源語言：eng
目標語言：asm awa ben bho gom guj hif_Latn hin jdt_Cyrl kur_Arab kur_Latn mai mar npi ori oss pan_Guru pes pes_Latn pes_Thaa pnb pus rom san_Deva sin snd_Arab tgk_Cyrl tly_Latn urd zza
預處理：歸一化 + SentencePiece（spm32k,spm32k）
語言標識要求：句子開頭需要以>>id<<（id 為有效的目標語言 ID）的形式添加語言標識
原始權重下載：[opus2m - 2020 - 08 - 01.zip](https://object.pouta.csc.fi/Tatoeba - MT - models/eng - iir/opus2m - 2020 - 08 - 01.zip)
測試集翻譯：[opus2m - 2020 - 08 - 01.test.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/eng - iir/opus2m - 2020 - 08 - 01.test.txt)
測試集評分：[opus2m - 2020 - 08 - 01.eval.txt](https://object.pouta.csc.fi/Tatoeba - MT - models/eng - iir/opus2m - 2020 - 08 - 01.eval.txt)

基準測試

測試集	BLEU	chr - F
newsdev2014 - enghin.eng.hin	6.7	0.326
newsdev2019 - engu - engguj.eng.guj	6.0	0.283
newstest2014 - hien - enghin.eng.hin	10.4	0.353
newstest2019 - engu - engguj.eng.guj	6.6	0.282
Tatoeba - test.eng - asm.eng.asm	2.7	0.249
Tatoeba - test.eng - awa.eng.awa	0.4	0.122
Tatoeba - test.eng - ben.eng.ben	15.3	0.459
Tatoeba - test.eng - bho.eng.bho	3.7	0.161
Tatoeba - test.eng - fas.eng.fas	3.4	0.227
Tatoeba - test.eng - guj.eng.guj	18.5	0.365
Tatoeba - test.eng - hif.eng.hif	1.0	0.064
Tatoeba - test.eng - hin.eng.hin	17.0	0.461
Tatoeba - test.eng - jdt.eng.jdt	3.9	0.122
Tatoeba - test.eng - kok.eng.kok	5.5	0.059
Tatoeba - test.eng - kur.eng.kur	4.0	0.125
Tatoeba - test.eng - lah.eng.lah	0.3	0.008
Tatoeba - test.eng - mai.eng.mai	9.3	0.445
Tatoeba - test.eng - mar.eng.mar	20.7	0.473
Tatoeba - test.eng.multi	13.7	0.392
Tatoeba - test.eng - nep.eng.nep	0.6	0.060
Tatoeba - test.eng - ori.eng.ori	2.4	0.193
Tatoeba - test.eng - oss.eng.oss	2.1	0.174
Tatoeba - test.eng - pan.eng.pan	9.7	0.355
Tatoeba - test.eng - pus.eng.pus	1.0	0.126
Tatoeba - test.eng - rom.eng.rom	1.3	0.230
Tatoeba - test.eng - san.eng.san	1.3	0.101
Tatoeba - test.eng - sin.eng.sin	11.7	0.384
Tatoeba - test.eng - snd.eng.snd	2.8	0.180
Tatoeba - test.eng - tgk.eng.tgk	8.1	0.353
Tatoeba - test.eng - tly.eng.tly	0.5	0.015
Tatoeba - test.eng - urd.eng.urd	12.3	0.409
Tatoeba - test.eng - zza.eng.zza	0.5	0.025

系統信息

屬性	詳情
模型名稱	eng - iir
源語言	eng
目標語言	iir
OPUS 說明文檔鏈接	https://github.com/Helsinki - NLP/Tatoeba - Challenge/tree/master/models/eng - iir/README.md
原始倉庫	Tatoeba - Challenge
標籤	['translation']
支持語言	['en', 'bn', 'or', 'gu', 'mr', 'ur', 'hi', 'ps', 'os', 'as', 'si', 'iir']
源語言組成	{'eng'}
目標語言組成	{'pnb', 'gom', 'ben', 'hif_Latn', 'ori', 'guj', 'pan_Guru', 'snd_Arab', 'npi', 'mar', 'urd', 'pes', 'bho', 'kur_Arab', 'tgk_Cyrl', 'hin', 'kur_Latn', 'pes_Thaa', 'pus', 'san_Deva', 'oss', 'tly_Latn', 'jdt_Cyrl', 'asm', 'zza', 'rom', 'mai', 'pes_Latn', 'awa', 'sin'}
源語言多語言支持	否
目標語言多語言支持	是
預處理	歸一化 + SentencePiece（spm32k,spm32k）
模型下載鏈接	https://object.pouta.csc.fi/Tatoeba - MT - models/eng - iir/opus2m - 2020 - 08 - 01.zip
測試集鏈接	https://object.pouta.csc.fi/Tatoeba - MT - models/eng - iir/opus2m - 2020 - 08 - 01.test.txt
源語言 ISO 639 - 3 代碼	eng
目標語言 ISO 639 - 3 代碼	iir
短語言對	en - iir
chrF2 分數	0.392
BLEU 分數	13.7
簡潔懲罰因子	1.0
參考長度	63351.0
源語言名稱	英語
目標語言名稱	印歐語系語言
訓練日期	2020 - 08 - 01
源語言 ISO 639 - 2 代碼	en
目標語言 ISO 639 - 2 代碼	iir
是否優先舊版本	否
長語言對	eng - iir
赫爾辛基代碼庫 SHA	480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
Transformers 代碼庫 SHA	2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
移植機器	brutasse
移植時間	2020 - 08 - 21 - 14:41