🚀 opus-mt-tc-bible-big-roa-deu_eng_fra_por_spa
ロマンス語族 (roa) から未知の言語 (deu+eng+fra+por+spa) への翻訳を行うニューラル機械翻訳モデルです。このモデルは、多くの言語に対応した機械翻訳サービスを提供するOPUS-MTプロジェクトの一部です。
🚀 クイックスタート
このモデルは、翻訳とテキスト生成に使用できます。以下に、モデルを使用するための簡単なコード例を示します。
基本的な使用法
from transformers import MarianMTModel, MarianTokenizer
src_text = [
">>deu<< Replace this with text in an accepted source language.",
">>spa<< This is the second sentence."
]
model_name = "pytorch-models/opus-mt-tc-bible-big-roa-deu_eng_fra_por_spa"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
for t in translated:
print( tokenizer.decode(t, skip_special_tokens=True) )
高度な使用法
from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-bible-big-roa-deu_eng_fra_por_spa")
print(pipe(">>deu<< Replace this with text in an accepted source language."))
✨ 主な機能
- ロマンス語族 (roa) から未知の言語 (deu+eng+fra+por+spa) への翻訳が可能です。
- 複数のターゲット言語に対応した多言語翻訳モデルです。
- 翻訳とテキスト生成に使用できます。
📦 インストール
このモデルは、transformers
ライブラリを使用してPythonで実行できます。以下のコマンドで必要なライブラリをインストールできます。
pip install transformers
📚 ドキュメント
モデルの詳細
このモデルは、OPUS-MTプロジェクト の一部であり、多くの言語に対応した機械翻訳サービスを提供するために開発されました。すべてのモデルは、Marian NMT という効率的なNMT実装を使用してトレーニングされ、huggingfaceの transformers
ライブラリを使用してpyTorchに変換されています。トレーニングデータは OPUS から取得され、トレーニングパイプラインは OPUS-MT-train の手順を使用しています。
モデルの使用
このモデルは、翻訳とテキスト生成に使用できます。翻訳を行う際には、文頭に >>id<<
(id = 有効なターゲット言語ID) の形式で言語トークンを付ける必要があります。
リスク、制限事項、バイアス
⚠️ 重要提示
このモデルは、様々な公開データセットを使用してトレーニングされており、不快な内容や攻撃的な内容、歴史的および現在のステレオタイプを伝播する可能性のある内容が含まれている場合があります。
多くの研究が、言語モデルのバイアスや公平性の問題について調査しています(例えば、Sheng et al. (2021) および Bender et al. (2021) を参照)。
トレーニング
評価
言語ペア |
テストセット |
chr-F |
BLEU |
文数 |
単語数 |
multi-multi |
tatoeba-test-v2020-07-28-v2023-09-26 |
0.73367 |
55.6 |
10000 |
83852 |
引用情報
@article{tiedemann2023democratizing,
title={Democratizing neural machine translation with {OPUS-MT}},
author={Tiedemann, J{\"o}rg and Aulamo, Mikko and Bakshandaeva, Daria and Boggia, Michele and Gr{\"o}nroos, Stig-Arne and Nieminen, Tommi and Raganato, Alessandro and Scherrer, Yves and Vazquez, Raul and Virpioja, Sami},
journal={Language Resources and Evaluation},
number={58},
pages={713--755},
year={2023},
publisher={Springer Nature},
issn={1574-0218},
doi={10.1007/s10579-023-09704-w}
}
@inproceedings{tiedemann-thottingal-2020-opus,
title = "{OPUS}-{MT} {--} Building open translation services for the World",
author = {Tiedemann, J{\"o}rg and Thottingal, Santhosh},
booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
month = nov,
year = "2020",
address = "Lisboa, Portugal",
publisher = "European Association for Machine Translation",
url = "https://aclanthology.org/2020.eamt-1.61",
pages = "479--480",
}
@inproceedings{tiedemann-2020-tatoeba,
title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
author = {Tiedemann, J{\"o}rg},
booktitle = "Proceedings of the Fifth Conference on Machine Translation",
month = nov,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2020.wmt-1.139",
pages = "1174--1182",
}
謝辞
この研究は、HPLTプロジェクト によって支援されており、欧州連合のHorizon Europe研究イノベーションプログラムの助成契約番号101070350によって資金提供されています。また、CSC -- IT Center for Science(フィンランド)および EuroHPCスーパーコンピュータLUMI が提供する計算資源とITインフラストラクチャに感謝します。
モデル変換情報
- transformersバージョン: 4.45.1
- OPUS-MTのgitハッシュ: 0882077
- ポート時間: Tue Oct 8 15:15:30 EEST 2024
- ポートマシン: LM0-400-22516.local