Opus Mt Tc Bible Big Roa Deu Eng Fra Por Spa

🚀 opus-mt-tc-bible-big-roa-deu_eng_fra_por_spa

ロマンス語族 (roa) から未知の言語 (deu+eng+fra+por+spa) への翻訳を行うニューラル機械翻訳モデルです。このモデルは、多くの言語に対応した機械翻訳サービスを提供するOPUS-MTプロジェクトの一部です。

🚀 クイックスタート

このモデルは、翻訳とテキスト生成に使用できます。以下に、モデルを使用するための簡単なコード例を示します。

基本的な使用法

from transformers import MarianMTModel, MarianTokenizer

src_text = [
    ">>deu<< Replace this with text in an accepted source language.",
    ">>spa<< This is the second sentence."
]

model_name = "pytorch-models/opus-mt-tc-bible-big-roa-deu_eng_fra_por_spa"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))

for t in translated:
    print( tokenizer.decode(t, skip_special_tokens=True) )

高度な使用法

from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-bible-big-roa-deu_eng_fra_por_spa")
print(pipe(">>deu<< Replace this with text in an accepted source language."))

✨ 主な機能

• ロマンス語族 (roa) から未知の言語 (deu+eng+fra+por+spa) への翻訳が可能です。
• 複数のターゲット言語に対応した多言語翻訳モデルです。
• 翻訳とテキスト生成に使用できます。

📦 インストール

このモデルは、transformers ライブラリを使用してPythonで実行できます。以下のコマンドで必要なライブラリをインストールできます。

pip install transformers

📚 ドキュメント

モデルの詳細

このモデルは、OPUS-MTプロジェクト の一部であり、多くの言語に対応した機械翻訳サービスを提供するために開発されました。すべてのモデルは、Marian NMT という効率的なNMT実装を使用してトレーニングされ、huggingfaceの transformers ライブラリを使用してpyTorchに変換されています。トレーニングデータは OPUS から取得され、トレーニングパイプラインは OPUS-MT-train の手順を使用しています。

モデルの使用

このモデルは、翻訳とテキスト生成に使用できます。翻訳を行う際には、文頭に >>id<< (id = 有効なターゲット言語ID) の形式で言語トークンを付ける必要があります。

リスク、制限事項、バイアス

⚠️ 重要提示

このモデルは、様々な公開データセットを使用してトレーニングされており、不快な内容や攻撃的な内容、歴史的および現在のステレオタイプを伝播する可能性のある内容が含まれている場合があります。

多くの研究が、言語モデルのバイアスや公平性の問題について調査しています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。

トレーニング

• データ: opusTCv20230926max50+bt+jhubc (ソース)
• 前処理: SentencePiece (spm32k,spm32k)
• モデルタイプ: transformer-big
• オリジナルのMarianNMTモデル: opusTCv20230926max50+bt+jhubc_transformer-big_2024-05-30.zip
• トレーニングスクリプト: GitHubリポジトリ

評価

• OPUS-MTダッシュボードでのモデルスコア
• テストセットの翻訳結果: opusTCv20230926max50+bt+jhubc_transformer-big_2024-05-29.test.txt
• テストセットのスコア: opusTCv20230926max50+bt+jhubc_transformer-big_2024-05-29.eval.txt
• ベンチマーク結果: benchmark_results.txt
• ベンチマーク出力: benchmark_translations.zip

引用情報

• 出版物: Democratizing neural machine translation with OPUS-MT および OPUS-MT – Building open translation services for the World および The Tatoeba Translation Challenge – Realistic Data Sets for Low Resource and Multilingual MT (このモデルを使用する場合は、引用してください。)

@article{tiedemann2023democratizing,
  title={Democratizing neural machine translation with {OPUS-MT}},
  author={Tiedemann, J{\"o}rg and Aulamo, Mikko and Bakshandaeva, Daria and Boggia, Michele and Gr{\"o}nroos, Stig-Arne and Nieminen, Tommi and Raganato, Alessandro and Scherrer, Yves and Vazquez, Raul and Virpioja, Sami},
  journal={Language Resources and Evaluation},
  number={58},
  pages={713--755},
  year={2023},
  publisher={Springer Nature},
  issn={1574-0218},
  doi={10.1007/s10579-023-09704-w}
}

@inproceedings{tiedemann-thottingal-2020-opus,
    title = "{OPUS}-{MT} {--} Building open translation services for the World",
    author = {Tiedemann, J{\"o}rg  and Thottingal, Santhosh},
    booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
    month = nov,
    year = "2020",
    address = "Lisboa, Portugal",
    publisher = "European Association for Machine Translation",
    url = "https://aclanthology.org/2020.eamt-1.61",
    pages = "479--480",
}

@inproceedings{tiedemann-2020-tatoeba,
    title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
    author = {Tiedemann, J{\"o}rg},
    booktitle = "Proceedings of the Fifth Conference on Machine Translation",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.wmt-1.139",
    pages = "1174--1182",
}

謝辞

この研究は、HPLTプロジェクト によって支援されており、欧州連合のHorizon Europe研究イノベーションプログラムの助成契約番号101070350によって資金提供されています。また、CSC -- IT Center for Science（フィンランド）および EuroHPCスーパーコンピュータLUMI が提供する計算資源とITインフラストラクチャに感謝します。

モデル変換情報

• transformersバージョン: 4.45.1
• OPUS-MTのgitハッシュ: 0882077
• ポート時間: Tue Oct 8 15:15:30 EEST 2024
• ポートマシン: LM0-400-22516.local