Opus Mt Tc Big De Es

🚀 opus-mt-tc-big-de-es

このモデルは、ドイツ語（de）からスペイン語（es）への翻訳を行うニューラル機械翻訳モデルです。OPUS-MTプロジェクトの一部として、世界中の多くの言語に対して利用可能なニューラル機械翻訳モデルを提供することを目指しています。

🚀 クイックスタート

コード例

from transformers import MarianMTModel, MarianTokenizer

src_text = [
    "Ich verstehe nicht, worüber ihr redet.",
    "Die Vögel singen in den Bäumen."
]

model_name = "pytorch-models/opus-mt-tc-big-de-es"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))

for t in translated:
    print( tokenizer.decode(t, skip_special_tokens=True) )

# expected output:
#     No entiendo de qué están hablando.
#     Los pájaros cantan en los árboles.

また、transformersのパイプラインを使用することもできます。

from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-de-es")
print(pipe("Ich verstehe nicht, worüber ihr redet."))

# expected output: No entiendo de qué están hablando.

✨ 主な機能

このモデルは、ドイツ語からスペイン語への翻訳とテキスト生成に使用できます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import MarianMTModel, MarianTokenizer

src_text = [
    "Ich verstehe nicht, worüber ihr redet.",
    "Die Vögel singen in den Bäumen."
]

model_name = "pytorch-models/opus-mt-tc-big-de-es"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))

for t in translated:
    print( tokenizer.decode(t, skip_special_tokens=True) )

# expected output:
#     No entiendo de qué están hablando.
#     Los pájaros cantan en los árboles.

高度な使用法

from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-de-es")
print(pipe("Ich verstehe nicht, worüber ihr redet."))

# expected output: No entiendo de qué están hablando.

📚 ドキュメント

モデルの詳細

このモデルは、ドイツ語（de）からスペイン語（es）への翻訳を行うニューラル機械翻訳モデルです。 このモデルは、OPUS-MTプロジェクトの一部です。このプロジェクトは、世界中の多くの言語に対してニューラル機械翻訳モデルを広く利用可能にする取り組みです。すべてのモデルは、最初にMarian NMTという素晴らしいフレームワークを使用してトレーニングされています。これは、純粋なC++で書かれた効率的なNMT実装です。モデルは、huggingfaceのtransformersライブラリを使用してpyTorchに変換されています。トレーニングデータはOPUSから取得され、トレーニングパイプラインはOPUS-MT-trainの手順を使用しています。

モデルの説明:

• 開発者: ヘルシンキ大学の言語技術研究グループ
• モデルの種類: 翻訳 (transformer-big)
• リリース: 2022-07-26
• ライセンス: CC-BY-4.0
• 言語:
  • ソース言語: deu
  • ターゲット言語: spa
  • 言語ペア: deu-spa
  • 有効なターゲット言語ラベル:
• 元のモデル: opusTCv20210807_transformer-big_2022-07-26.zip
• 詳細情報のリソース:
  • OPUS-MT-train GitHubリポジトリ
  • この言語ペアのリリースされたモデルに関する詳細情報: OPUS-MT deu-spa README
  • transformersライブラリのMarianNMTモデルに関する詳細情報
  • [Tatoeba Translation Challenge](https://github.com/Helsinki-NLP/Tatoeba-Challenge/

使用用途

このモデルは、翻訳とテキスト生成に使用できます。

リスク、制限事項、バイアス

⚠️ 重要提示

このモデルは、様々な公開データセットを使用してトレーニングされており、それらのデータセットには不快な内容、攻撃的な内容、歴史的および現在のステレオタイプを広める内容が含まれている可能性があります。

多くの研究が、言語モデルのバイアスと公平性の問題を探っています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。

トレーニング

• データ: opusTCv20210807 (ソース)
• 前処理: SentencePiece (spm32k,spm32k)
• モデルの種類: transformer-big
• 元のMarianNMTモデル: opusTCv20210807_transformer-big_2022-07-26.zip
• トレーニングスクリプト: GitHubリポジトリ

評価

• テストセットの翻訳: opusTCv20210807_transformer-big_2022-07-26.test.txt
• テストセットのスコア: opusTCv20210807_transformer-big_2022-07-26.eval.txt
• ベンチマーク結果: benchmark_results.txt
• ベンチマーク出力: benchmark_translations.zip

引用情報

• 出版物: OPUS-MT – Building open translation services for the World および The Tatoeba Translation Challenge – Realistic Data Sets for Low Resource and Multilingual MT （このモデルを使用した場合は、引用してください）。

@inproceedings{tiedemann-thottingal-2020-opus,
    title = "{OPUS}-{MT} {--} Building open translation services for the World",
    author = {Tiedemann, J{\"o}rg  and Thottingal, Santhosh},
    booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
    month = nov,
    year = "2020",
    address = "Lisboa, Portugal",
    publisher = "European Association for Machine Translation",
    url = "https://aclanthology.org/2020.eamt-1.61",
    pages = "479--480",
}

@inproceedings{tiedemann-2020-tatoeba,
    title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
    author = {Tiedemann, J{\"o}rg},
    booktitle = "Proceedings of the Fifth Conference on Machine Translation",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.wmt-1.139",
    pages = "1174--1182",
}

謝辞

この研究は、European Language Grid の パイロットプロジェクト2866、FoTranプロジェクト（欧州研究評議会（ERC）による欧州連合のHorizon 2020研究およびイノベーションプログラム（助成契約番号771113）によって資金提供されています）、および MeMADプロジェクト（欧州連合のHorizon 2020研究およびイノベーションプログラムによる助成契約番号780069によって資金提供されています）によって支援されています。また、フィンランドの CSC -- IT Center for Science が提供する寛大な計算リソースとITインフラストラクチャに感謝します。

モデル変換情報

• transformersバージョン: 4.16.2
• OPUS-MTのgitハッシュ: 8b9f0b0
• ポート時間: Sat Aug 13 00:06:19 EEST 2022
• ポートマシン: LM0-400-22516.local

📄 ライセンス

CC-BY-4.0