Opus Mt Tc Big Zh Ja

🚀 opus-mt-tc-big-zh-ja

このモデルは中国語（zh）から日本語（ja）への翻訳を行うニューラル機械翻訳モデルです。OPUS-MTプロジェクトの一部として、多くの言語に対応した翻訳モデルを広く提供する取り組みの一環です。

🚀 クイックスタート

このモデルを使用するには、以下のコード例を参考にしてください。

基本的な使用法

from transformers import MarianMTModel, MarianTokenizer

src_text = [
    "生日快乐，Muiriel！",
    "好凍。"
]

model_name = "pytorch-models/opus-mt-tc-big-zh-ja"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))

for t in translated:
    print( tokenizer.decode(t, skip_special_tokens=True) )

# expected output:
#     誕生日おめでとう、Muiriel!
#     寒い。

高度な使用法

from transformers import pipeline
pipe = pipeline("translation", model="Helsinki-NLP/opus-mt-tc-big-zh-ja")
print(pipe("生日快乐，Muiriel！"))

# expected output: 誕生日おめでとう、Muiriel!

✨ 主な機能

このモデルは、翻訳とテキスト生成に使用できます。

📦 インストール

このセクションでは、原READMEに具体的なインストール手順が記載されていなかったため、省略されています。

📚 ドキュメント

モデルの詳細

中国語（zh）から日本語（ja）への翻訳を行うニューラル機械翻訳モデルです。

このモデルはOPUS-MTプロジェクトの一部で、世界中の多くの言語に対応したニューラル機械翻訳モデルを広く提供する取り組みの一環です。すべてのモデルは、最初はMarian NMTという素晴らしいフレームワークを使用してトレーニングされています。これは、純粋なC++で書かれた効率的なNMTの実装です。モデルは、huggingfaceのtransformersライブラリを使用してpyTorchに変換されています。トレーニングデータはOPUSから取得され、トレーニングパイプラインはOPUS-MT-trainの手順を使用しています。

モデルの説明:

• 開発者: ヘルシンキ大学の言語技術研究グループ
• モデルの種類: 翻訳 (transformer-big)
• リリース日: 2022-07-28
• ライセンス: CC-BY-4.0
• 言語:
  • ソース言語: zho
  • ターゲット言語: jpn
  • 言語ペア: zho-jpn
  • 有効なターゲット言語ラベル:
• 元のモデル: opusTCv20210807-sepvoc_transformer-big_2022-07-28.zip
• 詳細情報のリソース:
  • OPUS-MT-train GitHubリポジトリ
  • この言語ペアの公開モデルに関する詳細情報: OPUS-MT zho-jpn README
  • transformersライブラリのMarianNMTモデルに関する詳細情報
  • [Tatoeba Translation Challenge](https://github.com/Helsinki-NLP/Tatoeba-Challenge/

トレーニング

• データ: opusTCv20210807 (ソース)
• 前処理: SentencePiece (spm32k,spm32k)
• モデルの種類: transformer-big
• 元のMarianNMTモデル: opusTCv20210807-sepvoc_transformer-big_2022-07-28.zip
• トレーニングスクリプト: GitHubリポジトリ

評価

• テストセットの翻訳: opusTCv20210807-sepvoc_transformer-big_2022-07-28.test.txt
• テストセットのスコア: opusTCv20210807-sepvoc_transformer-big_2022-07-28.eval.txt
• ベンチマーク結果: benchmark_results.txt
• ベンチマーク出力: benchmark_translations.zip

引用情報

• 出版物: OPUS-MT – Building open translation services for the World と The Tatoeba Translation Challenge – Realistic Data Sets for Low Resource and Multilingual MT (このモデルを使用する場合は、引用してください。)

@inproceedings{tiedemann-thottingal-2020-opus,
    title = "{OPUS}-{MT} {--} Building open translation services for the World",
    author = {Tiedemann, J{\"o}rg  and Thottingal, Santhosh},
    booktitle = "Proceedings of the 22nd Annual Conference of the European Association for Machine Translation",
    month = nov,
    year = "2020",
    address = "Lisboa, Portugal",
    publisher = "European Association for Machine Translation",
    url = "https://aclanthology.org/2020.eamt-1.61",
    pages = "479--480",
}

@inproceedings{tiedemann-2020-tatoeba,
    title = "The Tatoeba Translation Challenge {--} Realistic Data Sets for Low Resource and Multilingual {MT}",
    author = {Tiedemann, J{\"o}rg},
    booktitle = "Proceedings of the Fifth Conference on Machine Translation",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.wmt-1.139",
    pages = "1174--1182",
}

謝辞

この研究は、European Language Gridのpilot project 2866、FoTranプロジェクト（欧州研究評議会（ERC）の欧州連合のHorizon 2020研究・革新プログラム（助成契約番号771113）による資金提供を受けています）、およびMeMADプロジェクト（欧州連合のHorizon 2020研究・革新プログラムの助成契約番号780069による資金提供を受けています）によって支援されています。また、フィンランドのCSC -- IT Center for Scienceが提供する寛大な計算資源とITインフラストラクチャに感謝しています。

モデル変換情報

• transformersバージョン: 4.16.2
• OPUS-MTのgitハッシュ: 8b9f0b0
• 変換時間: Sat Aug 13 00:02:56 EEST 2022
• 変換マシン: LM0-400-22516.local

🔧 技術詳細

このセクションでは、原READMEに具体的な技術詳細が記載されていなかったため、省略されています。

📄 ライセンス

このモデルはCC-BY-4.0ライセンスの下で提供されています。

⚠️ 重要提示

このモデルは、様々な公開データセットを使用してトレーニングされており、不快な内容や攻撃的な内容、歴史的および現在のステレオタイプを広める可能性のある内容が含まれている場合があります。

💡 使用建议

言語モデルのバイアスと公正性の問題に関する重要な研究が行われています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。