Opus Mt Zh En

🚀 中国語 - 英語翻訳モデル

このモデルは、中国語から英語への翻訳を行うためのツールです。Helsinki大学のLanguage Technology Research Groupによって開発され、CC-BY-4.0ライセンスの下で公開されています。

🚀 クイックスタート

以下のコードを使って、モデルをすぐに使い始めることができます。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-zh-en")

model = AutoModelForSeq2SeqLM.from_pretrained("Helsinki-NLP/opus-mt-zh-en")

✨ 主な機能

このモデルは、翻訳とテキスト生成に使用できます。

📦 モデル詳細

📚 ドキュメント

リスク、制限事項、バイアス

⚠️ 重要提示

このセクションには、不快な内容や攻撃的な内容、歴史的および現在のステレオタイプを広める可能性のある内容が含まれています。

多くの研究が、言語モデルのバイアスと公平性の問題を探っています（例えば、Sheng et al. (2021) と Bender et al. (2021) を参照）。

このモデルのデータセットに関する詳細は、OPUSのREADMEに記載されています: zho-eng

トレーニング

システム情報

• helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535
• transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b
• port_machine: brutasse
• port_time: 2020-08-21-14:41
• src_multilingual: False
• tgt_multilingual: False

トレーニングデータ

前処理

• 前処理: 正規化 + SentencePiece (spm32k,spm32k)
• ref_len: 82826.0
• データセット: opus
• 元の重みのダウンロード: opus-2020-07-17.zip
• テストセットの翻訳: opus-2020-07-17.test.txt

評価

結果

• テストセットのスコア: opus-2020-07-17.eval.txt
• brevity_penalty: 0.948

ベンチマーク

引用情報

@InProceedings{TiedemannThottingal:EAMT2020,
  author = {J{\"o}rg Tiedemann and Santhosh Thottingal},
  title = {{OPUS-MT} — {B}uilding open translation services for the {W}orld},
  booktitle = {Proceedings of the 22nd Annual Conferenec of the European Association for Machine Translation (EAMT)},
  year = {2020},
  address = {Lisbon, Portugal}
 }

📄 ライセンス

このモデルはCC-BY-4.0ライセンスの下で公開されています。