Quickmt Zh En

🚀 quickmt-zh-en ニューラル機械翻訳モデル

quickmt-zh-en は、zh から en への翻訳に適した、適度な速度と精度を兼ね備えたニューラル機械翻訳モデルです。

✨ 主な機能

• このモデルは、中国語から英語への翻訳に特化しており、適度な速度と精度を提供します。
• トレーニングには、eole を使用しています。
• 200M パラメータのトランスフォーマー 'big' モデルで、エンコーダーが 8 層、デコーダーが 2 層で構成されています。
• ソースとターゲットにそれぞれ独立した Sentencepiece トークナイザーを使用しています。
• 高速推論用に CTranslate2 形式にエクスポートされています。
• トレーニングデータは、https://huggingface.co/datasets/quickmt/quickmt-train.zh-en/tree/main から入手できます。

📦 インストール

まず、quickmt をインストールし、モデルをダウンロードします。

git clone https://github.com/quickmt/quickmt.git
pip install ./quickmt/

quickmt-model-download quickmt/quickmt-zh-en ./quickmt-zh-en

💻 使用例

基本的な使用法

from quickmt import Translator

# 自動でGPUを検出します。CPU推論を強制する場合は "cpu" を設定します
t = Translator("./quickmt-zh-en/", device="auto")

# 翻訳 - より高品質（ただし低速）な翻訳を得るには、ビームサイズを 5 に設定します
t(["他补充道：“我们现在有 4 个月大没有糖尿病的老鼠，但它们曾经得过该病。”"], beam_size=1)

# サンプリングによって代替の翻訳を取得します
# cTranslate2 の `translate_batch` 引数を渡すことができます
t(["他补充道：“我们现在有 4 个月大没有糖尿病的老鼠，但它们曾经得过该病。”"], sampling_temperature=1.2, beam_size=1, sampling_topk=50, sampling_topp=0.9)

このモデルは ctranslate2 形式であり、トークナイザーは sentencepiece です。したがって、quickmt を介さずに ctranslate2 を直接使用することもできます。また、ctranslate2 と sentencepiece を使用する LibreTranslate などの他のツールでもこのモデルを使用できます。

📚 ドキュメント

メトリクス

sacrebleu を使用して、Flores200 devtest テストセット（"zho_Hans"->"eng_Latn"）で BLEU と CHRF2 を計算しています。COMET22 は、comet ライブラリと デフォルトモデル を使用して計算しています。"Time (s)" は、RTX 4070s GPU でバッチサイズ 32 で flores-devtest データセット（1012 文）を翻訳するのにかかる時間（秒）です。

quickmt-zh-en は、最も高速で、かつ最も高品質なモデルです。

📄 ライセンス

このモデルは、CC BY 4.0 ライセンスの下で提供されています。