Ct2fast Opus Mt De En

🚀 Ctranslate2を用いた高速推論

Ctranslate2のint8推論を使用することで、推論速度を2倍から8倍に向上させます。

Helsinki-NLP/opus-mt-de-en の量子化バージョンです。

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールする必要があります。以下のコマンドを使用してインストールします。

pip install hf-hub-ctranslate2>=1.0.0 ctranslate2>=3.13.0

モデルの変換には、以下のコマンドを使用します。

ct2-transformers-converter --model Helsinki-NLP/opus-mt-de-en --output_dir /home/michael/tmp-ct2fast-opus-mt-de-en --force --copy_files README.md generation_config.json tokenizer_config.json vocab.json source.spm .gitattributes target.spm --quantization float16

このチェックポイントは、ctranslate2 と hf-hub-ctranslate2 と互換性があります。

• device="cuda" の場合は、compute_type=int8_float16 を使用します。
• device="cpu" の場合は、compute_type=int8 を使用します。

💻 使用例

基本的な使用法

from hf_hub_ctranslate2 import TranslatorCT2fromHfHub, GeneratorCT2fromHfHub
from transformers import AutoTokenizer

model_name = "michaelfeil/ct2fast-opus-mt-de-en"
# モデルに応じて、TranslatorCT2fromHfHub または GeneratorCT2fromHfHub を使用します。
model = TranslatorCT2fromHfHub(
        # CUDA上でint8でロード
        model_name_or_path=model_name, 
        device="cuda",
        compute_type="int8_float16",
        tokenizer=AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-de-en")
)
outputs = model.generate(
    text=["How do you call a fast Flan-ingo?", "User: How are you doing?"],
)
print(outputs)

📄 ライセンス

これは単なる量子化バージョンです。ライセンス条件は、元のHugging Faceリポジトリと同じであることを意図しています。

📚 ドキュメント

オリジナルの説明

opus-mt-de-en

• ソース言語: de
• ターゲット言語: en
• OPUSのREADME: de-en
• データセット: opus
• モデル: transformer-align
• 前処理: 正規化 + SentencePiece
• 元の重みのダウンロード: opus-2020-02-26.zip
• テストセットの翻訳: opus-2020-02-26.test.txt
• テストセットのスコア: opus-2020-02-26.eval.txt

ベンチマーク