Ct2fast Opus Mt De En

🚀 使用Ctranslate2實現快速推理

本項目藉助C++中的int8推理，將推理速度提升2 - 8倍。它是 Helsinki-NLP/opus-mt-de-en 的量化版本，能有效加速推理過程。

🚀 快速開始

安裝依賴

運行以下命令安裝所需的依賴庫：

pip install hf-hub-ctranslate2>=1.0.0 ctranslate2>=3.13.0

模型轉換

使用以下命令將模型轉換為所需格式：

ct2-transformers-converter --model Helsinki-NLP/opus-mt-de-en --output_dir /home/michael/tmp-ct2fast-opus-mt-de-en --force --copy_files README.md generation_config.json tokenizer_config.json vocab.json source.spm .gitattributes target.spm --quantization float16

模型兼容性

此檢查點與 ctranslate2 和 hf-hub-ctranslate2 兼容：

• 當 device="cuda" 時，使用 compute_type=int8_float16
• 當 device="cpu" 時，使用 compute_type=int8

代碼示例

以下是使用該模型進行推理的示例代碼：

from hf_hub_ctranslate2 import TranslatorCT2fromHfHub, GeneratorCT2fromHfHub
from transformers import AutoTokenizer

model_name = "michaelfeil/ct2fast-opus-mt-de-en"
# 根據模型選擇使用 TranslatorCT2fromHfHub 或 GeneratorCT2fromHfHub
model = TranslatorCT2fromHfHub(
        # 在CUDA上以int8格式加載
        model_name_or_path=model_name, 
        device="cuda",
        compute_type="int8_float16",
        tokenizer=AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-de-en")
)
outputs = model.generate(
    text=["How do you call a fast Flan-ingo?", "User: How are you doing?"],
)
print(outputs)

📄 許可證

本項目只是原模型的量化版本，許可證條件與原始的Hugging Face倉庫保持一致。

📚 詳細文檔

原始模型描述

opus-mt-de-en

• 源語言：德語（de）
• 目標語言：英語（en）
• OPUS說明文檔：de-en
• 數據集：opus
• 模型類型：transformer-align
• 預處理：歸一化 + SentencePiece
• 下載原始權重：opus-2020-02-26.zip
• 測試集翻譯：opus-2020-02-26.test.txt
• 測試集得分：opus-2020-02-26.eval.txt

基準測試