Ct2fast Opus Mt ROMANCE En

🚀 基於Ctranslate2的快速推理模型

本項目藉助C++中的int8推理，將推理速度提升2 - 8倍。使用的是Helsinki-NLP/opus-mt-ROMANCE-en的量化版本，可顯著提高推理效率。

🚀 快速開始

安裝依賴

使用以下命令安裝所需的庫：

pip install hf-hub-ctranslate2>=1.0.0 ctranslate2>=3.13.0

模型轉換

使用以下命令將模型轉換為適合的格式：

ct2-transformers-converter --model Helsinki-NLP/opus-mt-ROMANCE-en --output_dir /home/michael/tmp-ct2fast-opus-mt-ROMANCE-en --force --copy_files README.md generation_config.json tokenizer_config.json vocab.json source.spm .gitattributes target.spm --quantization float16

兼容性說明

該檢查點與 ctranslate2 和 hf-hub-ctranslate2 兼容：

• 當 device="cuda" 時，使用 compute_type=int8_float16
• 當 device="cpu" 時，使用 compute_type=int8

💻 使用示例

基礎用法

from hf_hub_ctranslate2 import TranslatorCT2fromHfHub, GeneratorCT2fromHfHub
from transformers import AutoTokenizer

model_name = "michaelfeil/ct2fast-opus-mt-ROMANCE-en"
# 根據模型選擇使用 TranslatorCT2fromHfHub 或 GeneratorCT2fromHfHub
model = TranslatorCT2fromHfHub(
        # 在CUDA上以int8格式加載
        model_name_or_path=model_name, 
        device="cuda",
        compute_type="int8_float16",
        tokenizer=AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-ROMANCE-en")
)
outputs = model.generate(
    text=["How do you call a fast Flan-ingo?", "User: How are you doing?"],
)
print(outputs)

📄 許可證

本項目只是原模型的量化版本，許可證條件與原始Hugging Face倉庫保持一致。

📚 詳細文檔

原始模型描述

opus-mt-ROMANCE-en

基準測試