Opus Mt En Mul Finetuned En Sp Translator

🚀 字幕翻译模型

这是一个用于西班牙语和英语文本之间进行翻译的模型。它使用来自 ted_talks_iwslt 的西班牙语和英语TED演讲转录数据进行训练，并对 Helsinki-NLP/opus-mt-en-mul 模型进行了微调。

🚀 快速开始

本模型可通过以下代码轻松使用：

from transformers import pipeline
pipe = pipeline(model="razwand/opus-mt-en-mul-finetuned_en_sp_translator")
pipe("Hi everyone!")

>>[{'translation_text': 'Hola a todos!'}]

✨ 主要特性

• 支持西班牙语和英语之间的文本翻译。
• 基于TED演讲转录数据进行训练，适用于字幕翻译场景。

📚 详细文档

预期用途

该模型旨在构建一个字幕翻译工具。

数据

数据集的划分结构如下：

DatasetDict({
    train: Dataset({
        features: ['Original_Sentence', 'Translate_SP', '__index_level_0__'],
        num_rows: 2454
    })
    validation: Dataset({
        features: ['Original_Sentence', 'Translate_SP', '__index_level_0__'],
        num_rows: 307
    })
    test: Dataset({
        features: ['Original_Sentence', 'Translate_SP', '__index_level_0__'],
        num_rows: 307
    })
})

注意：评估数据是从测试集中选取50个样本得到的。

相关训练参数

    evaluation_strategy = "epoch"
    learning_rate=2e-5
    per_device_train_batch_size=4
    per_device_eval_batch_size=4
    weight_decay=0.01
    save_total_limit=3
    num_train_epochs=1
    predict_with_generate=True
    fp16=False

评估结果

以下结果展示了训练过程中（超参数评估）以及模型在测试集上的ROUGE指标评估结果。

• 评估指标

{'rouge1': 64.95, 'rouge2': 42.24, 'rougeL': 61.97, 'rougeLsum': 62.93}

• 测试集评估（50个转录样本）

{'rouge1': 65.54,'rouge2': 41.45,'rougeL': 62.72,'rougeLsum': 62.83}

🔧 技术细节

该模型基于 Helsinki-NLP/opus-mt-en-mul 模型进行微调，使用来自 ted_talks_iwslt 的西班牙语和英语TED演讲转录数据进行训练。在训练过程中，设置了一系列的训练参数，如评估策略、学习率、批量大小等，并使用ROUGE指标进行评估。

📄 许可证

文档未提及相关许可证信息。