Opus Mt En Mul Finetuned En Sp Translator

🚀 字幕翻訳モデル

このモデルは、英語とスペイン語のテキスト間の翻訳を行うためのものです。ted_talks_iwslt の英語とスペイン語のTed Talksの文字起こしデータを使用して、Helsinki-NLP/opus-mt-en-mul モデルをファインチューニングしています。

✨ 主な機能

このモデルは、字幕翻訳ツールを構築することを目的として訓練されています。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import pipeline
pipe = pipeline(model="razwand/opus-mt-en-mul-finetuned_en_sp_translator")
pipe("Hi everyone!")

>>[{'translation_text': 'Hola a todos!'}]

📚 ドキュメント

データ

データセットは以下の構造に分割されています。

DatasetDict({
    train: Dataset({
        features: ['Original_Sentence', 'Translate_SP', '__index_level_0__'],
        num_rows: 2454
    })
    validation: Dataset({
        features: ['Original_Sentence', 'Translate_SP', '__index_level_0__'],
        num_rows: 307
    })
    test: Dataset({
        features: ['Original_Sentence', 'Translate_SP', '__index_level_0__'],
        num_rows: 307
    })
})

注意: 評価数値は、テストセットから50サンプルを使用して取得されています。

関連する訓練引数

    evaluation_strategy = "epoch"
    learning_rate=2e-5
    per_device_train_batch_size=4
    per_device_eval_batch_size=4
    weight_decay=0.01
    save_total_limit=3
    num_train_epochs=1
    predict_with_generate=True
    fp16=False

評価結果

以下の結果は、訓練プロセス中（ハイパーパラメータの評価）と、テストセットを使用したモデル自体の評価で得られたrougeメトリクスを示しています。

• 評価メトリクス

{'rouge1': 64.95, 'rouge2': 42.24, 'rougeL': 61.97, 'rougeLsum': 62.93}

• テストセット評価（50文字起こし）

{'rouge1': 65.54,'rouge2': 41.45,'rougeL': 62.72,'rougeLsum': 62.83}

🔧 技術詳細

このモデルは、英語とスペイン語のテキスト間の翻訳を行うために訓練されています。訓練データは、ted_talks_iwslt のTed Talksの文字起こしで、Helsinki-NLP/opus-mt-en-mul モデルをファインチューニングしています。訓練引数や評価メトリクスなどの詳細は、上記のセクションで説明されています。

📄 ライセンス

原READMEにライセンス情報が記載されていないため、このセクションは省略されます。