Mt5 Base Turkish Summarization

🚀 Mukayese: Turkish NLP Strikes Back

このモデルは自然言語処理の分野において、トルコ語の要約タスクを対象として設計されています。google/mt5-base をベースに、mlsum/tu データセットでファインチューニングされたモデルで、高い性能を発揮します。

🚀 クイックスタート

このモデルは、google/mt5-base を mlsum/tu データセットでファインチューニングしたものです。評価セットでは以下の結果を達成しています。

• Rouge1: 47.4222
• Rouge2: 34.8624
• Rougel: 42.2487
• Rougelsum: 43.9494

モデルとデータセットの詳細については、この 論文を参照してください。

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0005
• train_batch_size: 2
• eval_batch_size: 4
• seed: 42
• distributed_type: multi-GPU
• num_devices: 8
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• total_eval_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10.0
• label_smoothing_factor: 0.1

フレームワークのバージョン

• Transformers 4.11.3
• Pytorch 1.8.2+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3

引用

@misc{safaya-etal-2022-mukayese,
    title={Mukayese: Turkish NLP Strikes Back},
    author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
    year={2022},
    eprint={2203.01215},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

情報テーブル

| 属性 | 詳情 |
|------|------|
| モデルタイプ | ファインチューニングされた言語モデル |
| 訓練データ | mlsum/tu データセット |
| ベースモデル | google/mt5-base |