Mt5 Base Turkish Summarization

🚀 mt5 - base - turkish - sum

本項目是一個基於google/mt5 - base模型微調的土耳其語摘要生成模型，在mlsum/tu數據集上進行訓練，在評估集上取得了良好的Rouge指標成績。本項目為土耳其語自然語言處理領域提供了一個有效的摘要生成解決方案。

🚀 快速開始

本模型是 [google/mt5 - base](https://huggingface.co/google/mt5 - base) 在mlsum/tu數據集上的微調版本。 它在評估集上取得了以下結果：

• Rouge1: 47.4222
• Rouge2: 34.8624
• Rougel: 42.2487
• Rougelsum: 43.9494

更多關於該模型和數據集的詳細信息，請查看 這篇論文。

📚 詳細文檔

訓練超參數

訓練過程中使用了以下超參數：

• learning_rate: 0.0005
• train_batch_size: 2
• eval_batch_size: 4
• seed: 42
• distributed_type: multi - GPU
• num_devices: 8
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• total_eval_batch_size: 32
• optimizer: Adam（betas=(0.9, 0.999)，epsilon = 1e - 08）
• lr_scheduler_type: linear
• num_epochs: 10.0
• label_smoothing_factor: 0.1

框架版本

• Transformers 4.11.3
• Pytorch 1.8.2+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3

引用

@misc{safaya-etal-2022-mukayese,
    title={Mukayese: Turkish NLP Strikes Back},
    author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
    year={2022},
    eprint={2203.01215},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 許可證

本項目採用 Apache - 2.0 許可證。

📦 模型信息