本項目聚焦於土耳其語自然語言處理的文本摘要任務,通過特定模型在相關數據集上訓練,取得了不錯的評估結果。同時提供了詳細的訓練參數和框架版本信息,方便後續研究與復現。
🚀 快速開始
本模型專注於文本摘要任務,可用於對土耳其語文本進行自動摘要生成。它名為 mukayese/transformer-turkish-summarization
,是無大小寫區分的模型,從初始狀態開始訓練,僅在 mlsum/tu
數據集上進行訓練,未進行預訓練。
✨ 主要特性
評估結果
該模型在評估集上取得了以下成績:
- Rouge1: 43.2049
- Rouge2: 30.7082
- Rougel: 38.1981
- Rougelsum: 39.9453
模型與數據集詳情
更多關於模型和數據集的詳細信息,請查看 這篇論文。
🔧 技術細節
訓練超參數
訓練過程中使用了以下超參數:
- 學習率(learning_rate): 0.0001
- 訓練批次大小(train_batch_size): 4
- 評估批次大小(eval_batch_size): 8
- 隨機種子(seed): 42
- 分佈式類型(distributed_type): 多GPU
- 設備數量(num_devices): 8
- 梯度累積步數(gradient_accumulation_steps): 2
- 總訓練批次大小(total_train_batch_size): 64
- 總評估批次大小(total_eval_batch_size): 64
- 優化器(optimizer): Adam,β值為(0.9, 0.999),ε值為 1e - 08
- 學習率調度器類型(lr_scheduler_type): 線性
- 訓練輪數(num_epochs): 15.0
- 混合精度訓練(mixed_precision_training): 原生自動混合精度(Native AMP)
- 標籤平滑因子(label_smoothing_factor): 0.1
框架版本
- Transformers 4.11.3
- Pytorch 1.8.2+cu111
- Datasets 1.14.0
- Tokenizers 0.10.3
引用信息
@misc{safaya-etal-2022-mukayese,
title={Mukayese: Turkish NLP Strikes Back},
author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
year={2022},
eprint={2203.01215},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
📄 許可證
本項目採用 MIT 許可證。
屬性 |
詳情 |
數據集 |
mlsum |
評估指標 |
rouge |
模型名稱 |
mukayese/transformer-turkish-summarization |
許可證 |
MIT |
語言 |
土耳其語(tr) |
任務類型 |
文本摘要(summarization) |