Transformer Turkish Summarization

🚀 Mukayese：土耳其語自然語言處理的反擊

本項目聚焦於土耳其語自然語言處理的文本摘要任務，通過特定模型在相關數據集上訓練，取得了不錯的評估結果。同時提供了詳細的訓練參數和框架版本信息，方便後續研究與復現。

🚀 快速開始

本模型專注於文本摘要任務，可用於對土耳其語文本進行自動摘要生成。它名為 mukayese/transformer-turkish-summarization，是無大小寫區分的模型，從初始狀態開始訓練，僅在 mlsum/tu 數據集上進行訓練，未進行預訓練。

✨ 主要特性

評估結果

該模型在評估集上取得了以下成績：

• Rouge1: 43.2049
• Rouge2: 30.7082
• Rougel: 38.1981
• Rougelsum: 39.9453

模型與數據集詳情

更多關於模型和數據集的詳細信息，請查看 這篇論文。

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）: 0.0001
• 訓練批次大小（train_batch_size）: 4
• 評估批次大小（eval_batch_size）: 8
• 隨機種子（seed）: 42
• 分佈式類型（distributed_type）: 多GPU
• 設備數量（num_devices）: 8
• 梯度累積步數（gradient_accumulation_steps）: 2
• 總訓練批次大小（total_train_batch_size）: 64
• 總評估批次大小（total_eval_batch_size）: 64
• 優化器（optimizer）: Adam，β值為(0.9, 0.999)，ε值為 1e - 08
• 學習率調度器類型（lr_scheduler_type）: 線性
• 訓練輪數（num_epochs）: 15.0
• 混合精度訓練（mixed_precision_training）: 原生自動混合精度（Native AMP）
• 標籤平滑因子（label_smoothing_factor）: 0.1

框架版本

• Transformers 4.11.3
• Pytorch 1.8.2+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3

引用信息

@misc{safaya-etal-2022-mukayese,
    title={Mukayese: Turkish NLP Strikes Back},
    author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
    year={2022},
    eprint={2203.01215},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 許可證

本項目採用 MIT 許可證。