Transformer Turkish Summarization

🚀 [Mukayese: Turkish NLP Strikes Back]

このモデルは、トルコ語の自然言語処理に特化した要約モデルです。モデルはスクラッチから初期化され、特定のデータセットで訓練され、高い要約性能を発揮します。

🚀 クイックスタート

このモデルは、トルコ語の文章を要約するために設計されています。モデルは大文字小文字を区別せず、事前学習なしでmlsum/tuデータセットのみを使用して訓練されました。

評価セットでは以下の結果を達成しています：

• Rouge1: 43.2049
• Rouge2: 30.7082
• Rougel: 38.1981
• Rougelsum: 39.9453

モデルとデータセットの詳細については、この論文を参照してください。

✨ 主な機能

• トルコ語文章の要約が可能です。
• スクラッチから訓練された独自のモデルです。

📚 ドキュメント

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです：

• learning_rate: 0.0001
• train_batch_size: 4
• eval_batch_size: 8
• seed: 42
• distributed_type: multi-GPU
• num_devices: 8
• gradient_accumulation_steps: 2
• total_train_batch_size: 64
• total_eval_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15.0
• mixed_precision_training: Native AMP
• label_smoothing_factor: 0.1

フレームワークバージョン

• Transformers 4.11.3
• Pytorch 1.8.2+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3

引用

@misc{safaya-etal-2022-mukayese,
    title={Mukayese: Turkish NLP Strikes Back},
    author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
    year={2022},
    eprint={2203.01215},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📋 情報テーブル