Arat5 Base Finetune Ar Xlsum

🚀 AraT5-base-finetune-ar-xlsum

このモデルは、UBC-NLP/AraT5-base を xlsum データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 4.4714
• Rouge-1: 29.55
• Rouge-2: 12.63
• Rouge-l: 25.8
• 生成長: 18.76
• Bertscore: 73.3

🚀 クイックスタート

このモデルは、xlsum データセットを用いて UBC-NLP/AraT5-base をファインチューニングしたものです。評価セットにおける各種指標の結果を上記に示しています。

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0005
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 16
• 総トレーニングバッチサイズ: 128
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 250
• エポック数: 10
• ラベルスムージング係数: 0.1

トレーニング結果

フレームワークバージョン

• Transformers 4.19.4
• Pytorch 1.11.0+cu113
• Datasets 2.2.2
• Tokenizers 0.12.1