Bart Multinews Model

🚀 文本摘要項目

本項目專注於文本摘要任務，使用了特定的數據集和評估指標，並通過一系列超參數設置進行訓練，最終得出了相應的訓練結果。

✨ 主要特性

• 數據集：使用了multi_news數據集。
• 評估指標：採用了bleu和rouge作為評估指標。
• 任務類型：屬於文本摘要任務。

📦 超參數設置

以下是訓練過程中使用的超參數：

learning_rate=2e-5
per_device_train_batch_size=14
per_device_eval_batch_size=14
weight_decay=0.01
save_total_limit=3
num_train_epochs=3
predict_with_generate=True
fp16=True

📊 訓練輸出

訓練完成後的相關輸出信息如下：

global_step=7710
training_loss=2.1297076629757417
metrics={'train_runtime': 6059.0418, 
         'train_samples_per_second': 17.813, 
         'train_steps_per_second': 1.272, 
         'total_flos': 2.3389776681055027e+17, 
         'train_loss': 2.1297076629757417, 
         'epoch': 3.0}

📈 訓練結果

訓練過程中每個epoch的詳細結果如下表所示：