Bart Multinews Model

🚀 要約モデルのトレーニング情報

このドキュメントは、要約タスクに特化したモデルのトレーニングに関する情報を提供します。使用されたデータセットやメトリクス、ハイパーパラメータ、トレーニング結果などが含まれています。

📦 データセットとメトリクス

🔧 ハイパーパラメータ

learning_rate=2e-5
per_device_train_batch_size=14
per_device_eval_batch_size=14
weight_decay=0.01
save_total_limit=3
num_train_epochs=3
predict_with_generate=True
fp16=True

📊 トレーニング出力

global_step=7710
training_loss=2.1297076629757417
metrics={'train_runtime': 6059.0418, 
'train_samples_per_second': 17.813, 
'train_steps_per_second': 1.272, 
'total_flos': 2.3389776681055027e+17, 
'train_loss': 2.1297076629757417, 
'epoch': 3.0}

📈 トレーニング結果