Barthez Orange Ft

🚀 barthez-orange-ft

這個模型是 moussaKam/barthez-orangesum-abstract 在無特定數據集上的微調版本。它在評估集上取得了以下成果，可用於文本摘要等相關任務。

🚀 快速開始

此模型是 moussaKam/barthez-orangesum-abstract 在無特定數據集上的微調版本。在評估集上達成了如下結果：

• 損失值（Loss）：0.1689
• Rouge1：0.6719
• Rouge2：0.6536
• Rougel：0.6719
• Rougelsum：0.6722
• 生成長度（Gen Len）：20.0

📚 詳細文檔

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）：2e - 05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：8
• 總訓練批次大小（total_train_batch_size）：128
• 優化器（optimizer）：Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：20

訓練結果

框架版本

• Transformers 4.31.0
• Pytorch 2.1.2
• Datasets 2.18.0
• Tokenizers 0.13.3

📄 許可證

該模型使用的許可證是 Apache - 2.0。