Flan T5 Large Finetuned Openai Summarize From Feedback

🚀 flan-t5-large-finetuned-openai-summarize_from_feedback

該模型是在summarize_from_feedback數據集上對google/flan-t5-large進行微調後的版本。它在文本摘要任務中表現出色，能夠有效提升摘要的質量和效率。

🚀 快速開始

本模型可用於文本摘要任務，以下是該模型在評估集上取得的結果：

• 損失值（Loss）：2.3118
• Rouge1：30.2401
• Rouge2：11.4916
• Rougel：24.6485
• Rougelsum：26.1801
• 生成長度（Gen Len）：18.8428

📄 許可證

本模型採用Apache-2.0許可證。

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：5e-05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：6

訓練結果

訓練結果可在 Tensorboard 中查看。

引用信息

@misc {manuel_romero_2023,
	author       = { {Manuel Romero} },
	title        = { flan-t5-large-finetuned-openai-summarize_from_feedback (Revision 51666f9) },
	year         = 2023,
	url          = { https://huggingface.co/mrm8488/flan-t5-large-finetuned-openai-summarize_from_feedback },
	doi          = { 10.57967/hf/0266 },
	publisher    = { Hugging Face }
}

框架版本

• Transformers 4.25.1
• Pytorch 1.13.0+cu116
• Datasets 2.8.0
• Tokenizers 0.13.2

📋 模型信息表格