Flan T5 Large Stacked Samsum 1024

🚀 flan-t5-large-stacked-samsum-1024

本模型是基於stacked-summaries/stacked-samsum-1024數據集對google/flan-t5-large進行微調後的版本。它能夠有效提升文本摘要的效果，通過堆疊摘要並將其分離為獨立概念，學習如何從文本中有效濃縮和提煉信息。

✨ 主要特性

• 該模型在評估集上取得了以下結果：
  • 損失值（Loss）：2.1846
  • ROUGE-1：57.9637
  • ROUGE-2：28.7446
  • ROUGE-L：44.3826
  • ROUGE-LSUM：54.0399
  • 生成長度（Gen Len）：122.77
• 模型在堆疊數據集上進行訓練，旨在通過測試“面向任務的預訓練”的優勢來改進摘要生成。它可以學習識別關鍵信息，而不僅僅是模仿數據集摘要的風格。
• 使用[NEXT_CONCEPT]標記來識別摘要中的新概念，可以基於此標記拆分輸出摘要，查看模型如何拆分輸入文本信息，例如：summary_text.split("[NEXT_CONCEPT]") 。

📚 詳細文檔

預期用途與限制

• 最大輸入/輸出為 1024 個標記。
• 這主要是一個測試，因為 samsum 並非通用摘要任務的最佳數據集。

訓練和評估數據

有關訓練和評估數據的信息，請參閱本頁面鏈接的數據集卡片。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）：0.0001
• 訓練批次大小（train_batch_size）：8
• 評估批次大小（eval_batch_size）：4
• 隨機種子（seed）：24915
• 分佈式類型（distributed_type）：多 GPU
• 梯度累積步數（gradient_accumulation_steps）：32
• 總訓練批次大小（total_train_batch_size）：256
• 優化器（optimizer）：Adam，β值為 (0.9, 0.999)，ε值為 1e-08
• 學習率調度器類型（lr_scheduler_type）：餘弦
• 學習率調度器預熱比例（lr_scheduler_warmup_ratio）：0.02
• 訓練輪數（num_epochs）：1.0

訓練結果

框架版本

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.6.1
• Tokenizers 0.13.1

📄 許可證

本項目採用 Apache-2.0 許可證。