Pegasus Multi News NewsSummarization BBC

🚀 pegasus-multi_news-NewsSummarization_BBC

這是一個新聞文章文本摘要模型，基於預訓練模型微調而來，能夠幫助用戶快速獲取新聞核心內容，提升信息獲取效率。

🚀 快速開始

本模型是 google/pegasus-multi_news 的微調版本。

📚 詳細文檔

模型描述

這是一個用於新聞文章的文本摘要模型。 有關其創建方式的更多信息，請查看以下鏈接：https://github.com/DunnBC22/NLP_Projects/blob/main/Text%20Summarization/Text_Summarization_BBC_News-Pegasus.ipynb

預期用途和限制

此模型旨在展示我運用技術解決複雜問題的能力。

訓練和評估數據

數據集來源：https://www.kaggle.com/datasets/pariza/bbc-news-summary

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）：2e-05
• 訓練批次大小（train_batch_size）：1
• 評估批次大小（eval_batch_size）：1
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：16
• 總訓練批次大小（total_train_batch_size）：16
• 優化器（optimizer）：Adam，β1=0.9，β2=0.999，ε=1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：50
• 訓練輪數（num_epochs）：2

訓練結果

遺憾的是，我沒有設置自動上傳指標。指標如下：

框架版本

• Transformers 4.21.3
• Pytorch 1.12.1
• Datasets 2.4.0
• Tokenizers 0.12.1