Kot5 News Summarization

🚀 KoT5_news_summarization

本模型是基於 lcw99/t5-base-korean-text-summary 在 daekeun-ml/naver-news-summarization-ko 數據集上進行微調得到的新聞摘要模型，旨在為項目提供更專業的新聞摘要能力。

🚀 快速開始

# Python Code
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("noahkim/KoT5_news_summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/KoT5_news_summarization")

✨ 主要特性

• 該模型是為項目專門打造的新聞摘要模型，在 lcw99 的 t5-base-korean-text-summary 模型基礎上，使用 daekeun-ml 提供的 naver-news-summarization-ko 數據集進行了進一步的微調。
• 後續計劃使用現有的新聞數據進行額外的訓練，持續改進模型性能。

🔧 技術細節

運行環境

• Google Colab Pro
• CPU：Intel(R) Xeon(R) CPU @ 2.20GHz
• GPU：A100 - SXM4 - 40GB

訓練超參數

以下是訓練過程中使用的超參數：

• 學習率：2e - 05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 訓練輪數：4
• 混合精度訓練：Native AMP

訓練結果

框架版本

• Transformers 4.23.1
• Pytorch 1.12.1+cu113
• Datasets 2.6.1
• Tokenizers 0.13.1