News Sum Tr

🚀 mT5 基礎的土耳其語新聞摘要模型

本模型基於 mT5 架構，專為土耳其語新聞文本摘要任務進行了精細調優。它構建於 Google/mT5-base 架構之上，並使用由土耳其經濟和時事新聞文本組成的數據集進行訓練。該模型旨在通過生成新聞文本的摘要，為用戶呈現新聞的關鍵要點。

🚀 快速開始

模型概述

此模型基於 mT5 構建，專門針對土耳其語新聞文本摘要進行了微調。它基於 Google/mT5-base 架構，使用包含土耳其經濟和時事新聞文本的數據集進行訓練。該模型旨在生成新聞文本的摘要，為用戶提供新聞的關鍵要點。

模型用途

本模型的主要用途是將冗長的土耳其語新聞文本轉化為簡潔易懂的摘要。潛在的應用場景包括：

• 新聞摘要平臺

代碼示例

from transformers import MT5Tokenizer, MT5ForConditionalGeneration

# 加載模型和分詞器
model_name = 'nebiberke/news-sum-tr'
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

# 為新聞文本生成摘要
haber_metni = "這裡將填入土耳其語新聞文本。"
input_ids = tokenizer.encode(haber_metni, return_tensors="pt", max_length=512, truncation=True)

# 生成摘要
summary_ids = model.generate(input_ids, max_length=150, min_length=30, length_penalty=2.0, num_beams=7, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("摘要:", summary)

✨ 主要特性

• 精準摘要：能夠準確提煉新聞文本的核心內容，為用戶提供簡潔且關鍵的信息。
• 特定領域適配：針對土耳其語經濟和時事新聞進行訓練，在該領域表現出色。

📦 安裝指南

暫未提供相關安裝步驟，若有需要請參考 transformers 庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import MT5Tokenizer, MT5ForConditionalGeneration

# 加載模型和分詞器
model_name = 'nebiberke/news-sum-tr'
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

# 為新聞文本生成摘要
haber_metni = "這裡將填入土耳其語新聞文本。"
input_ids = tokenizer.encode(haber_metni, return_tensors="pt", max_length=512, truncation=True)

# 生成摘要
summary_ids = model.generate(input_ids, max_length=150, min_length=30, length_penalty=2.0, num_beams=7, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("摘要:", summary)

📚 詳細文檔

數據集

本模型在由 batubayk/TR-News 和 denizzhansahin/100K-TR-News 兩個數據集合並而成的數據集上進行訓練。該數據集包含土耳其語經濟和時事新聞內容，每條新聞文本都配有相應的摘要。訓練數據由新聞文本及其摘要組成。

• 訓練和測試劃分：數據集按 80% 訓練、20% 測試的比例進行劃分。
• 最大輸入長度：512 個詞元
• 最大輸出長度（摘要）：150 個詞元

訓練細節

• 模型架構：MT5-base
• 訓練目標：Seq2Seq 摘要
• 批次大小：4
• 訓練輪數：6
• 權重衰減：0.01
• 學習率：5e-5
• 評估策略：每輪訓練結束後進行評估。
• 日誌記錄：每輪訓練結束後進行日誌記錄。
• 設備：支持 CUDA 的 GPU

訓練和評估損失

訓練過程中獲得的損失值如下：

• 第一輪訓練結束時，訓練損失：0.6440，驗證損失：0.5474
• 最後一輪訓練結束時，訓練損失：0.4879，驗證損失：0.4721

評估結果

模型的性能使用 ROUGE 和 BERTScore 指標進行評估。

ROUGE 分數：

• ROUGE-1：精確率：0.4231，召回率：0.5000，F1 分數：0.4583
• ROUGE-2：精確率：0.2400，召回率：0.2857，F1 分數：0.2609
• ROUGE-L：精確率：0.4231，召回率：0.5000，F1 分數：0.4583

BERTScore：

• 精確率：0.9031
• 召回率：0.9196
• F1 分數：0.9113

侷限性和偏差

• 模型可能會學習到訓練數據中的偏差，並在摘要中體現這些偏差。
• 特別是在處理非常長且複雜的新聞文本時，摘要質量可能會下降。

引用

如果您使用此模型，請按以下方式引用：

@article{2024turkishsummarization,
  title={mT5 Tabanlı Türkçe Haber Özetleme Modeli},
  author={Nebi Berke İçöz},
  year={2024},
  url={https://huggingface.co/nebiberke/news-sum-tr}
}

📄 許可證

暫未提供相關許可證信息。

📋 模型信息表格