🚀 mT5 基础的土耳其语新闻摘要模型
本模型基于 mT5 架构,专为土耳其语新闻文本摘要任务进行了精细调优。它构建于 Google/mT5-base 架构之上,并使用由土耳其经济和时事新闻文本组成的数据集进行训练。该模型旨在通过生成新闻文本的摘要,为用户呈现新闻的关键要点。
🚀 快速开始
模型概述
此模型基于 mT5 构建,专门针对土耳其语新闻文本摘要进行了微调。它基于 Google/mT5-base 架构,使用包含土耳其经济和时事新闻文本的数据集进行训练。该模型旨在生成新闻文本的摘要,为用户提供新闻的关键要点。
模型用途
本模型的主要用途是将冗长的土耳其语新闻文本转化为简洁易懂的摘要。潜在的应用场景包括:
代码示例
from transformers import MT5Tokenizer, MT5ForConditionalGeneration
model_name = 'nebiberke/news-sum-tr'
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)
haber_metni = "这里将填入土耳其语新闻文本。"
input_ids = tokenizer.encode(haber_metni, return_tensors="pt", max_length=512, truncation=True)
summary_ids = model.generate(input_ids, max_length=150, min_length=30, length_penalty=2.0, num_beams=7, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("摘要:", summary)
✨ 主要特性
- 精准摘要:能够准确提炼新闻文本的核心内容,为用户提供简洁且关键的信息。
- 特定领域适配:针对土耳其语经济和时事新闻进行训练,在该领域表现出色。
📦 安装指南
暂未提供相关安装步骤,若有需要请参考 transformers
库的官方文档进行安装。
💻 使用示例
基础用法
from transformers import MT5Tokenizer, MT5ForConditionalGeneration
model_name = 'nebiberke/news-sum-tr'
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)
haber_metni = "这里将填入土耳其语新闻文本。"
input_ids = tokenizer.encode(haber_metni, return_tensors="pt", max_length=512, truncation=True)
summary_ids = model.generate(input_ids, max_length=150, min_length=30, length_penalty=2.0, num_beams=7, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("摘要:", summary)
📚 详细文档
数据集
本模型在由 batubayk/TR-News 和 denizzhansahin/100K-TR-News 两个数据集合并而成的数据集上进行训练。该数据集包含土耳其语经济和时事新闻内容,每条新闻文本都配有相应的摘要。训练数据由新闻文本及其摘要组成。
- 训练和测试划分:数据集按 80% 训练、20% 测试的比例进行划分。
- 最大输入长度:512 个词元
- 最大输出长度(摘要):150 个词元
训练细节
- 模型架构:MT5-base
- 训练目标:Seq2Seq 摘要
- 批次大小:4
- 训练轮数:6
- 权重衰减:0.01
- 学习率:5e-5
- 评估策略:每轮训练结束后进行评估。
- 日志记录:每轮训练结束后进行日志记录。
- 设备:支持 CUDA 的 GPU
训练和评估损失
训练过程中获得的损失值如下:
- 第一轮训练结束时,训练损失:0.6440,验证损失:0.5474
- 最后一轮训练结束时,训练损失:0.4879,验证损失:0.4721
评估结果
模型的性能使用 ROUGE 和 BERTScore 指标进行评估。
ROUGE 分数:
- ROUGE-1:精确率:0.4231,召回率:0.5000,F1 分数:0.4583
- ROUGE-2:精确率:0.2400,召回率:0.2857,F1 分数:0.2609
- ROUGE-L:精确率:0.4231,召回率:0.5000,F1 分数:0.4583
BERTScore:
- 精确率:0.9031
- 召回率:0.9196
- F1 分数:0.9113
局限性和偏差
- 模型可能会学习到训练数据中的偏差,并在摘要中体现这些偏差。
- 特别是在处理非常长且复杂的新闻文本时,摘要质量可能会下降。
引用
如果您使用此模型,请按以下方式引用:
@article{2024turkishsummarization,
title={mT5 Tabanlı Türkçe Haber Özetleme Modeli},
author={Nebi Berke İçöz},
year={2024},
url={https://huggingface.co/nebiberke/news-sum-tr}
}
📄 许可证
暂未提供相关许可证信息。
📋 模型信息表格
属性 |
详情 |
模型类型 |
基于 mT5 的土耳其语新闻摘要模型 |
训练数据 |
batubayk/TR-News 和 denizzhansahin/100K-TR-News 合并的数据集 |
基础模型 |
google/mt5-base |
任务类型 |
摘要生成 |
库名称 |
transformers |
标签 |
摘要生成、transformers |
评估指标 |
bertscore、rouge |