T5 Portuguese Small Summarization

🚀 t5-portuguese-small-summarization

该模型旨在满足葡萄牙语在特定任务上的模型需求，在摘要任务中表现出色。不过，由于模型为小版本，偶尔可能会出现因单词重音导致的错误。

🚀 快速开始

该模型是一个用于文本摘要的模型，基于google-t5/t5-small进行微调。以下是使用该模型进行摘要生成的基本步骤：

安装依赖

!pip install transformers

加载模型和分词器

from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

定义输入文本

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""

生成摘要

output =  summarization(prompt)

输出结果

# Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
# Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

✨ 主要特性

• 语言支持：支持葡萄牙语的文本摘要任务。
• 微调基础：基于google-t5/t5-small模型进行微调。
• 评估指标：使用Rouge指标进行评估。

📦 安装指南

要使用该模型，你需要安装transformers库：

!pip install transformers

💻 使用示例

基础用法

from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt = "sumarize: 这里可以替换为你要摘要的葡萄牙语文本"
output = summarization(prompt)
print(output)

高级用法

在实际应用中，你可以根据需要调整生成摘要的最大长度等参数：

from transformers import pipeline

# 加载模型和分词器
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

# 定义输入文本
prompt = "sumarize: 这里可以替换为你要摘要的葡萄牙语文本"

# 调整生成摘要的最大长度
output = summarization(prompt, max_new_tokens=256)
print(output)

📚 详细文档

模型信息

推理参数

推理时的参数设置如下：

• max_new_tokens: 128

训练超参数

以下是训练过程中使用的超参数：

• learning_rate: 2e-05
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 24
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 25
• mixed_precision_training: Native AMP

训练结果

框架版本

• Transformers: 4.38.2
• Pytorch: 2.2.1+cu121
• Datasets: 2.18.0
• Tokenizers: 0.15.2

🔧 技术细节

该模型基于google-t5/t5-small进行微调，使用recogna-nlp/recognasumm数据集进行训练。训练过程中采用了混合精度训练（Native AMP）以提高训练效率。同时，使用了Adam优化器和线性学习率调度器进行参数更新。

📄 许可证

该模型使用Apache-2.0许可证。

评论与反馈

欢迎提供任何想法、帮助或报告问题。你可以通过以下方式联系作者：

• 邮箱：rhaymisoncristian@gmail.com