T5 Portuguese Small Summarization

🚀 t5-portuguese-small-summarization

This model aims to meet the needs of Portuguese-language models for specific tasks, especially excelling in summarization tasks. However, due to its small version, occasional errors related to word accentuation might occur.

🚀 Quick Start

Installation

!pip install transformers

Usage Example

from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""
output =  summarization(prompt)

#Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
#Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

✨ Features

• Fine-tuned Model: This model is a fine-tuned version of google-t5/t5-small, specifically optimized for Portuguese summarization tasks.
• Good Performance: It demonstrates good performance in summary tasks, with evaluation metrics such as Rouge1, Rouge2, Rougel, and Rougelsum.

📦 Installation

!pip install transformers

💻 Usage Examples

Basic Usage

from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""
output =  summarization(prompt)

📚 Documentation

Model Information

Training Hyperparameters

• learning_rate: 2e-05
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 24
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 25
• mixed_precision_training: Native AMP

Training Results

Framework Versions

• Transformers 4.38.2
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2

📄 License

This model is licensed under the Apache-2.0 license.

🔧 Technical Details

The model is a fine-tuned version of the google-t5/t5-small model, trained on the recogna-nlp/recognasumm dataset. It uses the Rouge metric for evaluation and is designed for Portuguese summarization tasks. The training process involves a series of hyperparameters and techniques such as mixed-precision training.

💡 Usage Tip

• Due to the small version of the model, occasional errors related to word accentuation might occur. Please be aware of this when using the model.
• Any ideas, help, or reports are always welcome. You can contact the author via email: rhaymisoncristian@gmail.com.