T5 Portuguese Small Summarization

🚀 t5-portuguese-small-summarization

該模型旨在滿足葡萄牙語在特定任務上的模型需求，在摘要任務中表現出色。不過，由於模型為小版本，偶爾可能會出現因單詞重音導致的錯誤。

🚀 快速開始

該模型是一個用於文本摘要的模型，基於google-t5/t5-small進行微調。以下是使用該模型進行摘要生成的基本步驟：

安裝依賴

!pip install transformers

加載模型和分詞器

from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

定義輸入文本

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""

生成摘要

output =  summarization(prompt)

輸出結果

# Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
# Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

✨ 主要特性

• 語言支持：支持葡萄牙語的文本摘要任務。
• 微調基礎：基於google-t5/t5-small模型進行微調。
• 評估指標：使用Rouge指標進行評估。

📦 安裝指南

要使用該模型，你需要安裝transformers庫：

!pip install transformers

💻 使用示例

基礎用法

from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt = "sumarize: 這裡可以替換為你要摘要的葡萄牙語文本"
output = summarization(prompt)
print(output)

高級用法

在實際應用中，你可以根據需要調整生成摘要的最大長度等參數：

from transformers import pipeline

# 加載模型和分詞器
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

# 定義輸入文本
prompt = "sumarize: 這裡可以替換為你要摘要的葡萄牙語文本"

# 調整生成摘要的最大長度
output = summarization(prompt, max_new_tokens=256)
print(output)

📚 詳細文檔

模型信息

推理參數

推理時的參數設置如下：

• max_new_tokens: 128

訓練超參數

以下是訓練過程中使用的超參數：

• learning_rate: 2e-05
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 24
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 25
• mixed_precision_training: Native AMP

訓練結果

框架版本

• Transformers: 4.38.2
• Pytorch: 2.2.1+cu121
• Datasets: 2.18.0
• Tokenizers: 0.15.2

🔧 技術細節

該模型基於google-t5/t5-small進行微調，使用recogna-nlp/recognasumm數據集進行訓練。訓練過程中採用了混合精度訓練（Native AMP）以提高訓練效率。同時，使用了Adam優化器和線性學習率調度器進行參數更新。

📄 許可證

該模型使用Apache-2.0許可證。

評論與反饋

歡迎提供任何想法、幫助或報告問題。你可以通過以下方式聯繫作者：

• 郵箱：rhaymisoncristian@gmail.com