Mt5 Multilingual XLSum Sumarizacao PTBR

🚀 mT5_multilingual_XLSum-sumarizacao-PTBR

該模型是在未知數據集上對 csebuetnlp/mT5_multilingual_XLSum 進行微調後的版本。它在自然語言處理任務中，尤其是文本摘要生成方面具有一定優勢，能夠幫助用戶高效地從長文本中提取關鍵信息。

🚀 快速開始

以下是使用該模型進行文本摘要生成的示例代碼：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))

model_name = "GiordanoB/mT5_multilingual_XLSum-sumarizacao-PTBR"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

    input_ids = tokenizer(
        [WHITESPACE_HANDLER(sumariosDuplos[i])],
        return_tensors="pt",
        padding="max_length",
        truncation=True,
        max_length=512
    )["input_ids"]

    output_ids = model.generate(
        input_ids=input_ids,
        max_length=200,
        min_length=75,
        no_repeat_ngram_size=2,
        num_beams=5
    )[0]

    summary = tokenizer.decode(
        output_ids,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )

    sumariosFinal.append(summary)
    print(i,"\n",summary,"\n")

💻 使用示例

基礎用法

上述代碼展示瞭如何使用該模型進行文本摘要生成的基礎用法。通過加載預訓練的模型和分詞器，對輸入文本進行編碼，然後使用模型生成摘要，最後將生成的摘要解碼輸出。

高級用法

在實際應用中，你可以根據具體需求調整 generate 方法的參數，如 max_length、min_length、no_repeat_ngram_size 和 num_beams 等，以獲得不同長度和質量的摘要。

📚 詳細文檔

評估集結果

該模型在評估集上取得了以下結果：

• 損失值（Loss）: 1.3870
• Rouge1: 42.0195
• Rouge2: 24.9493
• Rougel: 32.3653
• Rougelsum: 37.9982
• 生成長度（Gen Len）: 77.0

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）: 2e-05
• 訓練批次大小（train_batch_size）: 8
• 評估批次大小（eval_batch_size）: 8
• 隨機種子（seed）: 42
• 優化器（optimizer）: Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 學習率調度器類型（lr_scheduler_type）: 線性
• 訓練輪數（num_epochs）: 5

訓練結果

框架版本

• Transformers 4.18.0
• Pytorch 1.11.0
• Datasets 2.1.0
• Tokenizers 0.12.1