Mt5 Multilingual XLSum Sumarizacao PTBR

🚀 mT5_multilingual_XLSum-sumarizacao-PTBR

このモデルは、csebuetnlp/mT5_multilingual_XLSum を不明なデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.3870
• Rouge1: 42.0195
• Rouge2: 24.9493
• Rougel: 32.3653
• Rougelsum: 37.9982
• 生成長: 77.0

🚀 クイックスタート

モデルの動作を見てみましょう！

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))

model_name = "GiordanoB/mT5_multilingual_XLSum-sumarizacao-PTBR"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

    input_ids = tokenizer(
        [WHITESPACE_HANDLER(sumariosDuplos[i])],
        return_tensors="pt",
        padding="max_length",
        truncation=True,
        max_length=512
    )["input_ids"]

    output_ids = model.generate(
        input_ids=input_ids,
        max_length=200,
        min_length=75,
        no_repeat_ngram_size=2,
        num_beams=5
    )[0]

    summary = tokenizer.decode(
        output_ids,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )

    sumariosFinal.append(summary)
    print(i,"\n",summary,"\n")

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))

model_name = "GiordanoB/mT5_multilingual_XLSum-sumarizacao-PTBR"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

    input_ids = tokenizer(
        [WHITESPACE_HANDLER(sumariosDuplos[i])],
        return_tensors="pt",
        padding="max_length",
        truncation=True,
        max_length=512
    )["input_ids"]

    output_ids = model.generate(
        input_ids=input_ids,
        max_length=200,
        min_length=75,
        no_repeat_ngram_size=2,
        num_beams=5
    )[0]

    summary = tokenizer.decode(
        output_ids,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )

    sumariosFinal.append(summary)
    print(i,"\n",summary,"\n")

📚 ドキュメント

意図された用途と制限

詳細情報が必要です。

学習と評価データ

詳細情報が必要です。

🔧 技術詳細

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• 学習バッチサイズ: 8
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 5

学習結果

フレームワークのバージョン

• Transformers 4.18.0
• Pytorch 1.11.0
• Datasets 2.1.0
• Tokenizers 0.12.1