It5 Summarization Mlsum

🚀 要約モデル（summarization_mlsum）

このモデルは、要約タスク向けに gsarti/it5-base をMLSum-itデータセットでファインチューニングしたものです。

以下のような結果を達成しています：

• 損失: 2.0190
• Rouge1: 19.3739
• Rouge2: 5.9753
• Rougel: 16.691
• Rougelsum: 16.7862
• 生成長: 32.5268

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer = T5Tokenizer.from_pretrained("ARTeLab/it5-summarization-mlsum")
model = T5ForConditionalGeneration.from_pretrained("ARTeLab/it5-summarization-mlsum")

📚 ドキュメント

学習ハイパーパラメータ

学習時に使用されたハイパーパラメータは以下の通りです：

• 学習率: 5e-05
• 学習バッチサイズ: 6
• 評価バッチサイズ: 6
• 乱数シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 4.0

フレームワークのバージョン

• Transformers 4.12.0.dev0
• Pytorch 1.9.1+cu102
• Datasets 1.12.1
• Tokenizers 0.10.3

📄 引用

詳細と結果については、公開された論文を参照してください。

@Article{info13050228,
    AUTHOR = {Landro, Nicola and Gallo, Ignazio and La Grassa, Riccardo and Federici, Edoardo},
    TITLE = {Two New Datasets for Italian-Language Abstractive Text Summarization},
    JOURNAL = {Information},
    VOLUME = {13},
    YEAR = {2022},
    NUMBER = {5},
    ARTICLE-NUMBER = {228},
    URL = {https://www.mdpi.com/2078-2489/13/5/228},
    ISSN = {2078-2489},
    ABSTRACT = {Text summarization aims to produce a short summary containing relevant parts from a given text. Due to the lack of data for abstractive summarization on low-resource languages such as Italian, we propose two new original datasets collected from two Italian news websites with multi-sentence summaries and corresponding articles, and from a dataset obtained by machine translation of a Spanish summarization dataset. These two datasets are currently the only two available in Italian for this task. To evaluate the quality of these two datasets, we used them to train a T5-base model and an mBART model, obtaining good results with both. To better evaluate the results obtained, we also compared the same models trained on automatically translated datasets, and the resulting summaries in the same training language, with the automatically translated summaries, which demonstrated the superiority of the models obtained from the proposed datasets.},
    DOI = {10.3390/info13050228}
}

📦 モデル情報