Bart Large Citesum Title

🚀 Bart-Large CiteSum (Titles)

このモデルは、CiteSumでfine-tuningされたfacebook/bart-largeです。「src」列が入力で、「title」列が目標とする要約です。

✨ 主な機能

• CiteSumデータセットを用いてfine-tuningされた要約モデルです。
• 科学論文の引用テキストからTLDR要約を生成することができます。

📦 インストール

原READMEにインストール手順は記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import pipeline
summarizer = pipeline("summarization", model="yuningm/bart-large-citesum-title")

article = ''' We describe a convolutional neural network that learns\
 feature representations for short textual posts using hashtags as a\
  supervised signal. The proposed approach is trained on up to 5.5 \
  billion words predicting 100,000 possible hashtags. As well as strong\
   performance on the hashtag prediction task itself, we show that its \
   learned representation of text (ignoring the hashtag labels) is useful\
    for other tasks as well. To that end, we present results on a document\
     recommendation task, where it also outperforms a number of baselines.
'''
summarizer(article)
# [{'summary_text': 'Learning Text Representations from Hashtags using Convolutional Neural Networks'}]

📚 ドキュメント

著者

Yuning Mao, Ming Zhong, Jiawei Han

イリノイ大学アーバナ・シャンペーン校

{yuningm2, mingz5, hanj}@illinois.edu

結果

{
    "epoch": 6.78,
    "eval_gen_len": 17.1775,
    "eval_loss": 1.9626615047454834,
    "eval_rouge1": 51.4834,
    "eval_rouge2": 29.9178,
    "eval_rougeL": 45.4882,
    "eval_rougeLsum": 45.517,
    "eval_runtime": 351.9638,
    "eval_samples": 4681,
    "eval_samples_per_second": 13.3,
    "eval_steps_per_second": 0.21,
    "predict_gen_len": 17.1032,
    "predict_loss": 1.9391602277755737,
    "predict_rouge1": 52.0304,
    "predict_rouge2": 30.1511,
    "predict_rougeL": 45.9902,
    "predict_rougeLsum": 46.0068,
    "predict_runtime": 363.9691,
    "predict_samples": 4882,
    "predict_samples_per_second": 13.413,
    "predict_steps_per_second": 0.212,
    "train_loss": 1.0821667497907366,
    "train_runtime": 24401.3762,
    "train_samples": 82653,
    "train_samples_per_second": 65.57,
    "train_steps_per_second": 8.196
}

データセットの説明

CiteSum: Citation Text-guided Scientific Extreme Summarization and Low-resource Domain Adaptation。
CiteSumには、人間によるアノテーションなしで科学論文の引用テキストからTLDR要約が含まれており、以前の人間が作成したデータセットSciTLDRより約30倍大きいです。

ホームページ

https://github.com/morningmoni/CiteSum

論文

https://arxiv.org/abs/2205.06207

ハブ上のデータセット

https://huggingface.co/datasets/nbroad/citesum

📄 ライセンス

このプロジェクトはCC BY-NC 4.0ライセンスの下で公開されています。