Bart Finetuned Keyphrase Extraction

🚀 BARTキーフレーズ生成用にファインチューニング

このモデルは、キーフレーズ生成タスク用にファインチューニングされた bart-base (Lewis et al., 2019) です。ファインチューニングには以下のコーパスの断片が使用されています。

• Krapivin (Krapivin et al., 2009)
• Inspec (Hulth, 2003)
• KPTimes (Gallina, 2019)
• DUC-2001 (Wan, 2008)
• PubMed (Schutz, 2008)
• NamedKeys (Gero & Ho, 2019)

🚀 クイックスタート

以下のコードで、このモデルを使ってキーフレーズ生成を行うことができます。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("aglazkova/bart_finetuned_keyphrase_extraction")
model = AutoModelForSeq2SeqLM.from_pretrained("aglazkova/bart_finetuned_keyphrase_extraction")

text = "In this paper, we investigate cross-domain limitations of keyphrase generation using the models for abstractive text summarization.\
        We present an evaluation of BART fine-tuned for keyphrase generation across three types of texts, \
        namely scientific texts from computer science and biomedical domains and news texts. \
        We explore the role of transfer learning between different domains to improve the model performance on small text corpora."

tokenized_text = tokenizer.prepare_seq2seq_batch([text], return_tensors='pt')
translation = model.generate(**tokenized_text)
translated_text = tokenizer.batch_decode(translation, skip_special_tokens=True)[0]
print(translated_text)

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

上記のクイックスタートのコードが基本的な使用例です。

🔧 技術詳細

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

BibTeX引用

@InProceedings{10.1007/978-3-031-67826-4_19,
author="Glazkova, Anna
and Morozov, Dmitry",
title="Cross-Domain Robustness of Transformer-Based Keyphrase Generation",
booktitle="Data Analytics and Management in Data Intensive Domains",
year="2024",
publisher="Springer Nature Switzerland",
address="Cham",
pages="249--265"
}