Vlt5 Base Keywords

🚀 T5を用いた短いテキストからのキーワード抽出

このvlT5モデルは、Googleによって提示されたTransformerブロックを使用したエンコーダ・デコーダアーキテクチャに基づくキーワード生成モデルです。(https://huggingface.co/t5-base)。vlT5は、科学論文のコーパスで訓練され、論文の要約とタイトルを結合したものに基づいて、与えられたキーフレーズのセットを予測するようになっています。このモデルは、要約のみに基づいて、論文の内容を説明する正確なキーフレーズを生成しますが、必ずしも完全なものではありません。

🚀 クイックスタート

モデルの概要

• 言語モデル: t5-base
• 言語: pl, en (他の言語でも比較的良好に動作します)
• 訓練データ: POSMAC
• オンラインデモ: より良い結果を得るために、オンラインデモをご利用ください https://nlp-demo-1.voicelab.ai/
• 論文: Keyword Extraction from Short Texts with a Text-To-Text Transfer Transformer, ACIIDS 2022

コーパス

このモデルは、POSMACコーパスで訓練されました。Polish Open Science Metadata Corpus (POSMAC) は、CURLICATプロジェクトで収集された216,214件の科学出版物の要約のコレクションです。

トークナイザー

元のplT5の実装と同様に、訓練データセットは、語彙サイズ50kトークンのSentencePieceユニグラムモデルを使用してサブワードにトークナイズされました。

使い方

from transformers import T5Tokenizer, T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("Voicelab/vlt5-base-keywords")
tokenizer = T5Tokenizer.from_pretrained("Voicelab/vlt5-base-keywords")

task_prefix = "Keywords: "
inputs = [
    "Christina Katrakis, who spoke to the BBC from Vorokhta in western Ukraine, relays the account of one family, who say Russian soldiers shot at their vehicles while they were leaving their village near Chernobyl in northern Ukraine. She says the cars had white flags and signs saying they were carrying children.",
    "Decays the learning rate of each parameter group by gamma every step_size epochs. Notice that such decay can happen simultaneously with other changes to the learning rate from outside this scheduler. When last_epoch=-1, sets initial lr as lr.",
    "Hello, I'd like to order a pizza with salami topping.",
]

for sample in inputs:
    input_sequences = [task_prefix + sample]
    input_ids = tokenizer(
        input_sequences, return_tensors="pt", truncation=True
    ).input_ids
    output = model.generate(input_ids, no_repeat_ngram_size=3, num_beams=4)
    predicted = tokenizer.decode(output[0], skip_special_tokens=True)
    print(sample, "\n --->", predicted)

推論

私たちの結果から、no_repeat_ngram_size=3, num_beams=4 で最良の生成結果が得られることがわかりました。

結果

✨ 主な機能

vlT5の特徴

vlT5モデルの最大の利点は、すべてのドメインやテキストタイプで良好に動作するという汎用性です。ただし、テキストの長さとキーワードの数は、訓練データと同程度であり、要約程度の長さのテキストからは、約3から5個のキーワードが生成されます。このモデルは、抽出型と抽象型の両方のキーワード生成に対応しています。長いテキストは、小さなチャンクに分割してからモデルに入力する必要があります。

📄 ライセンス

CC BY 4.0

引用

このモデルを使用する場合は、以下の論文を引用してください。 Pęzik, P., Mikołajczyk, A., Wawrzyński, A., Żarnecki, F., Nitoń, B., Ogrodniczuk, M. (2023). Transferable Keyword Extraction and Generation with Text-to-Text Language Models. In: Mikyška, J., de Mulatier, C., Paszynski, M., Krzhizhanovskaya, V.V., Dongarra, J.J., Sloot, P.M. (eds) Computational Science – ICCS 2023. ICCS 2023. Lecture Notes in Computer Science, vol 14074. Springer, Cham. https://doi.org/10.1007/978-3-031-36021-3_42

または

Piotr Pęzik, Agnieszka Mikołajczyk-Bareła, Adam Wawrzyński, Bartłomiej Nitoń, Maciej Ogrodniczuk, Keyword Extraction from Short Texts with a Text-To-Text Transfer Transformer, ACIIDS 2022

作者

このモデルは、Voicelab.aiのNLP研究チームによって訓練されました。 お問い合わせはこちらからお願いします。