Pegasus Summarization

🚀 HuggingFace Transformersを使用した要約タスク

このプロジェクトでは、HuggingFace Transformersを利用して要約タスクを行う方法を紹介します。具体的には、指定されたモデルを用いて入力テキストの要約を生成するコード例を提供します。

🚀 クイックスタート

コードの基本的な流れ

以下のコードは、指定されたモデルを用いて入力テキストの要約を生成する例です。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("AlekseyKulnevich/Pegasus-Summarization")
# 原文でPegasusTokenizerは定義されていないので、AutoTokenizerを使うように修正
tokenizer = AutoTokenizer.from_pretrained('google/pegasus-large')
input_text # your text 
input_ = tokenizer.batch_encode_plus([input_text], max_length=1024, pad_to_max_length=True, 
                truncation=True, padding='longest', return_tensors='pt')
input_ids = input_['input_ids'] 
input_mask = input_['attention_mask']
summary = model.generate(input_ids=input_ids, 
                         attention_mask=input_mask, 
                         num_beams=32, 
                         min_length=100,
                         no_repeat_ngram_size=2, 
                         early_stopping=True, 
                         num_return_sequences=10)
questions = tokenizer.batch_decode(summary, skip_special_tokens=True)

デコーダ設定の例

以下は、デコーダの設定例です。入力テキストはこちらで確認できます。

summary = model.generate(input_ids=input_ids, 
                         attention_mask=input_mask, 
                         num_beams=32, 
                         min_length=100,
                         no_repeat_ngram_size=2, 
                         early_stopping=True, 
                         num_return_sequences=1)

tokenizer.batch_decode(summary, skip_special_tokens=True)

出力例

1. 政府間気候変動委員会（IPCC）と米国国立海洋大気局（NOAA）が発表した新しい研究によると、地球温暖化により、世界の中緯度地域で熱帯低気圧の範囲が拡大するという。この研究は、温暖化する気候により、これまで300万年間になかった広い範囲でこれらのタイプの嵐が形成されるようになることを示している。「気候が温暖化するにつれて、これらの嵐はより頻繁に、より激しくなる可能性がある」と、この研究の著者は述べている。

summary = model.generate(input_ids=input_ids, 
                         attention_mask=input_mask, 
                         top_k=30, 
                         no_repeat_ngram_size=2, 
                         early_stopping=True, 
                         min_length=100,
                         num_return_sequences=1)

tokenizer.batch_decode(summary, skip_special_tokens=True)

出力例

1. 政府間気候変動委員会（IPCC）が発表した人為的な気候変動の影響に関する新しい研究によると、世界の中緯度地域で熱帯低気圧が形成される可能性が高まるという。この研究は、温暖化する気候により、これまで300万年間になかった広い緯度範囲、赤道を含め、副熱帯低気圧が形成される可能性が高まり、熱帯地域で形成される可能性も高まることを示している。

生成メソッドのパラメータ

generateメソッドでは、以下のパラメータを調整することができます。

• top_k
• top_p

パラメータの詳細については、こちらを参照してください。