Bart Large Gigaword

🚀 Gigaword用BART

本プロジェクトは、facebook/bart-large-cnnモデルをベースに、Gigawordデータセットに対して微調整を行い、テキスト要約生成機能を実現することを目的としています。このモデルはGigawordテストセットで良好なROUGE指標の成績を収め、テキスト要約タスクに対して有効な解決策を提供しています。

🚀 クイックスタート

このモデルは、facebook/bart-large-cnn（HuggingFaceでも利用可能）の重みをGigawordデータセットに対して微調整することで得られました。モデルはGigaword訓練セットで3エポックの微調整を行い、訓練セットのバッチで最も高いROUGE - 1スコアを達成したモデルを保存しました。

微調整の過程では、CNN - Dailymailに適したBARTトークナイザーを使用しており、以下のコードを実行すると自動的にこのトークナイザーがロードされます。

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("a1noack/bart-large-gigaword")

💻 使用例

基本的な使用法

# このコードはGigawordに適したBARTトークナイザーをロードするためのものです
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("a1noack/bart-large-gigaword")

高度な使用法

# このコードはGigawordデータセットで要約生成を行うためのものです
# text_listは入力テキスト文字列のリストです
input_ids_list = tokenizer(text_list, truncation=True, max_length=128, 
        return_tensors='pt', padding=True)['input_ids']
output_ids_list = model.generate(input_ids_list, min_length=0)
outputs_list = tokenizer.batch_decode(output_ids_list, skip_special_tokens=True, 
        clean_up_tokenization_spaces=False)

📚 ドキュメント

要約生成

このモデルはGigawordテストセットで、ROUGE - 1 / ROUGE - 2 / ROUGE - Lが37.28 / 18.58 / 34.53の成績を達成しました。PEGASUSモデルgoogle/pegasus - gigaword（成績は39.12 / 19.86 / 36.24）と比較しても、相当良好な結果を示しています。

これらの結果を得るには、上記のコードを使用してテキストを生成します。ここで、text_listは入力テキスト文字列のリストです。

📄 ライセンス

このプロジェクトはMITライセンスを採用しています。