Bart Summarizer Model

🚀 KipperDev/bart_summarizer_model

このモデルは、テキスト要約タスクに特化して微調整されたものです。BARTの双方向エンコーダと自己回帰型デコーダを活用し、長いテキスト文書から簡潔で一貫性のある情報的な要約を生成します。

🚀 クイックスタート

このモデルは、長文のテキストを簡潔で情報的な抽象文に要約するために使用されます。詳細なレポート、研究論文、または記事の全体を読まずに内容の要点を迅速に把握する必要がある専門家や研究者に特に役立ちます。

インストール

pipを使ってインストールします。

pip install transformers

使用例

from transformers import pipeline
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

model_name = "KipperDev/bart_summarizer_model"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
summarizer = pipeline("summarization", model=model, tokenizer=tokenizer)

# 例の使用法
prefix = "summarize: "
input_text = "Your input text here."
input_ids = tokenizer.encode(prefix + input_text, return_tensors="pt")
summary_ids = model.generate(input_ids)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print(summary)

⚠️ 重要提示

モデルを意図通りに動作させるには、入力データの前に 'summarize:' 接頭辞を付ける必要があります。

✨ 主な機能

• 長文のテキストを簡潔で情報的な要約に変換します。
• BARTの双方向エンコーダと自己回帰型デコーダを活用して、質の高い要約を生成します。

📦 インストール

pipを使ってtransformersライブラリをインストールします。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

model_name = "KipperDev/bart_summarizer_model"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
summarizer = pipeline("summarization", model=model, tokenizer=tokenizer)

# 例の使用法
prefix = "summarize: "
input_text = "Your input text here."
input_ids = tokenizer.encode(prefix + input_text, return_tensors="pt")
summary_ids = model.generate(input_ids)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print(summary)

📚 ドキュメント

学習データ

このモデルは、Big Patent Datasetを使用して学習されました。このデータセットは130万件の米国特許文書とそれに対応する人が書いた要約で構成されています。豊富な言語と複雑な構造を持ち、文書要約タスクの難しさを代表しているため選ばれました。

学習には、データセットの複数のサブセットを使用し、様々な文書タイプに対する広範なカバレッジと堅牢なモデル性能を確保しました。

学習手順

学習は3ラウンドにわたって行われました。最初の設定では、学習率0.00002、バッチサイズ8、エポック数4で行われました。その後のラウンドでは、それぞれ0.0003、8、12にパラメータを調整してモデル性能をさらに洗練させました。また、モデルの学習効率を時間の経過とともに向上させるために、線形減衰学習率スケジュールが適用されました。

学習結果

モデルの性能はROUGEメトリックを使用して評価され、人が書いた抽象文に近い要約を生成する能力が示されました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📖 引用

@article{kipper_t5_summarizer,
 // SOON
}

👥 作者

このモデルカードはFernanda Kipperによって書かれました。