Bart Large Paper2slides Summarizer

🚀 Bart-Large要約モデル

このモデルは、科学的な文章を精度よく要約することを目的としています。科学論文からの自動スライド生成データセットを用いて教師なし学習技術でファインチューニングされています。同じ貢献者によるBart-large-paper2slides-expanderと並行して訓練されています。

🚀 クイックスタート

このモデルを使うには、Hugging FaceのTransformersライブラリを利用できます。以下はPythonでの使用例です。

from transformers import BartTokenizer, BartForConditionalGeneration, pipeline

# モデルとトークナイザーをロード
model_name = "com3dian/Bart-large-paper2slides-summarizer"
tokenizer = BartTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 入力テキストから要約を生成
input_text = "Your input text here..."
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids)

# 生成された要約をデコード
summary = tokenizer.decode(output[0], skip_special_tokens=True)
print(summary)

# またはパイプラインAPIを使用
summarizer = pipeline("summarization", model=model_name)
summary = summarizer(input_text, max_length=50, min_length=30, do_sample=False)
print(summary)

コードを実行する前に、transformersライブラリがインストールされていることを確認してください。pipを使ってインストールできます。

pip install transformers

✨ 主な機能

• 科学的な文章を精度よく要約することができます。
• 教師なし学習技術を用いてファインチューニングされています。

📦 インストール

コードを実行する前に、transformersライブラリがインストールされていることを確認してください。pipを使ってインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import BartTokenizer, BartForConditionalGeneration, pipeline

# モデルとトークナイザーをロード
model_name = "com3dian/Bart-large-paper2slides-summarizer"
tokenizer = BartTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 入力テキストから要約を生成
input_text = "Your input text here..."
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids)

# 生成された要約をデコード
summary = tokenizer.decode(output[0], skip_special_tokens=True)
print(summary)

# またはパイプラインAPIを使用
summarizer = pipeline("summarization", model=model_name)
summary = summarizer(input_text, max_length=50, min_length=30, do_sample=False)
print(summary)

📚 ドキュメント

モデルの詳細

Bart (Bidirectional and Auto-Regressive Transformers) はFacebook AI Researchによって開発されたシーケンス-to-シーケンス (seq2seq) モデルです。文章の要約、文章の生成、機械翻訳など、様々な自然言語処理 (NLP) タスクで優れた性能を発揮しています。

この特定のモデルであるBart-Largeは、Bartモデルのより大きなバージョンです。12層のエンコーダとデコーダで構成され、合計4億個のパラメータを持っています。

モデルのファインチューニング詳細

このモデルのファインチューニングプロセスでは、教師なし学習技術を用いてスライド生成データセットで訓練を行いました。教師なし学習とは、明示的な人間によるラベル付けされたターゲットなしでモデルを訓練することを指します。代わりに、モデルは拡張モデルが提供する入力を元の文章に逆要約するように学習します。

このモデルのファインチューニングに使用された具体的なハイパーパラメータと訓練の詳細は以下の通りです。

• バッチサイズ: 4
• 学習率: 2e-6
• 訓練ステップ: 3*7
• オプティマイザ: AdamW

モデルの性能

Bart-Largeスライド生成モデルは、AI、数学、統計学、歴史、地理、気候科学など、幅広い科学分野で徹底的な人間による評価を受け、Bart-large-cnnモデルとの性能を比較しています。

謝辞

Bartモデルの著者とスライド生成データセットの作成者に感謝します。彼らの貴重な貢献により、このファインチューニングされたモデルの開発が可能になりました。

このモデルを使用するか、あなたの作業に役立つと感じた場合は、元のBartモデル、スライド生成データセット、およびこの論文を引用して、それぞれの著者に適切なクレジットを与えてください。

📄 ライセンス

このモデルと関連するコードは、MITライセンスの下で公開されています。