Bart Finetuned Samsum

🚀 bart-finetuned-samsum

このモデルは、facebook/bart-large-xsumを特殊に適応させ、SamSumデータセットを使用して対話要約のパフォーマンスを向上させるように微調整されています。

🚀 クイックスタート

このモデルは、facebook/bart-large-xsumをベースに、SamSumデータセットを用いて対話要約タスクに特化して微調整されています。

✨ 主な機能

• 対話要約タスクに特化した微調整済みモデル。
• 複数のROUGEメトリクスで高いスコアを達成。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

model = pipeline("summarization", model="luisotorres/bart-finetuned-samsum")

conversation = '''Sarah: Do you think it's a good idea to invest in Bitcoin?
    Emily: I'm skeptical. The market is very volatile, and you could lose money.
    Sarah: True. But there's also a high upside, right?                                     
'''
model(conversation)

🔧 技術詳細

訓練パラメータ

evaluation_strategy = "epoch",
save_strategy = 'epoch',
load_best_model_at_end = True,
metric_for_best_model = 'eval_loss',
seed = 42,
learning_rate=2e-5,
per_device_train_batch_size=4,
per_device_eval_batch_size=4,
gradient_accumulation_steps=2,
weight_decay=0.01,
save_total_limit=2,
num_train_epochs=4,
predict_with_generate=True,
fp16=True,
report_to="none"

評価指標

📚 ドキュメント

開発に関するノートブック

Kaggle Notebook: Text Summarization with Large Language Models

参考文献

このモデルは、元の BART アーキテクチャに基づいています。詳細は以下の論文を参照してください。

Lewis et al. (2019). BART: Denoising Sequence - to - Sequence Pre - training for Natural Language Generation, Translation, and Comprehension. arXiv:1910.13461