Pegasus Large Summary Explain

🚀 pszemraj/pegasus-large-summary-explain

このモデルは、google/pegasus-large を booksum データセットで合計4エポックファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• eval_loss: 1.1193
• eval_runtime: 6.6754
• eval_samples_per_second: 27.714
• eval_steps_per_second: 1.798
• epoch: 3.0
• step: 900

1エポックのチェックポイントは pszemraj/pegasus-large-book-summary で見つけることができ、ここから2回目のトレーニングセッションが始まりました。

✨ 主な機能

モデルの説明

• いくつかの初期テストの後、booksum データセットでトレーニングされたモデルは、要約のSparkNotesスタイルの説明を継承するようです。そのため、ユーザーはテキストのより短く理解しやすいバージョンを得ることができ、単に情報を圧縮するだけではなくなります。
• この特性は、学習や理解に有利です。情報を単に圧縮する要約データセット（咳 arXiv）は内容が濃密で、要約を理解するのにかかる時間が元の材料を読むのと同じくらいになることがあります。

使用目的と制限事項

• 標準のPegasusの最大入力長は1024トークンです。したがって、このモデルはトレーニング時に章の最初の1024トークンのみを見て、そこから章の要約を作成するように学習しました。このモデルを使用する際は、1024トークンより長いテキストシーケンスの末尾の情報が最終的な要約から除外される可能性があること、またはモデルが最初に提示された情報に偏ることを考慮してください。

📦 インストール

READMEにインストールに関する具体的な内容が記載されていないため、このセクションをスキップします。

📚 ドキュメント

トレーニングと評価データ

READMEにこの項目に関する詳細情報が記載されていないため、このセクションをスキップします。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 4e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• distributed_type: multi-GPU
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.03
• num_epochs: 4

フレームワークのバージョン

• Transformers 4.16.2
• Pytorch 1.10.2+cu113
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。