Flan T5 Large Stacked Samsum 1024

🚀 flan-t5-large-stacked-samsum-1024

このモデルは、自然言語処理の分野において、要約タスクを効果的に行うために開発されました。stacked-summaries/stacked-samsum-1024 データセットで微調整されたモデルで、評価セットで良好な結果を達成しています。

🚀 クイックスタート

このモデルは google/flan-t5-large を stacked-summaries/stacked-samsum-1024 データセットで微調整したバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 2.1846
• Rouge1: 57.9637
• Rouge2: 28.7446
• Rougel: 44.3826
• Rougelsum: 54.0399
• 生成長: 122.77

✨ 主な機能

このモデルは、「タスク指向の事前学習」の利点をテストすることで要約性能を向上させることを目的として、スタックされたデータセットで学習されています。要約をスタックし、独立した概念に分離することで、テキストから情報を効果的に凝縮し抽出する方法を学習します。これにより、モデルはデータセットの要約スタイルを単に模倣するのではなく、本質的な情報を識別することができます。

要約内で新しい概念を識別するために使用されるトークンは [NEXT_CONCEPT] です。このトークンを基に出力要約を分割することで、入力テキスト情報がどのように分割されたかを確認できます。例えば、summary_text.split("[NEXT_CONCEPT]") のように使用します。

📚 ドキュメント

意図された用途と制限

• 最大入力/出力は1024トークンです。
• samsum は汎用的な要約に最適なデータセットではないため、これは主にテスト目的です。

学習と評価データ

詳細については、このページにリンクされているデータセットカードを参照してください。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 0.0001
• 学習バッチサイズ: 8
• 評価バッチサイズ: 4
• シード: 24915
• 分散タイプ: マルチGPU
• 勾配累積ステップ数: 32
• 総学習バッチサイズ: 256
• オプティマイザ: Adam (ベータ=(0.9, 0.999), イプシロン=1e-08)
• 学習率スケジューラタイプ: コサイン
• 学習率スケジューラウォームアップ比率: 0.02
• エポック数: 1.0

学習結果

フレームワークバージョン

• Transformers 4.26.0.dev0
• Pytorch 1.13.0+cu117
• Datasets 2.6.1
• Tokenizers 0.13.1

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。