Flan T5 Xl Summary Map Reduce 1024

🚀 flan-t5-xl-summary-map-reduce-1024

這是一個較大的文本到文本（text2text）模型，經過訓練以完成映射-歸約（map-reduce）摘要中的“歸約”步驟（即合併步驟）。

🚀 快速開始

本模型是在pszemraj/summary-map-reduce-v1數據集上對google/flan-t5-xl進行微調得到的，上下文長度為1024（輸入和輸出）。

💡 使用建議

有關解釋和使用示例，請參考此維基頁面或較小的BART模型卡片。

✨ 主要特性

與其他模型相比，該模型具有以下特點：

• 生成的最終歸約摘要更加流暢。
• 對輸入摘要中的噪聲更“輕信”/敏感，即輸入摘要中出現的一次性虛構術語、名稱或實體很可能會在歸約摘要中被提及或出現。
• 對輸入中的空白不敏感（從定義上來說，因為T5分詞器會對空白進行歸一化處理）。

因此，建議在您的數據上比較此模型和BART版本的樣本輸出，以確定哪個模型更適合您的用例。

📚 詳細文檔

模型詳情

本模型是google/flan-t5-xl的微調版本，在pszemraj/summary-map-reduce-v1數據集上進行訓練，輸入和輸出的上下文長度均為1024。

評估結果

該模型在評估集上取得了以下結果：

• 損失值：0.6039
• 所見輸入令牌數量：7138765

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：8e-05
• 訓練批次大小：2
• 評估批次大小：2
• 隨機種子：17868
• 梯度累積步數：32
• 總訓練批次大小：64
• 優化器：使用OptimizerNames.PAGED_ADAMW，β值為(0.9, 0.999)，ε值為1e-08，無額外優化器參數
• 學習率調度器類型：餘弦
• 學習率調度器熱身比例：0.05
• 訓練輪數：2.0

📄 許可證

本項目採用Apache 2.0許可證。

模型信息表格