Mt5 Small German Finetune Mlsum

🚀 mT5-small在德語MLSUM數據集上的微調模型

該模型基於Transformer架構，針對德語文本摘要任務進行微調，能有效提升德語文章的摘要生成效果。

🚀 快速開始

此模型進行了3個輪次的微調，輸入的最大長度（max_len）為768個標記，目標最大長度（target_max_len）為192個標記。它在MLSUM數據集訓練集中所有德語文章上進行了微調，這些文章按空格分割後的“單詞”數量少於384個，最終篩選出了80249篇文章。篩選數據集的具體表達式如下：

dataset = dataset.filter(lambda e: len(e['text'].split()) < 384)

✨ 主要特性

• 微調優化：針對德語MLSUM數據集進行了特定的微調，以適應德語文章的摘要生成任務。
• 數據篩選：對訓練數據進行了篩選，確保輸入文章的長度在一定範圍內，提高模型的訓練效果。

📚 詳細文檔

評估結果

微調後的模型在驗證集中隨機抽取的2000篇文章上進行了評估。計算了微調模型和lead - 3基線（即簡單地提取文檔的前三句話）的平均f1 ROUGE分數，結果如下表所示：

標籤與數據集信息