Mt5 Small Sum De En V2

🚀 mT5-small-sum-de-en-v2

這是一個用於英語和德語的雙語摘要模型。它基於多語言T5模型 google/mt5-small 構建，能夠有效處理英德兩種語言的文本摘要任務。

🚀 快速開始

本模型可直接用於英語和德語的文本摘要，基於多語言T5模型構建，方便快捷地為用戶提供雙語摘要服務。

✨ 主要特性

• 雙語支持：支持英語和德語的文本摘要。
• 基於多語言T5：依託 google/mt5-small 模型，具備良好的多語言處理能力。

🔧 技術細節

訓練

訓練使用了以下超參數：

• 基礎模型：google/mt5-small
• 源前綴："summarize: "
• 批量大小：3
• 最大源長度：800
• 最大目標長度：96
• 熱身比例：0.3
• 訓練輪數：10
• 梯度累積步數：2
• 學習率：5e-5

數據集和預處理

數據集按以下方式進行預處理： 使用 google/mt5-small 分詞器對摘要進行分詞，然後僅選擇摘要標記不超過94個的記錄。

MLSUM數據集有一個特殊特性，在文本中，摘要通常作為一個或多個完整的句子包含在內，這些句子已從文本中移除。原因是我們不希望訓練一個最終僅提取句子作為摘要的模型。

本模型在以下數據集上進行訓練：

數據集大小如下：

評估

MLSUM德語測試集評估（無束搜索）

CNN Daily英語測試集評估（無束搜索）

Extreme Summarization (XSum) 英語測試集評估（無束搜索）

♣：這些值似乎異常高，可能是測試集被用於訓練數據。

📄 許可證

版權所有 (c) 2021 Philip May，T-Systems on site services GmbH

本作品採用 署名 - 非商業性使用 - 相同方式共享 3.0 國際 (CC BY - NC - SA 3.0) 許可協議進行許可。