Mt5 Small Sum De En V1

🚀 mT5-small-sum-de-en-v1

這是一個用於英語和德語的雙語摘要模型。它基於多語言T5模型 google/mt5-small 構建，能夠有效處理英德雙語的文本摘要任務，為相關領域的研究和應用提供了有力支持。

該模型由 德國電信股份公司 的 One Conversation 團隊提供。

🚀 快速開始

本模型基於多語言T5模型，可直接用於英德雙語的文本摘要任務。你可以按照以下步驟使用該模型：

1. 安裝必要的依賴庫，如transformers。
2. 加載模型和分詞器。
3. 輸入待摘要的文本，調用模型進行摘要生成。

🔧 技術細節

訓練

訓練過程使用了以下超參數：

• 基礎模型：google/mt5-small
• 源前綴："summarize: "
• 批量大小：3
• 最大源長度：800
• 最大目標長度：96
• 熱身比例：0.3
• 訓練輪數：10
• 梯度累積步數：2
• 學習率：5e-5

數據集和預處理

數據集按以下方式進行預處理： 使用 google/mt5-small 分詞器對摘要進行分詞，然後僅選擇摘要標記不超過94個的記錄。

MLSUM數據集有一個特殊特性。在文本中，摘要通常作為一個或多個句子完整包含在內。這些句子已從文本中移除，原因是我們不希望訓練一個最終僅提取句子作為摘要的模型。

該模型在以下數據集上進行訓練：

評估

在MLSUM德語測試集上的評估（無束搜索）

在CNN Daily英語測試集上的評估（無束搜索）

在Extreme Summarization (XSum)英語測試集上的評估（無束搜索）

♣：這些值似乎異常高。可能是測試集被用於訓練數據中。

📄 許可證

版權所有 (c) 2021 Philip May, 德國電信股份公司

本作品採用 署名 - 非商業性使用 - 相同方式共享 3.0 國際 (CC BY - NC - SA 3.0) 許可證進行許可。