Mt5 Small Sum De En V1

🚀 mT5-small-sum-de-en-v1

这是一个用于英语和德语的双语摘要模型。它基于多语言T5模型 google/mt5-small 构建，能够有效处理英德双语的文本摘要任务，为相关领域的研究和应用提供了有力支持。

该模型由 德国电信股份公司 的 One Conversation 团队提供。

🚀 快速开始

本模型基于多语言T5模型，可直接用于英德双语的文本摘要任务。你可以按照以下步骤使用该模型：

1. 安装必要的依赖库，如transformers。
2. 加载模型和分词器。
3. 输入待摘要的文本，调用模型进行摘要生成。

🔧 技术细节

训练

训练过程使用了以下超参数：

• 基础模型：google/mt5-small
• 源前缀："summarize: "
• 批量大小：3
• 最大源长度：800
• 最大目标长度：96
• 热身比例：0.3
• 训练轮数：10
• 梯度累积步数：2
• 学习率：5e-5

数据集和预处理

数据集按以下方式进行预处理： 使用 google/mt5-small 分词器对摘要进行分词，然后仅选择摘要标记不超过94个的记录。

MLSUM数据集有一个特殊特性。在文本中，摘要通常作为一个或多个句子完整包含在内。这些句子已从文本中移除，原因是我们不希望训练一个最终仅提取句子作为摘要的模型。

该模型在以下数据集上进行训练：

评估

在MLSUM德语测试集上的评估（无束搜索）

在CNN Daily英语测试集上的评估（无束搜索）

在Extreme Summarization (XSum)英语测试集上的评估（无束搜索）

♣：这些值似乎异常高。可能是测试集被用于训练数据中。

📄 许可证

版权所有 (c) 2021 Philip May, 德国电信股份公司

本作品采用 署名 - 非商业性使用 - 相同方式共享 3.0 国际 (CC BY - NC - SA 3.0) 许可证进行许可。