Long T5 Tglobal Base 16384 Booksum V11 Big Patent V2

🚀 pszemraj/long - t5 - tglobal - base - 16384 - booksum - V11 - big_patent - V2模型

该模型主要用于文本摘要任务，能够处理长文档的摘要生成，在多个数据集上进行了训练和测试，具有一定的性能表现。

✨ 主要特性

• 适用任务广泛：适用于多种文本摘要任务，如书籍、科学论文、讲座等不同类型文本的摘要生成。
• 处理长序列：能够处理较长的文本序列，对于长文档的摘要生成有较好的效果。
• 多数据集训练：在多个数据集上进行训练，如kmfoda/booksum、big_patent等，提升了模型的泛化能力。
• 多指标评估：使用多种评估指标，如ROUGE系列指标，对模型的性能进行了全面评估。

📦 安装指南

文档未提供具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

文档未提供基础用法的代码示例，故跳过此部分。

高级用法

文档未提供高级用法的代码示例，故跳过此部分。

📚 详细文档

模型参数

模型测试结果

• 数据集：kmfoda/booksum
  • ROUGE - 1：23.1439
  • ROUGE - 2：3.2393
  • ROUGE - L：12.7038
  • ROUGE - LSUM：19.8101
  • 损失 (loss)：2.766307830810547
  • 生成长度 (gen_len)：63.4493
• 数据集：samsum
  • ROUGE - 1：26.8026
  • ROUGE - 2：6.0656
  • ROUGE - L：20.0098
  • ROUGE - LSUM：21.9115
  • 损失 (loss)：2.317471981048584
  • 生成长度 (gen_len)：19.1111
• 数据集：xsum
  • ROUGE - 1：25.2061
  • ROUGE - 2：4.7048
  • ROUGE - L：17.8593
  • ROUGE - LSUM：18.0798
  • 损失 (loss)：3.003053665161133
  • 生成长度 (gen_len)：27.4815

示例文本及标题

• 地震相关文本：“large earthquakes along a given fault segment do not occur at random intervals because it takes time to accumulate the strain energy for the rupture. …”，示例标题为“earthquakes”
• 科学论文相关文本：“A typical feed - forward neural field algorithm. …”，示例标题为“scientific paper”
• 转录音频讲座相关文本：“Is a else or outside the cob and tree written being of early client rope …”，示例标题为“transcribed audio - lecture”
• BigBird博客介绍相关文本：“Transformer - based models have shown to be very useful for many NLP tasks. …”，示例标题为“bigbird blog intro”
• Rick and Morty相关文本：“To be fair, you have to have a very high IQ to understand Rick and Morty. …”，示例标题为“Richard & Mortimer”

🔧 技术细节

文档未提供具体技术细节，故跳过此章节。

📄 许可证

该模型使用的许可证包括Apache - 2.0和BSD - 3 - Clause。