Lsg Bart Base 4096 Multinews

🚀 ccdv/lsg-bart-base-4096-multinews

该模型是基于ccdv/lsg-bart-base-4096在multi_news默认数据集上微调得到的，用于文本摘要任务。

🚀 快速开始

环境要求

• Transformers >= 4.36.1
• 该模型依赖自定义建模文件，你需要添加trust_remote_code=True
• 详情请见 #13467

代码示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-4096-multinews", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-4096-multinews", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(
  text, 
  truncation=True, 
  max_length=64, 
  no_repeat_ngram_size=7,
  num_beams=2,
  early_stopping=True
  )

✨ 主要特性

• 该模型是 ccdv/lsg-bart-base-4096 在 multi_news default 数据集上的微调版本。
• 模型采用 Local-Sparse-Global 注意力机制处理长序列。
• 模型约有 1.45 亿个参数（6 个编码器层 - 6 个解码器层），从 BART-base 预热启动，转换为处理长序列（仅编码器）并进行微调。

📚 详细文档

测试集结果

该模型在测试集上取得了以下结果：

较大块大小

较小块大小（资源需求较低）

模型描述

该模型依靠 Local-Sparse-Global 注意力机制来处理长序列：

模型约有 1.45 亿个参数（6 个编码器层 - 6 个解码器层）。模型从 BART-base 预热启动，转换为处理长序列（仅编码器）并进行微调。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：8e-05
• 训练批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：32
• 优化器：Adam（betas=(0.9,0.999)，epsilon=1e-08）
• 学习率调度器类型：线性
• 学习率调度器预热比例：0.1
• 训练轮数：12.0

生成超参数

生成过程中使用了以下超参数：

• 数据集名称：multi_news
• 数据集配置名称：default
• 评估批次大小：8
• 评估样本数：5622
• 提前停止：True
• 忽略填充标记进行损失计算：True
• 长度惩罚：2.0
• 最大长度：320
• 最小长度：32
• 束搜索数量：5
• 不重复 n-gram 大小：None
• 随机种子：123

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6

相关论文和代码

• LSG 相关论文：paper
• Github 转换脚本：link