Lsg Bart Base 16384 Arxiv

🚀 ccdv/lsg-bart-base-16384-arxiv

该模型是基于自然语言处理技术的预训练模型，主要用于科学论文的摘要生成。它在长序列处理上有出色表现，能有效处理16384长度的序列，在科学论文领域有广泛的应用价值。

🚀 快速开始

此模型依赖自定义建模文件，你需要添加 trust_remote_code=True。详情请见 #13467。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-16384-arxiv", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-16384-arxiv", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(
  text, 
  truncation=True, 
  max_length=64, 
  no_repeat_ngram_size=7,
  num_beams=2,
  early_stopping=True
  )

✨ 主要特性

• 该模型是 ccdv/lsg-bart-base-4096-arxiv 在 scientific_papers arxiv 数据集上的微调版本。
• 模型经过转换以处理16384的长序列，并在1个训练周期内进行了相应的微调。
• 模型依赖局部 - 稀疏 - 全局注意力机制来处理长序列。

📚 详细文档

模型评估结果

该模型在测试集上取得了以下结果：

参考模型结果：

模型描述

该模型依赖局部 - 稀疏 - 全局注意力机制来处理长序列：

模型约有1.45亿个参数（6个编码器层 - 6个解码器层）。模型从 ccdv/lsg-bart-base-4096-arxiv 进行热启动，转换以处理长序列（仅编码器）并进行微调。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：8e-05
• 训练批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：32
• 优化器：Adam（β=(0.9,0.999)，ε=1e-08）
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.1
• 训练轮数：1.0

生成超参数

生成期间使用了以下超参数：

• 数据集名称：scientific_papers
• 数据集配置名称：arxiv
• 评估批次大小：4
• 评估样本数：6440
• 提前停止：True
• 忽略填充令牌损失：True
• 长度惩罚：2.0
• 最大长度：320
• 最小长度：32
• 束搜索数：5
• 无重复n - 元语法大小：None
• 随机种子：123

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6

预期用途和限制

更多信息待补充。