Lsg Bart Base 4096 Wcep

🚀 ccdv/lsg-bart-base-4096-wcep

本模型是一个基于自然语言处理的模型，它在特定数据集上对基础模型进行了微调，能够在长序列处理任务中取得不错的效果，可用于文本摘要等相关任务。

🚀 快速开始

本模型依赖于自定义建模文件，你需要添加 trust_remote_code=True。详情请见 #13467。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-4096-wcep", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-4096-wcep", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(text, truncation=True, max_length=64, no_repeat_ngram_size=7)

✨ 主要特性

• 该模型是 ccdv/lsg-bart-base-4096 在 ccdv/WCEP-10 roberta 数据集上的微调版本。
• 模型依赖于 Local-Sparse-Global 注意力机制来处理长序列。
• 模型约有 1.45 亿个参数（6 个编码器层 - 6 个解码器层），从 BART-base 进行预热启动，转换为处理长序列（仅编码器）并进行微调。

📚 详细文档

测试集结果

该模型在测试集上取得了以下结果：

较大块大小

较小块大小（资源需求较低）

模型描述

模型依赖于 Local-Sparse-Global 注意力机制来处理长序列：

模型约有 1.45 亿个参数（6 个编码器层 - 6 个解码器层）。该模型从 BART-base 进行预热启动，转换为处理长序列（仅编码器）并进行微调。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：8e - 05
• 训练批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：32
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器预热比例：0.1
• 训练轮数：10.0

生成超参数

生成期间使用了以下超参数：

• 数据集名称：ccdv/WCEP-10
• 数据集配置名称：roberta
• 评估批次大小：8
• 评估样本数：1022
• 提前停止：True
• 忽略填充标记以计算损失：True
• 长度惩罚：2.0
• 最大长度：64
• 最小长度：0
• 束搜索宽度：5
• 无重复 n - 元语法大小：None
• 随机种子：123

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6

相关链接

• LSG ArXiv 论文。
• Github/转换脚本可在这个 链接 获取。

⚠️ 重要提示

本模型需要 Transformers >= 4.36.1，并且依赖于自定义建模文件，你需要添加 trust_remote_code=True。