🚀 ccdv/lsg-bart-base-16384-mediasum
該模型是用於文本摘要的微調模型,基於特定數據集訓練,能處理長序列文本,在測試集上有較好表現。
🚀 快速開始
Transformers >= 4.36.1
該模型依賴自定義建模文件,你需要添加 trust_remote_code=True
請參閱 #13467
LSG 的 ArXiv 論文。
Github/轉換腳本可在這個 鏈接 找到。
基礎用法
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-16384-mediasum", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-16384-mediasum", trust_remote_code=True)
text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(
text,
truncation=True,
max_length=64,
no_repeat_ngram_size=7,
num_beams=2,
early_stopping=True
)
✨ 主要特性
該模型是 ccdv/lsg-bart-base-4096-mediasum 在 ccdv/mediasum roberta_prepended mediasum 數據集上的微調版本。模型經過轉換以處理 16384 的長序列,並相應地進行了 1 個 epoch 的微調。它在測試集上取得了以下結果:
長度 |
全局令牌 |
微調方式 |
塊大小 |
稀疏度 |
連接數 |
R1 |
R2 |
RL |
RLsum |
16384 |
64 |
全量微調 |
256 |
0 |
768 |
35.31 |
18.35 |
31.81 |
32.47 |
16384 |
1 |
全量微調 |
256 |
0 |
768 |
35.21 |
18.20 |
31.73 |
32.37 |
16384 |
64 |
僅全局微調 |
256 |
0 |
768 |
35.22 |
18.08 |
31.54 |
32.21 |
16384 |
1 |
無微調 |
256 |
0 |
768 |
35.17 |
18.13 |
31.54 |
32.20 |
參考模型:
長度 |
全局令牌 |
微調方式 |
塊大小 |
稀疏度 |
連接數 |
R1 |
R2 |
RL |
RLsum |
4096 |
1 |
- |
256 |
0 |
768 |
35.16 |
18.13 |
31.54 |
32.20 |
📚 詳細文檔
模型描述
該模型依靠局部 - 稀疏 - 全局注意力機制來處理長序列:

該模型約有 1.45 億個參數(6 個編碼器層 - 6 個解碼器層)。模型從 ccdv/lsg-bart-base-4096-mediasum 進行熱啟動,轉換為處理長序列(僅編碼器)並進行微調。
預期用途和限制
更多信息待補充。
訓練和評估數據
更多信息待補充。
訓練過程
訓練超參數
訓練期間使用了以下超參數:
- 學習率:8e-05
- 訓練批次大小:8
- 隨機種子:42
- 梯度累積步數:4
- 總訓練批次大小:32
- 優化器:Adam,β=(0.9, 0.999),ε=1e-08
- 學習率調度器類型:線性
- 學習率調度器熱身比例:0.1
- 訓練輪數:1.0
生成超參數
生成期間使用了以下超參數:
- 數據集名稱:ccdv/mediasum
- 數據集配置名稱:roberta_prepended
- 評估批次大小:8
- 評估樣本數:10000
- 提前停止:True
- 忽略填充令牌進行損失計算:True
- 長度懲罰:2.0
- 最大長度:128
- 最小長度:3
- 束搜索數:5
- 無重複 n-gram 大小:None
- 隨機種子:123
框架版本
- Transformers 4.18.0
- Pytorch 1.10.1+cu102
- Datasets 2.1.0
- Tokenizers 0.11.6