Lsg Bart Base 16384 Arxiv

🚀 ccdv/lsg-bart-base-16384-arxiv

該模型是基於自然語言處理技術的預訓練模型，主要用於科學論文的摘要生成。它在長序列處理上有出色表現，能有效處理16384長度的序列，在科學論文領域有廣泛的應用價值。

🚀 快速開始

此模型依賴自定義建模文件，你需要添加 trust_remote_code=True。詳情請見 #13467。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-16384-arxiv", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-16384-arxiv", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(
  text, 
  truncation=True, 
  max_length=64, 
  no_repeat_ngram_size=7,
  num_beams=2,
  early_stopping=True
  )

✨ 主要特性

• 該模型是 ccdv/lsg-bart-base-4096-arxiv 在 scientific_papers arxiv 數據集上的微調版本。
• 模型經過轉換以處理16384的長序列，並在1個訓練週期內進行了相應的微調。
• 模型依賴局部 - 稀疏 - 全局注意力機制來處理長序列。

📚 詳細文檔

模型評估結果

該模型在測試集上取得了以下結果：

參考模型結果：

模型描述

該模型依賴局部 - 稀疏 - 全局注意力機制來處理長序列：

模型約有1.45億個參數（6個編碼器層 - 6個解碼器層）。模型從 ccdv/lsg-bart-base-4096-arxiv 進行熱啟動，轉換以處理長序列（僅編碼器）並進行微調。

訓練和評估數據

更多信息待補充。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：8e-05
• 訓練批次大小：8
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：32
• 優化器：Adam（β=(0.9,0.999)，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.1
• 訓練輪數：1.0

生成超參數

生成期間使用了以下超參數：

• 數據集名稱：scientific_papers
• 數據集配置名稱：arxiv
• 評估批次大小：4
• 評估樣本數：6440
• 提前停止：True
• 忽略填充令牌損失：True
• 長度懲罰：2.0
• 最大長度：320
• 最小長度：32
• 束搜索數：5
• 無重複n - 元語法大小：None
• 隨機種子：123

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6

預期用途和限制

更多信息待補充。