Lsg Bart Base 4096 Pubmed

🚀 ccdv/lsg-bart-base-4096-pubmed

該模型是基於 scientific_papers pubmed 數據集對 ccdv/lsg-bart-base-4096 進行微調後的版本。它利用 Local-Sparse-Global 注意力機制處理長序列，能在文本摘要等任務中取得較好效果。

⚠️ 重要提示

此模型依賴自定義建模文件，需要添加 trust_remote_code=True。請確保使用的 Transformers >= 4.36.1，詳見 #13467。

🚀 快速開始

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-4096-pubmed", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-4096-pubmed", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(
  text, 
  truncation=True, 
  max_length=64, 
  no_repeat_ngram_size=7,
  num_beams=2,
  early_stopping=True
  )

✨ 主要特性

• 長序列處理：該模型依賴 Local-Sparse-Global 注意力機制來處理長序列，其架構如圖所示：
• 參數規模：模型約有 1.45 億個參數，包含 6 個編碼器層和 6 個解碼器層。
• 微調基礎：模型從 BART-base 進行熱啟動，轉換為處理長序列（僅編碼器）並進行微調。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-4096-pubmed", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-4096-pubmed", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(
  text, 
  truncation=True, 
  max_length=64, 
  no_repeat_ngram_size=7,
  num_beams=2,
  early_stopping=True
  )

📚 詳細文檔

該模型在測試集上取得了以下結果：

較大塊大小

較小塊大小（資源需求較低）

🔧 技術細節

訓練超參數

在訓練過程中使用了以下超參數：

• 學習率：8e-05
• 訓練批次大小：8
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：32
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.1
• 訓練輪數：8.0

生成超參數

在生成過程中使用了以下超參數：

• 數據集名稱：scientific_papers
• 數據集配置名稱：pubmed
• 評估批次大小：8
• 評估樣本數：6658
• 提前停止：True
• 忽略填充標記的損失：True
• 長度懲罰：2.0
• 最大長度：512
• 最小長度：128
• 束搜索數：5
• 無重複 n-gram 大小：None
• 隨機種子：123

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6

此外，LSG ArXiv 論文 提供了更多理論細節，Github/轉換腳本可在 此鏈接 找到。