Lsg Bart Base 4096 Wcep

🚀 ccdv/lsg-bart-base-4096-wcep

本模型是一個基於自然語言處理的模型，它在特定數據集上對基礎模型進行了微調，能夠在長序列處理任務中取得不錯的效果，可用於文本摘要等相關任務。

🚀 快速開始

本模型依賴於自定義建模文件，你需要添加 trust_remote_code=True。詳情請見 #13467。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("ccdv/lsg-bart-base-4096-wcep", trust_remote_code=True)
model = AutoModelForSeq2SeqLM.from_pretrained("ccdv/lsg-bart-base-4096-wcep", trust_remote_code=True)

text = "Replace by what you want."
pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, device=0)
generated_text = pipe(text, truncation=True, max_length=64, no_repeat_ngram_size=7)

✨ 主要特性

• 該模型是 ccdv/lsg-bart-base-4096 在 ccdv/WCEP-10 roberta 數據集上的微調版本。
• 模型依賴於 Local-Sparse-Global 注意力機制來處理長序列。
• 模型約有 1.45 億個參數（6 個編碼器層 - 6 個解碼器層），從 BART-base 進行預熱啟動，轉換為處理長序列（僅編碼器）並進行微調。

📚 詳細文檔

測試集結果

該模型在測試集上取得了以下結果：

較大塊大小

較小塊大小（資源需求較低）

模型描述

模型依賴於 Local-Sparse-Global 注意力機制來處理長序列：

模型約有 1.45 億個參數（6 個編碼器層 - 6 個解碼器層）。該模型從 BART-base 進行預熱啟動，轉換為處理長序列（僅編碼器）並進行微調。

訓練和評估數據

更多信息待補充。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：8e - 05
• 訓練批次大小：8
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：32
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 學習率調度器預熱比例：0.1
• 訓練輪數：10.0

生成超參數

生成期間使用了以下超參數：

• 數據集名稱：ccdv/WCEP-10
• 數據集配置名稱：roberta
• 評估批次大小：8
• 評估樣本數：1022
• 提前停止：True
• 忽略填充標記以計算損失：True
• 長度懲罰：2.0
• 最大長度：64
• 最小長度：0
• 束搜索寬度：5
• 無重複 n - 元語法大小：None
• 隨機種子：123

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu102
• Datasets 2.1.0
• Tokenizers 0.11.6

相關鏈接

• LSG ArXiv 論文。
• Github/轉換腳本可在這個 鏈接 獲取。

⚠️ 重要提示

本模型需要 Transformers >= 4.36.1，並且依賴於自定義建模文件，你需要添加 trust_remote_code=True。