VBART Small Base

🚀 VBART模型卡片

VBART是首個在土耳其語語料庫上進行大規模從頭預訓練的序列到序列大語言模型。它由VNGRS於2023年2月完成預訓練。該模型在微調後，能夠執行文本摘要、釋義和標題生成等條件文本生成任務。儘管它比其他實現小得多，但性能卻優於多語言同類模型。

本倉庫包含VBART - Small - Base的預訓練TensorFlow和Safetensors權重。

✨ 主要特性

• 開發者：VNGRS - AI
• 模型類型：基於mBART架構的Transformer編解碼器
• 語言（NLP）：土耳其語
• 許可證：CC BY - NC - SA 4.0
• 論文：arXiv

🔧 技術細節

訓練數據

基礎模型在[vngrs - web - corpus](https://huggingface.co/datasets/vngrs - ai/vngrs - web - corpus)上進行預訓練。該語料庫是通過清理和過濾[OSCAR - 2201](https://huggingface.co/datasets/oscar - corpus/OSCAR - 2201)和mC4數據集中的土耳其語部分而整理得到的。這些數據集包含非結構化網絡爬取數據的文檔。有關數據集的更多信息可以在其各自的頁面上找到。數據使用一組啟發式方法和特定規則進行過濾，這些規則在我們的論文附錄中有詳細解釋。

侷限性

此模型是預訓練的基礎模型，能夠進行掩碼語言建模。其目的是作為基礎模型，用於下游任務的微調。

訓練過程

總共預訓練了520億個標記。

硬件

• GPU：8 x Nvidia A100 - 80 GB

軟件

• TensorFlow

超參數

預訓練

• 訓練機制：fp16混合精度
• 訓練目標：跨度掩碼（使用從泊松分佈λ = 3.5採樣的掩碼長度，掩碼30%的標記）
• 優化器：Adam優化器（β1 = 0.9，β2 = 0.98，Ɛ = 1e - 6）
• 調度器：來自原始Transformers論文的自定義調度器（20,000個預熱步驟）
• 丟棄率：0.1
• 初始學習率：5e - 6
• 訓練標記數：520億

📄 許可證

本模型使用CC BY - NC - SA 4.0許可證。

📚 詳細文檔

引用

@article{turker2024vbart,
  title={VBART: The Turkish LLM},
  author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
  journal={arXiv preprint arXiv:2403.01308},
  year={2024}
}