Roberta Small Bulgarian

🚀 RoBERTa-small-bulgarian

RoBERTa-small-bulgarian是一個較小版本的保加利亞語語言模型。它源自RoBERTa-base-bulgarian，雖只有6個隱藏層，但性能相近。該模型可用於完形填空任務（掩碼語言建模），也能在保加利亞語的其他任務上進行微調。

🚀 快速開始

本模型可直接用於保加利亞語的掩碼語言建模任務，也可以在其他保加利亞語相關任務上進行微調訓練。

✨ 主要特性

• 模型規模小：相較於基礎版本，僅有6個隱藏層，在保持相近性能的同時，減少了計算資源的需求。
• 用途廣泛：可用於掩碼語言建模任務，也能在其他保加利亞語任務上進行微調。

📚 詳細文檔

預期用途

此模型可用於完形填空任務（掩碼語言建模），也可在保加利亞語的其他任務上進行微調。

侷限性和偏差

訓練數據來自互聯網上未經過濾的文本，可能包含各種偏差。

訓練數據

該模型在以下數據上進行訓練：

• 來自OSCAR的bg_dedup
• 來自萊比錫語料庫集的2017年新聞爬行100萬句子
• 來自萊比錫語料庫集的2016年維基百科100萬句子

訓練過程

該模型使用掩碼語言建模目標和動態掩碼進行預訓練，具體方法見此處。 模型訓練了160k步，由於GPU內存限制，批量大小限制為8。

⚠️ 重要提示

訓練數據來自互聯網上未經過濾的文本，可能包含各種偏差。

💡 使用建議

在使用該模型時，可根據具體任務對模型進行微調，以獲得更好的性能。