Roberta Small Bulgarian

🚀 RoBERTa-small-bulgarian

RoBERTa-small-bulgarian是一个较小版本的保加利亚语语言模型。它源自RoBERTa-base-bulgarian，虽只有6个隐藏层，但性能相近。该模型可用于完形填空任务（掩码语言建模），也能在保加利亚语的其他任务上进行微调。

🚀 快速开始

本模型可直接用于保加利亚语的掩码语言建模任务，也可以在其他保加利亚语相关任务上进行微调训练。

✨ 主要特性

• 模型规模小：相较于基础版本，仅有6个隐藏层，在保持相近性能的同时，减少了计算资源的需求。
• 用途广泛：可用于掩码语言建模任务，也能在其他保加利亚语任务上进行微调。

📚 详细文档

预期用途

此模型可用于完形填空任务（掩码语言建模），也可在保加利亚语的其他任务上进行微调。

局限性和偏差

训练数据来自互联网上未经过滤的文本，可能包含各种偏差。

训练数据

该模型在以下数据上进行训练：

• 来自OSCAR的bg_dedup
• 来自莱比锡语料库集的2017年新闻爬行100万句子
• 来自莱比锡语料库集的2016年维基百科100万句子

训练过程

该模型使用掩码语言建模目标和动态掩码进行预训练，具体方法见此处。 模型训练了160k步，由于GPU内存限制，批量大小限制为8。

⚠️ 重要提示

训练数据来自互联网上未经过滤的文本，可能包含各种偏差。

💡 使用建议

在使用该模型时，可根据具体任务对模型进行微调，以获得更好的性能。