Fabert

🚀 FaBERT：基于波斯语博客预训练的BERT模型

FaBERT是一个基于波斯语的BERT基础模型，它在多样化的HmBlogs语料库上进行训练，该语料库涵盖了休闲和正式的波斯语文本。FaBERT专为自然语言处理任务而开发，是处理波斯语文本的强大解决方案。通过在各种自然语言理解（NLU）任务中的评估，FaBERT始终展现出显著的性能提升，同时模型规模紧凑。现在，FaBERT已在Hugging Face上发布，您可以轻松地将其集成到您的项目中。体验FaBERT在处理各种NLP任务时带来的高性能，且无需增加额外的复杂性。

🚀 快速开始

加载带有MLM头的模型

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("sbunlp/fabert") # 确保使用默认的快速分词器
model = AutoModelForMaskedLM.from_pretrained("sbunlp/fabert")

下游任务

与原始的英文BERT类似，FaBERT可以在许多下游任务上进行微调。（https://huggingface.co/docs/transformers/en/training ）

波斯语数据集的示例可在我们的GitHub仓库中找到。

⚠️ 重要提示

请确保使用默认的快速分词器。

✨ 主要特性

• 在多样化的HmBlogs语料库上进行预训练，该语料库包含超过50GB来自波斯语博客的文本。
• 在各种下游NLP任务中表现出色。
• 采用BERT架构，拥有1.24亿个参数。

📚 详细文档

模型详情

FaBERT是一个基于波斯语的BERT基础模型，在多样化的HmBlogs语料库上进行训练，该语料库涵盖了休闲和正式的波斯语文本。它专为自然语言处理任务而开发，是处理波斯语文本的强大解决方案。通过在各种自然语言理解（NLU）任务中的评估，FaBERT始终展现出显著的性能提升，同时模型规模紧凑。现在，FaBERT已在Hugging Face上发布，您可以轻松地将其集成到您的项目中。体验FaBERT在处理各种NLP任务时带来的高性能，且无需增加额外的复杂性。

训练详情

FaBERT使用MLM（WWM）目标进行预训练，在验证集上的困惑度为7.76。

评估

以下是FaBERT模型的一些关键性能结果：

情感分析

命名实体识别

问答

自然语言推理与QQP

更多详细的性能分析请参考论文。

如何引用

如果您在研究或项目中使用了FaBERT，请使用以下BibTeX进行引用：

@article{masumi2024fabert,
  title={FaBERT: Pre-training BERT on Persian Blogs},
  author={Masumi, Mostafa and Majd, Seyed Soroush and Shamsfard, Mehrnoush and Beigy, Hamid},
  journal={arXiv preprint arXiv:2402.06617},
  year={2024}
}

有用链接

• 仓库：FaBERT在Github上的仓库
• 论文：arXiv预印本

示例