Fabert

🚀 FaBERT：基於波斯語博客預訓練的BERT模型

FaBERT是一個基於波斯語的BERT基礎模型，它在多樣化的HmBlogs語料庫上進行訓練，該語料庫涵蓋了休閒和正式的波斯語文本。FaBERT專為自然語言處理任務而開發，是處理波斯語文本的強大解決方案。通過在各種自然語言理解（NLU）任務中的評估，FaBERT始終展現出顯著的性能提升，同時模型規模緊湊。現在，FaBERT已在Hugging Face上發佈，您可以輕鬆地將其集成到您的項目中。體驗FaBERT在處理各種NLP任務時帶來的高性能，且無需增加額外的複雜性。

🚀 快速開始

加載帶有MLM頭的模型

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("sbunlp/fabert") # 確保使用默認的快速分詞器
model = AutoModelForMaskedLM.from_pretrained("sbunlp/fabert")

下游任務

與原始的英文BERT類似，FaBERT可以在許多下游任務上進行微調。（https://huggingface.co/docs/transformers/en/training ）

波斯語數據集的示例可在我們的GitHub倉庫中找到。

⚠️ 重要提示

請確保使用默認的快速分詞器。

✨ 主要特性

• 在多樣化的HmBlogs語料庫上進行預訓練，該語料庫包含超過50GB來自波斯語博客的文本。
• 在各種下游NLP任務中表現出色。
• 採用BERT架構，擁有1.24億個參數。

📚 詳細文檔

模型詳情

FaBERT是一個基於波斯語的BERT基礎模型，在多樣化的HmBlogs語料庫上進行訓練，該語料庫涵蓋了休閒和正式的波斯語文本。它專為自然語言處理任務而開發，是處理波斯語文本的強大解決方案。通過在各種自然語言理解（NLU）任務中的評估，FaBERT始終展現出顯著的性能提升，同時模型規模緊湊。現在，FaBERT已在Hugging Face上發佈，您可以輕鬆地將其集成到您的項目中。體驗FaBERT在處理各種NLP任務時帶來的高性能，且無需增加額外的複雜性。

訓練詳情

FaBERT使用MLM（WWM）目標進行預訓練，在驗證集上的困惑度為7.76。

評估

以下是FaBERT模型的一些關鍵性能結果：

情感分析

命名實體識別

問答

自然語言推理與QQP

更多詳細的性能分析請參考論文。

如何引用

如果您在研究或項目中使用了FaBERT，請使用以下BibTeX進行引用：

@article{masumi2024fabert,
  title={FaBERT: Pre-training BERT on Persian Blogs},
  author={Masumi, Mostafa and Majd, Seyed Soroush and Shamsfard, Mehrnoush and Beigy, Hamid},
  journal={arXiv preprint arXiv:2402.06617},
  year={2024}
}

有用鏈接

• 倉庫：FaBERT在Github上的倉庫
• 論文：arXiv預印本

示例