Saudibert

🚀 沙特BERT（SaudiBERT）

沙特BERT（SaudiBERT）是首個專門針對沙特方言文本進行預訓練的大語言模型。該模型在兩個大規模語料庫上進行了預訓練，為沙特方言相關的自然語言處理任務提供了強大支持。

🚀 快速開始

沙特BERT（SaudiBERT）是首個專門針對沙特方言文本進行預訓練的大語言模型。該模型在兩個大規模語料庫上進行了預訓練：沙特推文巨型語料庫（STMC），包含超過1.41億條推文；沙特論壇語料庫，包含從各種沙特在線論壇收集的超過7000萬條句子。這些數據集包含26.3GB的文本。代碼文件和結果可在倉庫中獲取。

📄 許可證

本項目採用CC BY-NC 4.0許可證。

📚 詳細文檔

標籤信息

模型小工具示例

輸入文本："اللي ما يعرف الصقر [MASK]."

📖 BibTex引用

如果您在學術出版物中使用沙特BERT（SaudiBERT）模型，或者發現本倉庫中的資源有用，請按以下方式引用我們的論文（引用細節待更新）：

@article{qarah2024saudibert,
  title={SaudiBERT: A Large Language Model Pretrained on Saudi Dialect Corpora},
  author={Qarah, Faisal},
  journal={arXiv preprint arXiv:2405.06239},
  year={2024}
}