Darijabert

🚀 DarijaBERT - 首個理解摩洛哥方言的開源模型

DarijaBERT 是首個針對摩洛哥阿拉伯方言 “Darija” 的 BERT 模型。AIOX 實驗室和 SI2M 實驗室攜手合作，為研究人員、工業界人士和自然語言處理（NLP）社區帶來了首個能夠理解摩洛哥方言 “Darija” 的智能開源系統。

🚀 快速開始

加載模型

可以直接使用 Huggingface 庫加載該模型：

from transformers import AutoTokenizer, AutoModel
DarijaBERT_tokenizer = AutoTokenizer.from_pretrained("SI2M-Lab/DarijaBERT")
DarijaBert_model = AutoModel.from_pretrained("SI2M-Lab/DarijaBERT")

✨ 主要特性

• 針對性強：專門為摩洛哥阿拉伯方言 “Darija” 設計，是該領域的首個 BERT 模型。
• 架構優化：基於 BERT-base 架構，但去掉了下一句預測（NSP）目標。

📦 安裝指南

暫未提供安裝相關內容，可參考 Huggingface 庫的使用說明來加載模型。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
DarijaBERT_tokenizer = AutoTokenizer.from_pretrained("SI2M-Lab/DarijaBERT")
DarijaBert_model = AutoModel.from_pretrained("SI2M-Lab/DarijaBERT")

🔧 技術細節

訓練數據

該模型在來自三個不同來源的數據集上進行訓練：

• 從專門網站上抓取的用 Darija 編寫的故事。
• 來自 40 個不同摩洛哥 YouTube 頻道的評論。
• 根據 Darija 關鍵詞列表抓取的推文。

模型總共在約 300 萬個 Darija 方言序列上進行訓練，這些序列代表了 691MB 的文本，總計約 1 億個標記。

📄 許可證

暫未提供相關許可證信息。

📚 詳細文檔

更多關於 DarijaBert 的詳細信息可在其 GitHub 倉庫 中查看。

📄 引用信息

如果您在科學出版物中使用了我們的模型，或者發現本倉庫中的資源有用，請按以下方式引用我們的論文（待更新）：

@article{gaanoun2023darijabert,
  title={Darijabert: a Step Forward in Nlp for the Written Moroccan Dialect},
  author={Gaanoun, Kamel and Naira, Abdou Mohamed and Allak, Anass and Benelallam, Imade},
  year={2023}
}

🙏 致謝

我們衷心感謝谷歌的 TensorFlow 研究雲（TRC）計劃為我們提供免費的雲 TPU。