Darijabert

🚀 DarijaBERT

DarijaBERTは、モロッコの方言である「ダリジャ語」を理解する最初のオープンソースのインテリジェントシステムです。AIOX LabとSI2M Lab INSEAが共同で開発し、研究者や産業界、NLP（自然言語処理）コミュニティに提供しています。

🚀 クイックスタート

DarijaBERTは、モロッコのアラビア方言「ダリジャ語」用の最初のBERTモデルです。BERT-baseと同じアーキテクチャに基づいていますが、Next Sentence Prediction (NSP) の目的はありません。このモデルは、約300万のダリジャ方言のシーケンス（691MBのテキスト、約1億のトークン）で学習されています。

✨ 主な機能

• モロッコの方言であるダリジャ語を理解することができます。
• BERT-baseと同じアーキテクチャに基づいていますが、Next Sentence Prediction (NSP) の目的はありません。

📦 インストール

このモデルは、Huggingfaceライブラリを使用して直接ロードすることができます。

from transformers import AutoTokenizer, AutoModel
DarijaBERT_tokenizer = AutoTokenizer.from_pretrained("SI2M-Lab/DarijaBERT")
DarijaBert_model = AutoModel.from_pretrained("SI2M-Lab/DarijaBERT")

📚 ドキュメント

データセットの情報

このモデルは、3つの異なるソースから収集されたデータセットで学習されています。

DarijaBertに関する詳細は、専用のGitHub リポジトリ で確認できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
DarijaBERT_tokenizer = AutoTokenizer.from_pretrained("SI2M-Lab/DarijaBERT")
DarijaBert_model = AutoModel.from_pretrained("SI2M-Lab/DarijaBERT")

📄 ライセンス

引用

科学出版物で当社のモデルを使用する場合、またはこのリポジトリのリソースが役立つと思われる場合は、以下のように論文を引用してください（更新予定）。

@article{gaanoun2023darijabert,
  title={Darijabert: a Step Forward in Nlp for the Written Moroccan Dialect},
  author={Gaanoun, Kamel and Naira, Abdou Mohamed and Allak, Anass and Benelallam, Imade},
  year={2023}
}

謝辞

GoogleのTensorFlow Research Cloud (TRC) プログラムが無料のクラウドTPUを提供してくれたことに感謝します。