Morrbert

🚀 MorrBERT

MorrBERTは、モロッコ方言専用に設計されたTransformerベースの言語モデルです。このモデルは、モロッコ方言の自然言語処理タスクを効果的に支援します。

🚀 クイックスタート

MorrBERTのモデルウェイトは、HuggingFaceのtransformersライブラリを使用してロードすることができます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("otmangi/MorrBERT")

model = AutoModel.from_pretrained("otmangi/MorrBERT")

✨ 主な機能

MorrBERTはモロッコ方言に特化しており、BERTBASEと同じ構造を持っています。学習には600万文のモロッコ方言コーパス（合計710億トークン）を使用し、全学習セットで12エポックの学習を約120時間で完了しました。

📚 ドキュメント

詳細な情報については、以下の論文をご覧ください。 Pre-training Two BERT-Like Models for Moroccan Dialect: MorRoBERTa and MorrBERT

🔧 謝辞

この研究は、国立科学技術研究センター（CNRST）が提供するHPC-MARWAN（www.marwan.ma/hpc）の計算資源によって支援されました。

📄 引用方法

@article{Moussaoui_El Younnoussi_2023, title={Pre-training Two BERT-Like Models for Moroccan Dialect: MorRoBERTa and MorrBERT}, 
volume={29}, url={https://mendel-journal.org/index.php/mendel/article/view/223}, 
DOI={10.13164/mendel.2023.1.055}, number={1}, journal={MENDEL}, author={Moussaoui, Otman and El Younnoussi, Yacine}, 
year={2023}, month={Jun.}, pages={55-61} }

📞 連絡先

ご質問、フィードバック、またはリクエストがある場合は、以下のメールアドレスまでお気軽にご連絡ください。

• otman.moussaoui@etu.uae.ac.ma
• yacine.elyounoussi@uae.ac.ma