Multi Dialect Bert Base Arabic

🚀 多方言アラビア語BERTモデル

このプロジェクトは、多方言アラビア語BERTモデルのコードリポジトリで、Mawdoo3-AI によって開発されました。このモデルは、アラビア語の異なる方言の処理問題を解決し、アラビア語の自然言語処理タスクにより強力なサポートを提供することを目的としています。

🚀 クイックスタート

このモデルの重みは、HuggingFaceのtransformersライブラリを使用してロードすることができます。

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bashar-talafha/multi-dialect-bert-base-arabic")
model = AutoModel.from_pretrained("bashar-talafha/multi-dialect-bert-base-arabic")

高度な使用法

pipelineを使用する例：

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="bashar-talafha/multi-dialect-bert-base-arabic ",
    tokenizer="bashar-talafha/multi-dialect-bert-base-arabic "
)

fill_mask(" سافر الرحالة من مطار [MASK] ")

[{'sequence': '[CLS] سافر الرحالة من مطار الكويت [SEP]', 'score': 0.08296813815832138, 'token': 3226},
 {'sequence': '[CLS] سافر الرحالة من مطار دبي [SEP]', 'score': 0.05123933032155037, 'token': 4747},
 {'sequence': '[CLS] سافر الرحالة من مطار مسقط [SEP]', 'score': 0.046838656067848206, 'token': 13205},
 {'sequence': '[CLS] سافر الرحالة من مطار القاهرة [SEP]', 'score': 0.03234650194644928, 'token': 4003},
 {'sequence': '[CLS] سافر الرحالة من مطار الرياض [SEP]', 'score': 0.02606341242790222, 'token': 2200}]

✨ 主な機能

このモデルは、多方言アラビア語BERTモデルをゼロから訓練するのではなく、Arabic-BERT を使用してモデルの重みを初期化し、The Nuanced Arabic Dialect Identification (NADI) shared task の1000万件の未ラベル付きアラビア語ツイートデータで訓練されています。

📚 ドキュメント

詳細な情報については、元のリポジトリ を参照してください。

📄 ライセンス

この研究を引用する場合

@misc{talafha2020multidialect,
    title={Multi-Dialect Arabic BERT for Country-Level Dialect Identification},
    author={Bashar Talafha and Mohammad Ali and Muhy Eddin Za'ter and Haitham Seelawi and Ibraheem Tuffaha and Mostafa Samir and Wael Farhan and Hussein T. Al-Natsheh},
    year={2020},
    eprint={2007.05612},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}