Ara DialectBERT

🚀 Ara-dialect-BERT

このプロジェクトでは、事前学習済みモデルを使用し、HARD-Arabic-Dataset でさらに学習を行いました。重みの初期化には、CAMeL-Lab の "bert-base-camelbert-msa-eighth" モデルを利用しています。

🚀 クイックスタート

このモデルは、HuggingFaceの transformers ライブラリを使用して読み込むことができます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("MutazYoune/Ara_DialectBERT")
model = AutoModel.from_pretrained("MutazYoune/Ara_DialectBERT")

高度な使用法

pipeline を使用した例:

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="MutazYoune/Ara_DialectBERT",
    tokenizer="MutazYoune/Ara_DialectBERT"
)
fill_mask("الفندق جميل و لكن [MASK] بعيد")

{'sequence': 'الفندق جميل و لكن الموقع بعيد', 'score': 0.28233852982521057, 'token': 3221, 'token_str': 'الموقع'}
{'sequence': 'الفندق جميل و لكن موقعه بعيد', 'score': 0.24436227977275848, 'token': 19218, 'token_str': 'موقعه'}
{'sequence': 'الفندق جميل و لكن المكان بعيد', 'score': 0.15372352302074432, 'token': 5401, 'token_str': 'المكان'}
{'sequence': 'الفندق جميل و لكن الفندق بعيد', 'score': 0.029026474803686142, 'token': 11133, 'token_str': 'الفندق'}
{'sequence': 'الفندق جميل و لكن مكانه بعيد', 'score': 0.024554792791604996, 'token': 10701, 'token_str': 'مكانه'}

```markdown
| 属性 | 详情 |
|------|------|
| データセット | HARD-Arabic-Dataset |