Arabertmo Base V6

🚀 アラビア語BERTモデル

AraBERTMoは、GoogleのBERTアーキテクチャに基づくアラビア語の事前学習言語モデルです。AraBERTMo_baseは、BERT-Baseと同じ設定を使用しています。AraBERTMo_baseには、現在10種類の新しいバリエーションがあります。すべてのモデルは、HuggingFaceのモデルページでEbtihalの名前で利用可能です。チェックポイントはPyTorch形式で提供されています。

🚀 クイックスタート

このモデルを使用するには、torchまたはtensorflowとHuggingfaceのライブラリtransformersをインストールします。そして、次のように初期化することで直接使用できます。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V6")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V6")

✨ 主な機能

• 多様なバリエーション：AraBERTMo_baseには10種類の新しいバリエーションがあります。
• 公開されたモデル：すべてのモデルはHuggingFaceのモデルページで利用可能です。
• PyTorch形式：チェックポイントはPyTorch形式で提供されています。

📦 インストール

このモデルを使用するには、torchまたはtensorflowとHuggingfaceのライブラリtransformersをインストールする必要があります。

📚 ドキュメント

事前学習コーパス

AraBertMo_base_V6モデルは、約300万語で事前学習されています。

• OSCAR - アラビア語版 "unshuffled_deduplicated_ar"

学習結果

このモデルは、以下の結果を達成しています。

このモデルの構築背景

このモデルは、以下の組織での修士学位研究のために構築されました。

• クファ大学
• コンピュータ科学と数学学部
• コンピュータ科学学科

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V6")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V6")

ウィジェット使用例

このモデルには以下のウィジェット入力例があります。

• text: " السلام عليكم ورحمة[MASK] وبركاتة"
• text: " اهلا وسهلا بكم في [MASK] من سيربح المليون"
• text: " مرحبا بك عزيزي الزائر [MASK] موقعنا "