Arabertmo Base V2

🚀 アラビア語BERTモデル

AraBERTMo は、GoogleのBERTアーキテクチャに基づくアラビア語の事前学習言語モデルです。AraBERTMo_baseは、BERT-Baseと同じ設定を使用しています。AraBERTMo_baseには、現在10種類の新しいバリエーションがあります。すべてのモデルは、Ebtihal の名前で HuggingFace のモデルページに公開されています。チェックポイントはPyTorch形式で利用可能です。

🚀 クイックスタート

このモデルを使用するには、torch または tensorflow とHuggingfaceのライブラリ transformers をインストールします。以下のように初期化することで直接使用することができます。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V2")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V2")

✨ 主な機能

• アラビア語の事前学習言語モデルで、GoogleのBERTアーキテクチャをベースにしています。
• AraBERTMo_baseには10種類の新しいバリエーションがあります。
• すべてのモデルはHuggingFaceのモデルページで公開されています。
• チェックポイントはPyTorch形式で提供されます。

📦 インストール

このモデルを使用するには、torch または tensorflow とHuggingfaceのライブラリ transformers をインストールする必要があります。

📚 ドキュメント

事前学習コーパス

AraBertMo_base_V2 モデルは、約300万語で事前学習されています。

• OSCAR - アラビア語版 "unshuffled_deduplicated_ar"

学習結果

このモデルは、以下の結果を達成しています。

このモデルの構築背景

このモデルは、以下の組織における修士論文研究のために構築されました。

• クファ大学
• コンピュータ科学と数学学部
• コンピュータ科学学科