Arabertmo Base V3

🚀 アラビア語BERTモデル

AraBERTMo は、GoogleのBERTアーキテクチャに基づくアラビア語の事前学習言語モデルです。AraBERTMo_baseは、BERT-Baseと同じ設定を使用しています。現在、AraBERTMo_baseには10種類の新しいバリエーションがあります。すべてのモデルは、HuggingFaceのモデルページに Ebtihal の名前で公開されています。チェックポイントはPyTorch形式で利用可能です。

🚀 クイックスタート

このモデルを使用するには、torch または tensorflow とHuggingfaceのライブラリ transformers をインストールする必要があります。以下のように初期化することで直接使用することができます。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V3")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V3")

✨ 主な機能

• アラビア語の事前学習言語モデルで、GoogleのBERTアーキテクチャをベースに構築されています。
• AraBERTMo_baseには10種類の新しいバリエーションがあります。
• すべてのモデルは HuggingFace のモデルページで利用可能です。

📦 インストール

このモデルを使用するには、torch または tensorflow とHuggingfaceのライブラリ transformers をインストールする必要があります。

📚 ドキュメント

事前学習コーパス

AraBertMo_base_V3 モデルは、約300万語で事前学習されています。

• OSCAR - アラビア語版 "unshuffled_deduplicated_ar"

学習結果

このモデルは、以下の結果を達成しています。

このモデルの構築背景

このモデルは、以下の組織における修士論文の研究のために構築されました。

• クファ大学
• コンピュータ科学と数学学部
• コンピュータ科学学科

🔧 技術詳細

このモデルは、GoogleのBERTアーキテクチャに基づいて構築されています。AraBERTMo_baseは、BERT-Baseと同じ設定を使用しています。事前学習コーパスとして、アラビア語版のOSCARデータセットが使用されています。学習結果の表には、Fill-Maskタスクにおけるサンプル数、エポック数、バッチサイズ、ステップ数、実行時間、学習損失が示されています。

📄 ライセンス

原文書にライセンス情報は記載されていません。