Albert Xlarge Arabic

🚀 アラビア語版ALBERT Xlarge

ALBERT Xlargeの事前学習済み言語モデルのアラビア語版です。このモデルは、アラビア語の自然言語処理タスクにおいて高い性能を発揮します。

これらのモデルをあなたの研究や開発で使用する場合は、以下のように引用してください。

@software{ali_safaya_2020_4718724,
  author       = {Ali Safaya},
  title        = {Arabic-ALBERT},
  month        = aug,
  year         = 2020,
  publisher    = {Zenodo},
  version      = {1.0.0},
  doi          = {10.5281/zenodo.4718724},
  url          = {https://doi.org/10.5281/zenodo.4718724}
}

📚 事前学習データ

このモデルは、約44億語のデータで事前学習されています。

• OSCARのアラビア語版（コーパスのシャッフルされていないバージョン） - Common Crawlからフィルタリングされたもの
• 最近のアラビア語版Wikipediaのダンプ

事前学習データに関する注意事項

• 最終的なコーパスには、一部の非アラビア語の単語が含まれていますが、NERなどのタスクに影響を与える可能性があるため、文章から削除していません。
• 非アラビア語の文字は前処理ステップで小文字に変換されていますが、アラビア語の文字には大文字と小文字の区別がないため、モデルには大文字小文字区別の有無に関するバージョンはありません。
• コーパスと語彙セットは現代標準アラビア語に限定されておらず、一部の方言アラビア語も含まれています。

🔧 事前学習の詳細

• これらのモデルは、Google ALBERTのGitHub リポジトリを使用して、TFRCから無料で提供された単一のTPU v3-8上で学習されました。
• 事前学習の手順は、bertの学習設定を一部変更しています。バッチサイズ64で700万ステップの学習を行い、バッチサイズ4096で12.5万ステップの学習ではなくなっています。

📊 モデルの詳細

📈 結果

モデルの性能に関する詳細やその他の質問については、Arabic-ALBERTを参照してください。

💻 使用例

基本的な使用法

これらのモデルは、torchまたはtensorflowとHuggingfaceのライブラリtransformersをインストールすることで使用できます。以下のように初期化することで直接使用することができます。

from transformers import AutoTokenizer, AutoModelForMaskedLM

# トークナイザーの読み込み
tokenizer    = AutoTokenizer.from_pretrained("kuisailab/albert-xlarge-arabic")

# モデルの読み込み
model   = AutoModelForMaskedLM.from_pretrained("kuisailab/albert-xlarge-arabic")

🙏 謝辞

学習プロセスに無料のTPUを提供してくれたGoogleと、これらのモデルをサーバー上にホストしてくれたHuggingfaceに感謝します😊