Albert Large Arabic

🚀 アラビア語版ALBERT Large

ALBERT Largeの事前学習言語モデルのアラビア語版です。このモデルは、アラビア語の自然言語処理タスクにおいて高い性能を発揮します。

これらのモデルをあなたの研究や開発で使用する場合は、以下のように引用してください。

@software{ali_safaya_2020_4718724,
  author       = {Ali Safaya},
  title        = {Arabic-ALBERT},
  month        = aug,
  year         = 2020,
  publisher    = {Zenodo},
  version      = {1.0.0},
  doi          = {10.5281/zenodo.4718724},
  url          = {https://doi.org/10.5281/zenodo.4718724}
}

📚 ドキュメント

事前学習データ

これらのモデルは約44億語のデータで事前学習されました。

• OSCARのアラビア語版（コーパスのシャッフルされていないバージョン） - Common Crawlからフィルタリングされたもの
• アラビア語のWikipediaの最近のダンプ

学習データに関する注意事項

• 最終版のコーパスには一部の非アラビア語の単語が含まれていますが、NERなどの一部のタスクに影響を与えるため、文から削除していません。
• 前処理ステップとして非アラビア語の文字は小文字に変換されますが、アラビア語の文字には大文字と小文字がないため、モデルには大文字小文字区別のバージョンはありません。
• コーパスと語彙セットは現代標準アラビア語に限定されず、一部の方言アラビア語も含まれています。

事前学習の詳細

• これらのモデルは、Google ALBERTのGitHub リポジトリを使用して、TFRCから無料で提供された単一のTPU v3 - 8上で学習されました。
• 事前学習手順は、bertの学習設定にいくつかの変更を加えたものです。バッチサイズ64で700万ステップの学習を行い、バッチサイズ4096で12.5万ステップの学習ではなくなりました。

モデル

結果

モデルの性能に関する詳細やその他の質問については、Arabic-ALBERTを参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

# loading the tokenizer
tokenizer    = AutoTokenizer.from_pretrained("kuisailab/albert-large-arabic")

# loading the model
model   = AutoModelForMaskedLM.from_pretrained("kuisailab/albert-large-arabic")

📄 ライセンス

トレーニングプロセスで無料のTPUを提供してくれたGoogleと、これらのモデルをサーバーにホストしてくれたHuggingfaceに感謝します😊