Bert Mini Arabic

🚀 アラビア語BERTミニモデル

アラビア語用に事前学習されたBERTミニ言語モデルです。

このモデルをあなたの研究で使用する場合は、この論文を引用してください:

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

📚 ドキュメント

事前学習コーパス

arabic-bert-miniモデルは、約82億語で事前学習されました。

• OSCARのアラビア語版 - Common Crawlからフィルタリング
• アラビア語Wikipediaの最新ダンプ

その他のアラビア語リソースも含まれ、合計で約95GBのテキストがあります。

学習データに関する注意事項:

• 最終版のコーパスには、一部の非アラビア語の単語が含まれていますが、NERなどのタスクに影響を与えるため、文から削除していません。
• 前処理ステップとして非アラビア語の文字は小文字に変換されますが、アラビア語には大文字と小文字の区別がないため、モデルには大文字小文字を区別するバージョンと区別しないバージョンがありません。
• コーパスと語彙セットは、現代標準アラビア語に限定されず、一部の方言アラビア語も含まれています。

事前学習の詳細

• このモデルは、Google BERTのGitHub リポジトリを使用して、TFRCから無料で提供された単一のTPU v3-8で学習されました。
• 事前学習手順は、BERTの学習設定に従っていますが、いくつかの変更があります。バッチサイズ128で300万ステップの学習を行い、バッチサイズ256で100万ステップの学習ではなくなりました。

📦 インストール

torchまたはtensorflowとHuggingfaceライブラリtransformersをインストールすることで、このモデルを使用できます。以下のように初期化することで直接使用することができます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-mini-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-mini-arabic")

🔧 技術詳細

モデルの性能やその他の質問に関する詳細は、Arabic-BERTを参照してください。

📄 ライセンス

学習プロセスのために無料のTPUを提供してくれたGoogleと、このモデルをサーバーにホストしてくれたHuggingfaceに感謝します😊