Bert Large Arabic

🚀 アラビア語BERT Largeモデル

アラビア語用に事前学習されたBERT Large言語モデルです。

このモデルをあなたの研究で使用する場合は、以下の論文を引用してください。

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

✨ 主な機能

このモデルは、アラビア語の自然言語処理タスクに特化して事前学習されています。

📦 インストール

このモデルを使用するには、torchまたはtensorflowとHuggingfaceのライブラリtransformersをインストールする必要があります。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-large-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-large-arabic")

📚 ドキュメント

事前学習コーパス

arabic-bert-largeモデルは、約82億語のデータで事前学習されています。

• OSCARのアラビア語版 - Common Crawlからフィルタリングされたもの
• 最新のアラビア語Wikipediaのダンプ

その他のアラビア語リソースも含まれ、合計で約95GBのテキストが使用されています。

学習データに関する注意事項:

• 最終版のコーパスには、一部の非アラビア語の単語が含まれていますが、NERなどの一部のタスクに影響を与えるため、文から削除していません。
• 前処理ステップとして非アラビア語の文字は小文字に変換されますが、アラビア語の文字には大文字と小文字の区別がないため、モデルにはケース区別の有無のバージョンはありません。
• コーパスと語彙セットは、現代標準アラビア語に限定されておらず、一部の方言アラビア語も含まれています。

事前学習の詳細

• このモデルは、Google BERTのGitHub リポジトリを使用して、TFRCから無料で提供される単一のTPU v3-8上で学習されました。
• 事前学習手順は、bertの学習設定に一部変更を加えています。バッチサイズ128で300万ステップの学習を行い、元の設定のバッチサイズ256で100万ステップとは異なります。

結果

モデルのパフォーマンスに関する詳細やその他の質問については、Arabic-BERTを参照してください。

📄 ライセンス

本モデルの使用に関するライセンスについては、Arabic-BERTを参照してください。

謝辞

学習プロセスで無料のTPUを提供してくれたGoogleと、このモデルをサーバーにホストしてくれたHuggingfaceに感謝します😊