Bert Base Arabic Camelbert Msa

🚀 CAMeLBERT: アラビア語の自然言語処理タスク用の事前学習モデルコレクション

CAMeLBERTは、異なるサイズとバリエーションのアラビア語テキストで事前学習されたBERTモデルのコレクションです。現代標準アラビア語（MSA）、方言アラビア語（DA）、古典アラビア語（CA）用の事前学習言語モデルをリリースしており、これら3つの混合データで事前学習されたモデルも提供しています。また、MSAバリエーションの縮小セット（半分、4分の1、8分の1、16分の1）で事前学習された追加モデルも提供しています。詳細は論文 "The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models" で説明されています。

このモデルカードでは、MSAデータセット全体で事前学習されたCAMeLBERT - MSA (bert-base-arabic-camelbert-msa) を説明します。

🚀 クイックスタート

このモデルは、マスク言語モデリングや次文予測に使用できます。ただし、主にNER、POSタグ付け、センチメント分析、方言識別、詩分類などの自然言語処理タスクでファインチューニングすることを想定しています。ファインチューニングコードはこちらで公開しています。

✨ 主な機能

• 複数のアラビア語バリエーション（MSA、DA、CA）用の事前学習モデルを提供。
• データサイズの縮小版モデルも用意。
• 様々な自然言語処理タスクでのファインチューニングに適している。

📦 インストール

モデルをダウンロードするには、transformers>=3.5.0 が必要です。それ以外の場合は、手動でモデルをダウンロードすることができます。

💻 使用例

基本的な使用法

マスク言語モデリングのパイプラインでこのモデルを直接使用する例です。

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='CAMeL-Lab/bert-base-arabic-camelbert-msa')
>>> unmasker("الهدف من الحياة هو [MASK] .")
[{'sequence': '[CLS] الهدف من الحياة هو العمل. [SEP]',
  'score': 0.08507660031318665,
  'token': 2854,
  'token_str': 'العمل'},
 {'sequence': '[CLS] الهدف من الحياة هو الحياة. [SEP]',
  'score': 0.058905381709337234,
  'token': 3696, 'token_str': 'الحياة'},
 {'sequence': '[CLS] الهدف من الحياة هو النجاح. [SEP]',
  'score': 0.04660581797361374, 'token': 6232,
  'token_str': 'النجاح'},
 {'sequence': '[CLS] الهدف من الحياة هو الربح. [SEP]',
  'score': 0.04156001657247543,
  'token': 12413, 'token_str': 'الربح'},
 {'sequence': '[CLS] الهدف من الحياة هو الحب. [SEP]',
  'score': 0.03534102067351341,
  'token': 3088,
  'token_str': 'الحب'}]

高度な使用法

与えられたテキストの特徴を取得する例です。

PyTorchでの使用例

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
model = AutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlowでの使用例

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
model = TFAutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 ドキュメント

モデルの詳細

モデルの比較

🔧 技術詳細

前処理

• 各コーパスから生テキストを抽出した後、以下の前処理を行います。
• 元のBERT実装 で提供されているユーティリティを使用して、無効な文字を削除し、空白を正規化します。
• アラビア文字が含まれていない行を削除します。
• CAMeL Tools を使用して、ダイアクリティクスとカシダを削除します。
• 最後に、ヒューリスティックベースの文分割器で各行を文に分割します。
• HuggingFaceのtokenizers を使用して、全データセット（167GBのテキスト）で語彙サイズ30,000のWordPieceトークナイザーを学習させます。
• 小文字化やアクセントの削除は行いません。

事前学習

• モデルは、単一のクラウドTPU (v3 - 8) で合計100万ステップ学習されました。
• 最初の90,000ステップはバッチサイズ1,024で学習し、残りはバッチサイズ256で学習しました。
• 90%のステップでシーケンス長を128トークンに制限し、残りの10%では512に制限しました。
• ホールワードマスキングを使用し、重複係数を10に設定しました。
• 最大シーケンス長が128トークンのデータセットでは、シーケンスあたりの最大予測数を20に、512トークンのデータセットでは80に設定しました。
• 乱数シードを12345、マスク言語モデルの確率を0.15、短いシーケンスの確率を0.1に設定しました。
• オプティマイザとしてAdamを使用し、学習率を1e - 4、\(\beta_{1} = 0.9\)、\(\beta_{2} = 0.999\)、重み減衰を0.01、学習率のウォームアップを10,000ステップ、その後は学習率を線形減衰させました。

評価結果

• 事前学習された言語モデルを、NER、POSタグ付け、センチメント分析、方言識別、詩分類の5つの自然言語処理タスクで評価しました。
• 12のデータセットを使用してモデルをファインチューニングし、評価しました。
• Hugging Faceのtransformersを使用してCAMeLBERTモデルをファインチューニングしました。
• transformers v3.1.0 とPyTorch v1.5.1 を使用しました。
• ファインチューニングは、最後の隠れ層に全結合線形層を追加することで行いました。
• すべてのタスクで\(F_{1}\) スコアを指標として使用しました。
• ファインチューニングに使用したコードはこちらで公開しています。

結果

結果（平均）

[1]: Variant-wise-averageは、同じ言語バリエーションのタスクグループの平均を指します。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

謝辞

この研究は、GoogleのTensorFlow Research Cloud (TFRC) から提供されたクラウドTPUでサポートされています。

引用

@inproceedings{inoue-etal-2021-interplay,
    title = "The Interplay of Variant, Size, and Task Type in {A}rabic Pre-trained Language Models",
    author = "Inoue, Go  and
      Alhafni, Bashar  and
      Baimukan, Nurpeiis  and
      Bouamor, Houda  and
      Habash, Nizar",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Online)",
    publisher = "Association for Computational Linguistics",
    abstract = "In this paper, we explore the effects of language variants, data sizes, and fine-tuning task types in Arabic pre-trained language models. To do so, we build three pre-trained language models across three variants of Arabic: Modern Standard Arabic (MSA), dialectal Arabic, and classical Arabic, in addition to a fourth language model which is pre-trained on a mix of the three. We also examine the importance of pre-training data size by building additional models that are pre-trained on a scaled-down set of the MSA variant. We compare our different models to each other, as well as to eight publicly available models by fine-tuning them on five NLP tasks spanning 12 datasets. Our results suggest that the variant proximity of pre-training data to fine-tuning data is more important than the pre-training data size. We exploit this insight in defining an optimized system selection model for the studied tasks.",
}