Bert Base Arabic Camelbert Msa Sixteenth

🚀 CAMeLBERT: アラビア語の自然言語処理タスク用の事前学習モデルコレクション

CAMeLBERTは、様々なサイズとバリエーションのアラビア語テキストで事前学習されたBERTモデルのコレクションです。現代標準アラビア語（MSA）、方言アラビア語（DA）、古典アラビア語（CA）用の事前学習言語モデルを公開しており、さらにこれら3つの混合データで事前学習されたモデルも提供しています。また、MSAバリエーションの縮小版（半分、4分の1、8分の1、16分の1）で事前学習された追加モデルも用意しています。詳細は論文 "The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models" で説明されています。

このモデルカードでは、CAMeLBERT-MSA-sixteenth (bert-base-arabic-camelbert-msa-sixteenth)、つまり全MSAデータセットの16分の1で事前学習されたモデルについて説明します。

✨ 主な機能

モデルの多様性

異なるサイズとバリエーションのアラビア語テキストで事前学習された複数のBERTモデルを提供しています。

タスクへの適用性

マスク言語モデリングや次文予測に使用でき、NER、POSタグ付け、センチメント分析、方言識別、詩分類などのNLPタスクに微調整することもできます。

🚀 クイックスタート

このモデルは、マスク言語モデリングのパイプラインで直接使用できます。また、与えられたテキストの特徴を取得することもできます。以下にPythonとTensorFlowでの使用例を示します。

💻 使用例

基本的な使用法

マスク言語モデリングのパイプラインでの使用例：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='CAMeL-Lab/bert-base-arabic-camelbert-msa-sixteenth')
>>> unmasker("الهدف من الحياة هو [MASK] .")
[{'sequence': '[CLS] الهدف من الحياة هو التغيير. [SEP]',
  'score': 0.08320745080709457,
  'token': 7946,
  'token_str': 'التغيير'},
 {'sequence': '[CLS] الهدف من الحياة هو التعلم. [SEP]',
  'score': 0.04305094853043556,
  'token': 12554,
  'token_str': 'التعلم'},
 {'sequence': '[CLS] الهدف من الحياة هو العمل. [SEP]',
  'score': 0.0417640283703804,
  'token': 2854,
  'token_str': 'العمل'},
 {'sequence': '[CLS] الهدف من الحياة هو الحياة. [SEP]',
  'score': 0.041371218860149384,
  'token': 3696,
  'token_str': 'الحياة'},
 {'sequence': '[CLS] الهدف من الحياة هو المعرفة. [SEP]',
  'score': 0.039794355630874634,
  'token': 7344,
  'token_str': 'المعرفة'}]

注意: モデルをダウンロードするには、transformers>=3.5.0が必要です。それ以外の場合は、手動でモデルをダウンロードすることができます。

高度な使用法

与えられたテキストの特徴を取得する例：

PyTorchでの使用

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa-sixteenth')
model = AutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa-sixteenth')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlowでの使用

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa-sixteenth')
model = TFAutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa-sixteenth')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 ドキュメント

モデルの詳細

学習データ

• MSA（現代標準アラビア語）
  • The Arabic Gigaword Fifth Edition
  • Abu El-Khair Corpus
  • OSIAN corpus
  • Arabic Wikipedia
  • アラビア語のOSCARコーパスのシャッフルされていないバージョン

学習手順

Googleが公開した元の実装を使用して事前学習を行いました。特に指定がない限り、元の英語のBERTモデルのハイパーパラメータを使用して事前学習を行いました。

前処理

• 各コーパスから生テキストを抽出した後、以下の前処理を適用します。
• 元のBERT実装が提供するユーティリティを使用して、無効な文字を削除し、空白を正規化します。
• アラビア文字が含まれない行を削除します。
• CAMeL Toolsを使用して、ダイアクリティックとカシダを削除します。
• 最後に、ヒューリスティックベースの文分割器を使用して、各行を文に分割します。
• HuggingFaceのトークナイザーを使用して、全データセット（167GBのテキスト）で語彙サイズ30,000のWordPieceトークナイザーを学習させます。
• 小文字化やアクセントの削除は行いません。

事前学習

• モデルは、単一のクラウドTPU (v3-8) で合計100万ステップ学習されました。
• 最初の90,000ステップはバッチサイズ1,024で学習され、残りはバッチサイズ256で学習されました。
• シーケンス長は、90%のステップで128トークンに制限され、残りの10%では512トークンに制限されました。
• ホールワードマスキングと重複係数10を使用します。
• 最大シーケンス長が128トークンのデータセットでは、シーケンスあたりの最大予測数を20に設定し、最大シーケンス長が512トークンのデータセットでは80に設定します。
• 乱数シードは12345、マスク言語モデルの確率は0.15、短いシーケンスの確率は0.1を使用します。
• 使用されるオプティマイザはAdamで、学習率は1e-4、\(\beta_{1} = 0.9\)、\(\beta_{2} = 0.999\)、重み減衰は0.01、学習率のウォームアップは10,000ステップ、その後は学習率の線形減衰を使用します。

評価結果

• 事前学習された言語モデルを、NER、POSタグ付け、センチメント分析、方言識別、詩分類の5つのNLPタスクで評価しました。
• 12のデータセットを使用してモデルを微調整し、評価しました。
• Hugging Faceのtransformersを使用して、CAMeLBERTモデルを微調整しました。
• transformers v3.1.0 とPyTorch v1.5.1 を使用しました。
• 微調整は、最後の隠れ層に全結合線形層を追加することで行いました。
• すべてのタスクで\(F_{1}\)スコアを指標として使用します。
• 微調整に使用されるコードはこちらで入手できます。

結果

結果（平均）

[1]: バリエーションごとの平均は、同じ言語バリエーションのタスクグループの平均を指します。

謝辞

この研究は、GoogleのTensorFlow Research Cloud (TFRC) から提供されたクラウドTPUによって支援されました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

@inproceedings{inoue-etal-2021-interplay,
    title = "The Interplay of Variant, Size, and Task Type in {A}rabic Pre-trained Language Models",
    author = "Inoue, Go  and
      Alhafni, Bashar  and
      Baimukan, Nurpeiis  and
      Bouamor, Houda  and
      Habash, Nizar",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Online)",
    publisher = "Association for Computational Linguistics",
    abstract = "In this paper, we explore the effects of language variants, data sizes, and fine-tuning task types in Arabic pre-trained language models. To do so, we build three pre-trained language models across three variants of Arabic: Modern Standard Arabic (MSA), dialectal Arabic, and classical Arabic, in addition to a fourth language model which is pre-trained on a mix of the three. We also examine the importance of pre-training data size by building additional models that are pre-trained on a scaled-down set of the MSA variant. We compare our different models to each other, as well as to eight publicly available models by fine-tuning them on five NLP tasks spanning 12 datasets. Our results suggest that the variant proximity of pre-training data to fine-tuning data is more important than the pre-training data size. We exploit this insight in defining an optimized system selection model for the studied tasks.",
}