AraBERTv0.2-Twitterオープンソース言語モデル - アラビア語方言のつぶやき処理を最適化し、絵文字と新語をサポート

ホーム

Bert Large Arabertv02 Twitter

aubmindlabによって開発

AraBERTv0.2-Twitterは、アラビア語の方言とツイートに最適化された事前学習言語モデルで、BERTアーキテクチャに基づいて開発され、新たに絵文字と一般的な語彙のサポートが追加されています。

大規模言語モデル

Transformers

アラビア語#アラビア語ツイートの最適化 #多方言対応 #絵文字処理

ダウンロード数 312

リリース時間 : 3/2/2022

モデル概要

このモデルは、約6000万件のアラビア語ツイートで継続的に事前学習することで得られ、アラビア語の方言とソーシャルメディアテキストの理解能力が特別に最適化されています。

モデル特徴

方言最適化

アラビア語の方言とツイート内容に特化して最適化訓練を行っています。

絵文字サポート

語彙表に新たに絵文字と一般的なソーシャルメディア用語が追加されています。

短テキスト最適化

64トークンのシーケンス長に対して訓練されており、ソーシャルメディアの短いテキストに適しています。

モデル能力

アラビア語テキスト理解

ソーシャルメディアテキスト処理

マスク言語予測

使用事例

ソーシャルメディア分析

アラビア語ツイートの感情分析

アラビア語ツイートの感情傾向を分析します。

方言テキスト理解

アラビア語の各地域の方言テキストを処理します。

言語モデルアプリケーション

テキスト補完

マスクされた単語やフレーズを予測します。

例：「レバノンの首都は[MASK]」は「ベイルート」と予測できます。

🚀 AraBERTv0.2-Twitter

AraBERTv0.2-Twitterは、約6000万件のアラビア語ツイート（1億件のコレクションからフィルタリング）を使用してMLMタスクで事前学習を続けることで訓練された、アラビア語の方言とツイート用の2つの新しいモデル（base/large）です。

これらの新しいモデルには、当初存在しなかった一般的な単語に加えて、絵文字も語彙に追加されています。事前学習は、最大文長を64として、たった1エポックで行われました。

AraBERT は、GoogleのBERTアーキテクチャに基づくアラビア語の事前学習言語モデルです。AraBERTは、BERT-Baseと同じ設定を使用しています。詳細については、AraBERT論文とAraBERTミートアップを参照してください。

📦 データセット

wikipedia
Osian
1.5B-Arabic-Corpus
oscar-arabic-unshuffled
Assafir(非公開)
Twitter(非公開)

🎛️ ウィジェット

テキスト: " عاصمة لبنان هي [MASK] ."

✨ 主な機能

他のモデル

モデル	HuggingFaceモデル名	サイズ (MB/パラメータ)	事前セグメンテーション	データセット (文/サイズ/単語数)
AraBERTv0.2-base	bert-base-arabertv02	543MB / 136M	いいえ	200M / 77GB / 8.6B
AraBERTv0.2-large	bert-large-arabertv02	1.38G / 371M	いいえ	200M / 77GB / 8.6B
AraBERTv2-base	bert-base-arabertv2	543MB / 136M	はい	200M / 77GB / 8.6B
AraBERTv2-large	bert-large-arabertv2	1.38G / 371M	はい	200M / 77GB / 8.6B
AraBERTv0.1-base	bert-base-arabertv01	543MB / 136M	いいえ	77M / 23GB / 2.7B
AraBERTv1-base	bert-base-arabert	543MB / 136M	はい	77M / 23GB / 2.7B
AraBERTv0.2-Twitter-base	bert-base-arabertv02-twitter	543MB / 136M	いいえ	v02と同じ + 6000万件の多方言ツイート
AraBERTv0.2-Twitter-large	bert-large-arabertv02-twitter	1.38G / 371M	いいえ	v02と同じ + 6000万件の多方言ツイート

🚀 クイックスタート

前処理

⚠️ 重要提示

このモデルはシーケンス長64で訓練されています。64を超える最大長を使用すると、性能が低下する可能性があります。

任意のデータセットで訓練/テストする前に、前処理関数を適用することをお勧めします。前処理器は、「twitter」モデルで使用すると、絵文字を保持してスペースを空けます。

from arabert.preprocess import ArabertPreprocessor
from transformers import AutoTokenizer, AutoModelForMaskedLM

model_name="aubmindlab/bert-base-arabertv02-twitter"
arabert_prep = ArabertPreprocessor(model_name=model_name)

text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"
arabert_prep.preprocess(text)
  
tokenizer = AutoTokenizer.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")
model = AutoModelForMaskedLM.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")

📚 ドキュメント

引用方法

このモデルを使用した場合は、次のように引用してください。Google ScholarのBibtexが間違っている（名前が欠けている）ので、代わりにこれを使用してください。

@inproceedings{antoun2020arabert,
  title={AraBERT: Transformer-based Model for Arabic Language Understanding},
  author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},
  booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},
  pages={9}
}

謝辞

TensorFlow Research Cloud (TFRC)に、Cloud TPUへの無料アクセスを提供してくれたことに感謝します。このプログラムがなければ、このモデルを作成することはできませんでした。また、AUB MIND Labのメンバーに、継続的な支援をしてくれたことに感謝します。さらに、YakshofとAssafirに、データとストレージへのアクセスを提供してくれたことに感謝します。最後に、Habib Rahal (https://www.behance.net/rahalhabib)に、AraBERTに顔を与えてくれたことに感謝します。