🚀 AraBERT v1 & v2:用於阿拉伯語理解的BERT預訓練模型
AraBERT 是一個基於 谷歌的BERT架構 的阿拉伯語預訓練語言模型。AraBERT使用與BERT - Base相同的配置。更多細節可在 AraBERT論文 和 AraBERT Meetup 中查看。
本項目有兩個版本的模型,AraBERTv0.1和AraBERTv1,區別在於AraBERTv1使用預分割文本,其中前綴和後綴使用 Farasa分割器 進行分割。
我們在不同的下游任務上對AraBERT模型進行評估,並將其與 mBERT 以及其他最先進的模型進行比較(就我們所知)。這些任務包括在6個不同數據集上的情感分析([HARD](https://github.com/elnagara/HARD - Arabic - Dataset)、[ASTD - Balanced](https://www.aclweb.org/anthology/D15 - 1299)、[ArsenTD - Lev](https://staff.aub.edu.lb/~we07/Publications/ArSentD - LEV_Sentiment_Corpus.pdf)、LABR)、使用 ANERcorp 進行命名實體識別,以及在 Arabic - SQuAD和ARCD 上進行阿拉伯語問答。
🚀 快速開始
預訓練數據
預訓練數據用於新的AraBERT模型,同時也用於阿拉伯語的 GPT2和ELECTRA。數據集包含77GB、200,095,961行、8,655,948,860個單詞或82,232,988,358個字符(在應用Farasa分割之前)。
對於新數據集,我們在之前AraBERTv1使用的數據集基礎上,添加了經過徹底過濾的未打亂的OSCAR語料庫,但不包括之前爬取的網站:
- 未打亂並經過過濾的OSCAR語料庫。
- [2020年9月1日的阿拉伯語維基百科轉儲](https://archive.org/details/arwiki - 20190201)
- [15億單詞的阿拉伯語語料庫](https://www.semanticscholar.org/paper/1.5 - billion - words - Arabic - Corpus - El - Khair/f3eeef4afb81223df96575adadf808fe7fe440b4)
- [OSIAN語料庫](https://www.aclweb.org/anthology/W19 - 4619)
- Assafir新聞文章。非常感謝Assafir提供數據。
預處理
建議在任何數據集上進行訓練/測試之前應用我們的預處理函數。
安裝farasapy以對AraBERT v1和v2進行文本分割 pip install farasapy
from arabert.preprocess import ArabertPreprocessor
model_name="bert-base-arabertv01"
arabert_prep = ArabertPreprocessor(model_name=model_name)
text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"
arabert_prep.preprocess(text)
支持的模型
bert-base-arabertv01
bert-base-arabert
bert-base-arabertv02
bert-base-arabertv2
bert-large-arabertv02
bert-large-arabertv2
araelectra-base
aragpt2-base
aragpt2-medium
aragpt2-large
aragpt2-mega
TensorFlow 1.x模型
TF1.x模型可在HuggingFace模型倉庫中獲取。你可以按以下方式下載:
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
git clone https://huggingface.co/aubmindlab/MODEL_NAME
tar -C ./MODEL_NAME -zxvf /content/MODEL_NAME/tf1_model.tar.gz
其中 MODEL_NAME
是 aubmindlab
名下的任何模型。
- 通過
wget
:
- 訪問huggingface.co/models/aubmindlab/MODEL_NAME上的tf1_model.tar.gz文件。
- 複製
oid sha256
。
- 然後運行
wget https://cdn-lfs.huggingface.co/aubmindlab/aragpt2-base/INSERT_THE_SHA_HERE
(例如,對於 aragpt2-base
:wget https://cdn-lfs.huggingface.co/aubmindlab/aragpt2-base/3766fc03d7c2593ff2fb991d275e96b81b0ecb2098b71ff315611d052ce65248
)
✨ 主要特性
AraBERTv2新特性
新的變體
AraBERT現在有4種新變體來取代舊的v1版本:
所有模型都可以在 HuggingFace
模型頁面的 aubmindlab 名下找到。檢查點有PyTorch、TF2和TF1格式。
更好的預處理和新詞彙表
我們發現了AraBERTv1的詞片詞彙表存在一個問題。該問題源於在學習詞片詞彙表時,標點符號和數字仍然與單詞相連。現在我們在數字和字符之間以及標點符號周圍插入空格。
新詞彙表使用 tokenizers
庫中的 BertWordpieceTokenizer
學習,現在應該支持 transformers
庫中的快速分詞器實現。
注意:所有舊的BERT代碼應該可以與新的BERT一起使用,只需更改模型名稱並檢查新的預處理函數。
請閱讀 預處理函數 部分了解如何使用
更大的數據集和更多的計算資源
我們使用了大約3.5倍的數據,並進行了更長時間的訓練。
有關數據集來源,請參閱 數據集部分
模型 |
硬件 |
序列長度為(128 / 512)的示例數量 |
128 (批量大小/步數) |
512 (批量大小/步數) |
總步數 |
總時間 (天) |
AraBERTv0.2-base |
TPUv3 - 8 |
420M / 207M |
2560 / 1M |
384 / 2M |
3M |
- |
AraBERTv0.2-large |
TPUv3 - 128 |
420M / 207M |
13440 / 250K |
2056 / 300K |
550K |
- |
AraBERTv2-base |
TPUv3 - 8 |
520M / 245M |
13440 / 250K |
2056 / 300K |
550K |
- |
AraBERTv2-large |
TPUv3 - 128 |
520M / 245M |
13440 / 250K |
2056 / 300K |
550K |
- |
AraBERT-base (v1/v0.1) |
TPUv2 - 8 |
- |
512 / 900K |
128 / 300K |
1.2M |
4天 |
📚 詳細文檔
引用
如果你使用了這個模型,請按以下方式引用我們:
谷歌學術的Bibtex引用有誤(缺少名稱),請使用以下內容:
@inproceedings{antoun2020arabert,
title={AraBERT: Transformer-based Model for Arabic Language Understanding},
author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},
booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},
pages={9}
}
致謝
感謝TensorFlow研究雲(TFRC)免費提供雲TPU訪問權限,沒有這個項目我們無法完成這項工作。感謝 AUB MIND實驗室 成員的持續支持。也感謝 Yakshof 和Assafir提供數據和存儲訪問權限。還要感謝Habib Rahal(https://www.behance.net/rahalhabib)為AraBERT設計了形象。
聯繫方式
Wissam Antoun:領英 | 推特 | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com
Fady Baly:領英 | 推特 | Github | fgb06@mail.aub.edu | baly.fady@gmail.com
⚠️ 重要提示
有該模型的新版本可用!AraBERTv02